Alhoewel het gebruik van beleidsevaluaties (of het gebrek eraan) een van de meest besproken thema’s is in de evaluatieliteratuur, berust veel onderzoek over het thema enkel op anekdotisch bewijs, en zijn er nauwelijks studies beschikbaar die aandacht hebben voor de samenhang tussen verschillende factoren die impact kunnen hebben op het gebruik. In voorliggend artikel presenteren we de resultaten van een studie waarin we hebben getracht om op een systematische wijze inzicht te bieden in de combinaties van factoren die instrumenteel gebruik van beleidsevaluaties bevorderen of verhinderen. We onderzochten in dit verband alle evaluaties die in de periode 2013-2016 werden uitgevoerd bij de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie. Via Qualitative Comparative Analysis (QCA) bekeken we welke combinaties van de volgende factoren als noodzakelijk en/of voldoende bleken voor evaluatiegebruik: (1) politiek gehalte van het onderwerp, (2) interesse van de beleidsmakers, (3) aanwezigheid van nieuwe kennis in de evaluatie, en (4) de timing van de evaluatie. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, mei 2018 |
Auteurs | Marjolein Bouterse en Valérie Pattyn |
SamenvattingAuteursinformatie |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, januari 2018 |
Auteurs | Bernard Steunenberg |
SamenvattingAuteursinformatie |
De digitalisering van de samenleving heeft verschillende gevolgen voor de overheid en overheidsbeleid. Eén daarvan heeft betrekking op de manier waarop beleidsanalyse kan worden gebruikt. In deze bijdrage worden de mogelijkheden van meer adaptieve vormen van beleidsanalyse verkend, waarbij beleidsvoerders stap voor stap en op basis van informatie uit het beleidsproces proberen meer over de beleidsuitvoering te leren. Die vorm van beleidsanalyse, die op een aantal punten afwijkt van eerdere vormen, heeft gevolgen voor de organisatie van de overheid maar ook voor de wijze waarop het toezicht moet worden ingericht. Dat levert interessante vragen en spanningen op voor de ‘digitale’ overheid. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, november 2017 |
Auteurs | Leon Hermans |
SamenvattingAuteursinformatie |
Er is de laatste tijd veel aandacht voor het omgaan met onzekerheid en dynamiek in beleid. Zo is er recent de roep om leren door doen, door een overheid die samen met de samenleving het experiment aan durft te gaan. Zo’n benadering van beleid als gezamenlijk experiment is veelbelovend, maar vergt ook passende methoden voor beleidsevaluaties. Adaptief beleid speelt hierop in. De laatste jaren is een belangrijke stap gezet in de ontwikkeling van methoden waarmee adaptief beleid ontwikkeld kan worden. Voor de evaluatie en de rol van evaluaties heeft dit belangrijke implicaties. In dit artikel wordt hierop verder ingegaan, op basis van ervaringen met adaptief beleid en beleidsevaluatie binnen het Nederlandse Deltaprogramma. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, september 2017 |
Auteurs | Ellen Wayenberg |
SamenvattingAuteursinformatie |
Over eenzelfde beleid circuleren meerdere waarheden. Hoe valt dit te begrijpen? We gaan op verkenning rond ‘frame’ en ‘framing’ als veelgebruikte concepten in beleidsonderzoek. Na scherpstelling leert ons literatuuroverzicht dat een beleidskader idealiter gemarkeerd wordt als stabiel (naar basiselementen van structuur) maar in de praktijk geldt als inherent volatiel (naar voorkomen en effect). Iteratieve en vaak interactieve processen van framing kunnen dit verklaren zoals we aantonen met een case rond de Lokale Integrale VeiligheidsCellen (LIVC’s) in Brussel. Die case illustreert ook dat overheidsactoren zelf framen én met wisselend succes. Dat succes is te wijten aan factoren op individueel en institutioneel niveau en is cruciaal om vandaag te doorgronden. Want weten hoe een (on)waarheid over beleid te maken, is een eerste stap om framing (mogelijk) te kraken of meer te hanteren als tool om diverse frames, en dus finaal ook burgers, beter aan elkaar te haken. De voorbeelden van beleid en onderzoek in deze bijdrage zijn gekozen rond ‘wicked issues’ op diverse niveaus en terreinen van overheidsoptreden in België en elders. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, juni 2017 |
Auteurs | Meyken Houppermans |
SamenvattingAuteursinformatie |
Een gedegen beleidsvoorbereiding kan beleidsfalen voorkomen. Hoewel deze thematiek al jaren aandacht krijgt in de politiek, lukt het de rijksoverheid nog niet hieraan structureel succesvol invulling te geven. In het licht van de recente Tweede Kamer verkiezingen is er hernieuwde aandacht voor samenspraak bij beleid en beleidsexperimenten om te komen tot beter beleid. Het rendement daarvan is naar verwachting beperkt. Ten eerste omdat samenspraak vaak zodanig ingeperkt is, dat de invloed van kennis voor beleid beperkt blijft. Ten tweede omdat wetenschappelijke kennis prevaleert boven de voor beleidseffectiviteit noodzakelijke tacit knowledge. De rijksoverheid kan meer rendement halen uit investeringen in een betere beleidsvoorbereiding, door de structurele afweging tot de inzet van samenspraak en beleidsexperimenten bij nieuw of gewijzigd beleid; verantwoording van deze afweging, alsmede onafhankelijke toetsing van de te verwachten beleidseffectiviteit. Investeringen in handreikingen zijn weinig zinvol. De gemeente Rotterdam geeft een goed voorbeeld. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, januari 2017 |
Auteurs | Wendy Reijmerink en Wija Oortwijn |
SamenvattingAuteursinformatie |
Nationaal en internationaal staat onderzoek dat maatschappelijk relevant is, wetenschappelijk gezien hoge kwaliteit heeft, en zowel integer als efficiënt wordt uitgevoerd in de schijnwerpers. Het achterliggende idee is dat alleen zo de gewenste maatschappelijke impact kan worden bereikt. Door het bevorderen van verantwoorde onderzoekspraktijken, waarbij er onder andere expliciet aandacht is voor aspecten als stakeholderparticipatie, interdisciplinaire samenwerking, replicatie en systematische reviews, kunnen financiers of programmeurs van onderzoek hieraan bijdragen. In dit artikel wordt een overzicht gegeven van de wijze waarop ZonMw dat doet als kennisprogrammeur op het gebied van het gezondheidsonderzoek. Hiertoe is een toetsingskader ontwikkeld en toegepast op zestien lopende onderzoeksprogramma’s, dat ook voor andere domeinen en actoren betekenis heeft. Een belangrijke aanbeveling is dat ‘verantwoord programmeren’ een eigen kennisbasis behoeft om de toegevoegde waarde ervan te kunnen bepalen. Naast investeringen in metaonderzoek vraagt dat om een goede monitoring en informatievoorziening bij de kennisprogrammeur. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, oktober 2016 |
Auteurs | Vanessa Torres van Grinsven |
SamenvattingAuteursinformatie |
Bedrijven en andere organisaties ontvangen vaak veel enquêtes en klagen over de lastendruk hiervan. Tevens dalen responsaantallen en zijn er zorgen over de kwaliteit van de respons. In dit artikel wordt beschreven wat er gedaan kan worden om de motivatie van bedrijven en organisaties, en hun respondenten, te verhogen om daarmee bij organisatie- en bedrijfsenquêtes de responsaantallen en de responskwaliteit te verbeteren. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, september 2016 |
Auteurs | Birgit ten Cate en Erik Israël |
SamenvattingAuteursinformatie |
Het Rijk evalueert in principe elk beleidsterrein eens in de zeven jaar door middel van een beleidsdoorlichting. Dit is niet eenvoudig. De Handreiking beleidsdoorlichtingen biedt hierbij in de vorm van vele praktische tips de helpende hand. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, september 2016 |
Auteurs | Maarten Hoekstra |
SamenvattingAuteursinformatie |
Bij bijvoorbeeld de bouw van een gemeentelijk multifunctioneel centrum of de aanschaf van een nieuw computersysteem wordt bijna standaard om een business case gevraagd, om daarmee een zakelijke rechtvaardiging van de te nemen beslissing te verschaffen: nut en noodzaak moeten goed uit de doeken worden gedaan. Dit artikel presenteert de eerste resultaten van een zoektocht naar de (vermeende) kwaliteiten van dit besluitvormingsinstrument. Als ijkpunt voor het praktische gebruik van de business case wordt een nieuw ideaaltype van de business case geconstrueerd. De bestaande definities bieden daarvoor afzonderlijk onvoldoende houvast. Aan de hand van het ideaalmodel wordt vervolgens onderzocht hoe de business case in het publieke debat wordt gebruikt. Het datamateriaal bestaat uit 244 nieuwsberichten uit binnen- en buitenland over uiteenlopende business cases. Het artikel laat zien dat de business case sterk in opkomst is en zijn weg vindt in een divers palet van maatschappelijke thema’s en sectoren. Kwalitatieve argumenten voeren sterk de boventoon ten opzichte van cijfermatige inzichten. De belangrijkste kracht van de business case in het publieke domein ligt in het gegeven dat zowel de belangen van initiatiefnemers en bestuurders als van andere stakeholders worden benoemd. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, mei 2016 |
Auteurs | André Knottnerus |
SamenvattingAuteursinformatie |
Een lerende overheid heeft behoefte aan beleidsevaluaties die niet alleen van betekenis zijn voor het onderwerp waarop deze primair gericht zijn, maar ook bijdragen aan bredere, systematische opbouw van kennis en ervaring. Het interdepartementaal verbinden van expertise verruimt daarbij het zicht op factoren die het leren bevorderen of belemmeren. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, april 2016 |
Auteurs | Marcel van Dam en Katrien de Vaan |
SamenvattingAuteursinformatie |
De meerwaarde van lokale rekenkamers is nog niet vanzelfsprekend. In dit artikel betogen de auteurs dat deze wordt beïnvloed door drie factoren: de relatie met de andere spelers in het lokale politiek-bestuurlijke krachtenveld, de kwaliteit van hun werk, en de processen waarmee dat werk een plaats krijgt in de gemeentelijke beleids- en besluitvorming. De ultieme meerwaarde van lokale rekenkamers zoeken zij niet in de onafhankelijkheid van de rekenkamer of in diens onderzoeken an sich, maar in de onzichtbare beïnvloeding van beleids- en besluitvorming door de robuuste positie van het instituut, in termen van onder meer waardering, gezag en vanzelfsprekendheid; een positie die wordt beïnvloed door bovengenoemde drie factoren. De toekomstige opgave voor gemeenteraden en rekenkamers ligt er dan ook in om verder te kijken dan de structuur, en met elkaar het gesprek over de rekenkamer te voeren op de punten relatie, kwaliteit en proces. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, maart 2016 |
Auteurs | Bart van der Aa |
SamenvattingAuteursinformatie |
Nederlandse gemeenten baseren zich veelal op de uitkomsten van de Veiligheidsmonitor (VM) om te weten hoe inwoners de veiligheid in hun woonomgeving waarderen. Ze kijken hierbij onder andere naar het rapportcijfer voor de veiligheid in de eigen buurt. Maar is dit eigenlijk wel een bruikbaar cijfer? In dit artikel nemen we het conceptuele model van Oppelaar en Wittebrood (2006) als uitgangspunt voor het uitvoeren van een regressieanalyse om te achterhalen waardoor het rapportcijfer voor veiligheid in de eigen buurt wordt verklaard. Het rapportcijfer blijkt door vele zaken te worden beïnvloed, aangevoerd door de manier waarop bewoners aankijken tegen de omvang van de criminaliteit in de eigen omgeving, de ervaren overlast en het oordeel over de wijk. Vanwege de vele kenmerken die meespelen, zo beargumenteren we, doen gemeenten er verstandig aan om het rapportcijfer niet te gebruiken. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, februari 2016 |
Auteurs | Maud Stinckens |
SamenvattingAuteursinformatie |
De voorbije vier decennia werden er heel wat studies naar de implementatie van beleid uitgevoerd, maar deze hebben vier belangrijke tekortkomingen: (1) onduidelijke omschrijving van de afhankelijke variabele, (2) te weinig inzicht in de ‘kritieke’ onafhankelijke variabelen en te weinig aandacht voor de wijze waarop deze in combinatie met elkaar het beleidsimplementatieproces beïnvloeden, (3) te laag aantal cases en (4) te weinig aandacht voor hypothesetoetsing. Dit artikel geeft aan hoe het gebruik van Qualitative Comparative Analysis (QCA) (Ragin, 1987) een antwoord kan bieden op deze beperkingen. Deze analysemethode tracht de verschillende causale paden die het beleidsimplementatieproces beïnvloeden te identificeren en de condities of combinaties van condities die noodzakelijk of voldoende zijn in kaart te brengen. Hiervoor wordt gebruikgemaakt van Booleaanse algebra. Door deze en andere specifieke eigenschappen kan QCA leiden tot vernieuwende inzichten in beleidsimplementatieonderzoek. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, december 2015 |
Auteurs | Miranda Witvliet en Maartje Timmermans |
SamenvattingAuteursinformatie |
In de praktijk is het niet altijd haalbaar om effectonderzoek uit te voeren met behulp van een experimentele trial. Het N=1 design is een alternatieve opzet voor effectonderzoek bij interventies met kleine aantallen. Centraal bij de N=1 aanpak staat dat bij een kleine groep deelnemers via verschillende observanten op meerdere tijdstippen informatie wordt verzameld over de ontwikkeling van deelnemers. Daarbij kan zowel gebruik worden gemaakt van kwantitatieve als kwalitatieve onderzoeksmethoden. Dit artikel beschrijft de toepassing van het N=1 design in een onderzoek naar de doeltreffendheid van de justitiële gedragsinterventie Multidimensional Treatment Foster Care (MTFC). Deze interventie is ontwikkeld voor jeugdigen tussen de 12 en 18 jaar met ernstig antisociaal gedrag. In het onderzoek is de ontwikkeling van acht MTFC-deelnemers in kaart gebracht via vragenlijstonderzoek en interviews. Naast de toepassingsmogelijkheden worden in dit artikel tevens de beperkingen en risico’s van het N=1 design beschreven. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, oktober 2015 |
Auteurs | Frits Verhees, Alfons van Marrewijk, Wim Leendertse e.a. |
SamenvattingAuteursinformatie |
De Nederlandse rijksoverheid maakt steeds meer gebruik van DBFM(O)-contracten om grootschalige bouw- en infraprojecten te ontwikkelen en te realiseren (DBFM(O) staat voor Design, Build, Finance, Maintain en eventueel Operate). De organisatie en inrichting van deze contracten en projecten zijn ‘als vanzelfsprekend’ gegroeid en gestandaardiseerd, veelal gebaseerd op de internationale praktijk en buitenlandse voorbeelden. Dit artikel zet uiteen hoe DBFM(O)-projecten georganiseerd en gestructureerd worden door publieke en private partijen. Uit internationaal onderzoek blijkt dat de resultaten wisselend zijn, maar de potentiële voordelen van DBFM(O) zijn groot. Deze potentie blijkt uit de eerste praktijkervaringen in Nederland, maar we kennen inmiddels ook de eerste negatieve gevolgen voor betrokken risicodragende partijen. We onderscheiden bij DBFM(O) zes ‘conventies’ met onderliggende spanningen waar praktijk en wetenschap, in de Nederlandse verhoudingen, kritisch op zullen moeten reflecteren. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, mei 2015 |
Auteurs | Theo J.M. Kuunders, Ien A.M. van de Goor, Theo G.W.M. Paulussen e.a. |
SamenvattingAuteursinformatie |
De Handreiking Gezonde Gemeente, een landelijk instrument voor verbetering van integraal gemeentelijk gezondheidsbeleid, wordt volgens de Gezondheidsinspectie onvoldoende gebruikt. Deze studie onderzoekt mogelijkheden voor verbeterde implementatie van de handreiking in de GGD-organisatie. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, februari 2015 |
Auteurs | Arno Eversdijk en Arno F.A. Korsten |
SamenvattingAuteursinformatie |
Achterliggende motieven en overwegingen van Nederlandse overheidsbesturen om dan wel en dan weer niet te kiezen voor publiek-private samenwerking (PPS) bij infrastructurele projecten bleven tot voor kort onduidelijk. Diverse kabinetten predikten sinds het midden van de jaren tachtig uit de vorige eeuw weliswaar publiek-private samenwerking, maar daarmee was PPS nog geen feit. Wisselende (macro-)motieven werden in nota’s opgevoerd om PPS onvermijdelijk te maken, waarbij financiële meerwaarde een constante was, maar dat bleek niet genoeg. Per project wisselende (micro-)motieven moesten de gewenste PPS-keuze rechtvaardigen, waaronder ook niet-politieke motieven. Het bereiken van financiële meerwaarde bleek wel een officieel doel of motief, maar was in de praktische besluitvorming lang niet altijd de enige relevante factor. Dit betekent dat de stelling dat financiële meerwaarde juist bepalend is, niet volledig blijkt te sporen met de PPS-praktijk. Sterker gesteld, bestuurlijke afwegingen blijken vaak bepalender voor keuzen pro of contra PPS bij rijksinfrastructurele projecten, of ook van grote invloed. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, november 2014 |
Auteurs | Peter van Hoesel |
SamenvattingAuteursinformatie |
Je kunt natuurlijk wel verwachten dat Jan van Zijl, die tegenwoordig voorzitter is van de MBO Raad, positieve herinneringen heeft aan wat je zou kunnen noemen ‘zijn RWI’, maar misschien niet dat hij een paar jaar na dato nog zo uitdrukkelijk betreurt dat de RWI is opgeheven. Het was indertijd bij de oprichting wel zo dat de RWI door sommigen gezien werd als een doekje voor het bloeden voor de sociale partners in verband met het feit dat zij macht gingen verliezen na invoering van de SUWI-structuur, maar Van Zijl ging bepaald niet uit van een korte levensloop van de nieuwe raad. Dat hij de taak van de RWI serieus nam, blijkt trouwens ook uit het grote aantal indringende adviezen en rapportages dat de RWI heeft weten te produceren. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, september 2014 |
Trefwoorden | integraal gezondheidsbeleid, onderzoeksinstrumenten, monitoren en evalueren |
Auteurs | Ilse Storm, Marije van Koperen, Fons van der Lucht e.a. |
SamenvattingAuteursinformatie |
Integraal gezondheidsbeleid (IGB) kent in de lokale praktijk diverse verschijningsvormen en kenmerken waardoor het lastig is dit beleid te monitoren en evalueren. In een kennissynthese van Nederlandse kernpublicaties over IGB is gekeken wat op basis van ervaringen in de IGB-praktijk tot nu toe gezegd kan worden over monitoring en evaluatie. Bij deze practice-based verkenning naar IGB-kenmerken en bijbehorende praktische instrumenten is een indeling in drie categorieën gebruikt: context, processen en impact. Voorbeelden van relevante kenmerken zijn: type IGB en setting (context), verbinden beleid en activiteiten (proces), samenwerking sectoren (proces), draagvlak en verankering in organisatie (proces), en effecten op gezondheid of determinanten (impact). Op basis van de huidige IGB-praktijk lijkt het vooral haalbaar kennis te genereren over context en procesmaten, en minder over impactmaten. Uiteindelijk is een set kenmerken die meetbaar zijn met gevalideerde instrumenten wenselijk om grip te krijgen op de voortgang van IGB. Meer theoretische onderbouwing is dan wel noodzakelijk. |
Artikel |
|
Tijdschrift | Beleidsonderzoek Online, augustus 2014 |
Auteurs | Diederik Brouwer |
SamenvattingAuteursinformatie |
Na het aantreden van Rutte II heeft de bestuurlijke opschaling van gemeenten en provincies twintig maanden lang op de agenda gestaan. Zoals bekend hebben de plannen van het kabinet de eindstreep niet gehaald. Vooral bij de meest betrokken provincies bestond er kritiek op het ontbreken van een visie en onderbouwing. In dit artikel wordt onderzocht in hoeverre een netwerkanalyse van het verplaatsingsgedrag daarin zou kunnen voorzien. Voor een volgende ronde, die zich mogelijk al snel weer aandient. De uitkomsten van verschillende algoritmes voor netwerkanalyse worden vergeleken. Het begrip daily urban system, gekoppeld aan welvaartstheoretische inzichten (Tordoir), dient als inhoudelijke leidraad. Netwerkanalyse blijkt zakelijke argumenten op te leveren die behulpzaam kunnen zijn bij het trekken van (nieuwe) bestuurlijke grenzen, ook al zullen deze om verschillende redenen nooit alleenzaligmakend zijn. |