Alhoewel het gebruik van beleidsevaluaties (of het gebrek eraan) een van de meest besproken thema’s is in de evaluatieliteratuur, berust veel onderzoek over het thema enkel op anekdotisch bewijs, en zijn er nauwelijks studies beschikbaar die aandacht hebben voor de samenhang tussen verschillende factoren die impact kunnen hebben op het gebruik. In voorliggend artikel presenteren we de resultaten van een studie waarin we hebben getracht om op een systematische wijze inzicht te bieden in de combinaties van factoren die instrumenteel gebruik van beleidsevaluaties bevorderen of verhinderen. We onderzochten in dit verband alle evaluaties die in de periode 2013-2016 werden uitgevoerd bij de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie. Via Qualitative Comparative Analysis (QCA) bekeken we welke combinaties van de volgende factoren als noodzakelijk en/of voldoende bleken voor evaluatiegebruik: (1) politiek gehalte van het onderwerp, (2) interesse van de beleidsmakers, (3) aanwezigheid van nieuwe kennis in de evaluatie, en (4) de timing van de evaluatie.
Voor de praktijk van beleidsmakers en evaluatoren benadrukken we het belang van tijdigheid en interesse voor een evaluatie. Onze analyse laat zien dat professionals die op deze factoren inzetten, een gunstig klimaat creëren voor het gebruik van evaluaties. Wat betreft tijdigheid lijkt het van belang de evaluatie te laten sporen met het schrijfwerk van een beleidsafdeling aan nieuw beleid of grote beleidsveranderingen. Goede anticipatie en een sterke institutionalisering van het evaluatieproces zijn hiertoe cruciaal. Of het thema van de evaluatie een sterke politieke gevoeligheid kent, is minder belangrijk. Mits sprake is van de juiste omgevingscondities, kunnen ook dergelijke evaluaties sterk instrumenteel worden benut.

De digitalisering van de samenleving heeft verschillende gevolgen voor de overheid en overheidsbeleid. Eén daarvan heeft betrekking op de manier waarop beleidsanalyse kan worden gebruikt. In deze bijdrage worden de mogelijkheden van meer adaptieve vormen van beleidsanalyse verkend, waarbij beleidsvoerders stap voor stap en op basis van informatie uit het beleidsproces proberen meer over de beleidsuitvoering te leren. Die vorm van beleidsanalyse, die op een aantal punten afwijkt van eerdere vormen, heeft gevolgen voor de organisatie van de overheid maar ook voor de wijze waarop het toezicht moet worden ingericht. Dat levert interessante vragen en spanningen op voor de ‘digitale’ overheid.

Er is de laatste tijd veel aandacht voor het omgaan met onzekerheid en dynamiek in beleid. Zo is er recent de roep om leren door doen, door een overheid die samen met de samenleving het experiment aan durft te gaan. Zo’n benadering van beleid als gezamenlijk experiment is veelbelovend, maar vergt ook passende methoden voor beleidsevaluaties. Adaptief beleid speelt hierop in. De laatste jaren is een belangrijke stap gezet in de ontwikkeling van methoden waarmee adaptief beleid ontwikkeld kan worden. Voor de evaluatie en de rol van evaluaties heeft dit belangrijke implicaties. In dit artikel wordt hierop verder ingegaan, op basis van ervaringen met adaptief beleid en beleidsevaluatie binnen het Nederlandse Deltaprogramma.

Over eenzelfde beleid circuleren meerdere waarheden. Hoe valt dit te begrijpen? We gaan op verkenning rond ‘frame’ en ‘framing’ als veelgebruikte concepten in beleidsonderzoek. Na scherpstelling leert ons literatuuroverzicht dat een beleidskader idealiter gemarkeerd wordt als stabiel (naar basiselementen van structuur) maar in de praktijk geldt als inherent volatiel (naar voorkomen en effect). Iteratieve en vaak interactieve processen van framing kunnen dit verklaren zoals we aantonen met een case rond de Lokale Integrale VeiligheidsCellen (LIVC’s) in Brussel. Die case illustreert ook dat overheidsactoren zelf framen én met wisselend succes. Dat succes is te wijten aan factoren op individueel en institutioneel niveau en is cruciaal om vandaag te doorgronden. Want weten hoe een (on)waarheid over beleid te maken, is een eerste stap om framing (mogelijk) te kraken of meer te hanteren als tool om diverse frames, en dus finaal ook burgers, beter aan elkaar te haken. De voorbeelden van beleid en onderzoek in deze bijdrage zijn gekozen rond ‘wicked issues’ op diverse niveaus en terreinen van overheidsoptreden in België en elders.

Een gedegen beleidsvoorbereiding kan beleidsfalen voorkomen. Hoewel deze thematiek al jaren aandacht krijgt in de politiek, lukt het de rijksoverheid nog niet hieraan structureel succesvol invulling te geven. In het licht van de recente Tweede Kamer verkiezingen is er hernieuwde aandacht voor samenspraak bij beleid en beleidsexperimenten om te komen tot beter beleid. Het rendement daarvan is naar verwachting beperkt. Ten eerste omdat samenspraak vaak zodanig ingeperkt is, dat de invloed van kennis voor beleid beperkt blijft. Ten tweede omdat wetenschappelijke kennis prevaleert boven de voor beleidseffectiviteit noodzakelijke tacit knowledge. De rijksoverheid kan meer rendement halen uit investeringen in een betere beleidsvoorbereiding, door de structurele afweging tot de inzet van samenspraak en beleidsexperimenten bij nieuw of gewijzigd beleid; verantwoording van deze afweging, alsmede onafhankelijke toetsing van de te verwachten beleidseffectiviteit. Investeringen in handreikingen zijn weinig zinvol. De gemeente Rotterdam geeft een goed voorbeeld.

Nationaal en internationaal staat onderzoek dat maatschappelijk relevant is, wetenschappelijk gezien hoge kwaliteit heeft, en zowel integer als efficiënt wordt uitgevoerd in de schijnwerpers. Het achterliggende idee is dat alleen zo de gewenste maatschappelijke impact kan worden bereikt. Door het bevorderen van verantwoorde onderzoekspraktijken, waarbij er onder andere expliciet aandacht is voor aspecten als stakeholderparticipatie, interdisciplinaire samenwerking, replicatie en systematische reviews, kunnen financiers of programmeurs van onderzoek hieraan bijdragen. In dit artikel wordt een overzicht gegeven van de wijze waarop ZonMw dat doet als kennisprogrammeur op het gebied van het gezondheidsonderzoek. Hiertoe is een toetsingskader ontwikkeld en toegepast op zestien lopende onderzoeksprogramma’s, dat ook voor andere domeinen en actoren betekenis heeft. Een belangrijke aanbeveling is dat ‘verantwoord programmeren’ een eigen kennisbasis behoeft om de toegevoegde waarde ervan te kunnen bepalen. Naast investeringen in metaonderzoek vraagt dat om een goede monitoring en informatievoorziening bij de kennisprogrammeur.

Bedrijven en andere organisaties ontvangen vaak veel enquêtes en klagen over de lastendruk hiervan. Tevens dalen responsaantallen en zijn er zorgen over de kwaliteit van de respons. In dit artikel wordt beschreven wat er gedaan kan worden om de motivatie van bedrijven en organisaties, en hun respondenten, te verhogen om daarmee bij organisatie- en bedrijfsenquêtes de responsaantallen en de responskwaliteit te verbeteren.

Het Rijk evalueert in principe elk beleidsterrein eens in de zeven jaar door middel van een beleidsdoorlichting. Dit is niet eenvoudig. De Handreiking beleidsdoorlichtingen biedt hierbij in de vorm van vele praktische tips de helpende hand.

Bij bijvoorbeeld de bouw van een gemeentelijk multifunctioneel centrum of de aanschaf van een nieuw computersysteem wordt bijna standaard om een business case gevraagd, om daarmee een zakelijke rechtvaardiging van de te nemen beslissing te verschaffen: nut en noodzaak moeten goed uit de doeken worden gedaan. Dit artikel presenteert de eerste resultaten van een zoektocht naar de (vermeende) kwaliteiten van dit besluitvormingsinstrument. Als ijkpunt voor het praktische gebruik van de business case wordt een nieuw ideaaltype van de business case geconstrueerd. De bestaande definities bieden daarvoor afzonderlijk onvoldoende houvast. Aan de hand van het ideaalmodel wordt vervolgens onderzocht hoe de business case in het publieke debat wordt gebruikt. Het datamateriaal bestaat uit 244 nieuwsberichten uit binnen- en buitenland over uiteenlopende business cases. Het artikel laat zien dat de business case sterk in opkomst is en zijn weg vindt in een divers palet van maatschappelijke thema’s en sectoren. Kwalitatieve argumenten voeren sterk de boventoon ten opzichte van cijfermatige inzichten. De belangrijkste kracht van de business case in het publieke domein ligt in het gegeven dat zowel de belangen van initiatiefnemers en bestuurders als van andere stakeholders worden benoemd.

Een lerende overheid heeft behoefte aan beleidsevaluaties die niet alleen van betekenis zijn voor het onderwerp waarop deze primair gericht zijn, maar ook bijdragen aan bredere, systematische opbouw van kennis en ervaring. Het interdepartementaal verbinden van expertise verruimt daarbij het zicht op factoren die het leren bevorderen of belemmeren.
Een centrale vraag is of de door het beleid beoogde publieke belangen inderdaad bevorderd worden. Beleidsevaluatie moet dan niet alleen gericht zijn op effectiviteit en doelmatigheid ten aanzien van relatief gemakkelijk meetbare indicatoren, maar ook op lastig te kwantificeren essentiële waarden zoals subjectief welzijn, rechtvaardigheid en maatschappelijke aanvaardbaarheid. Het verdient aanbeveling kostbare evaluatie-energie te concentreren op belangrijke kwesties waarover vooraf discussie of onzekerheid bestaat.
Uit een oogpunt van doelmatige beleidsvoorbereiding, en omdat de uitwerking van wetgeving en beleid ex post niet altijd eenvoudig is vast te stellen, is veel aandacht nodig voor ex ante evaluatie. Van onderzoek naar werkingsmechanismen van beleidsmaatregelen wordt in dit verband terecht veel verwacht.
Er is sprake van een paradoxaal spanningsveld tussen verwetenschappelijking en politisering van beleid. Daarom is stevig verankerde, onafhankelijke en onpartijdige beleidsevaluatie onmisbaar. Hoge methodologische kwaliteit biedt extra houvast om deze functie geloofwaardig te kunnen vervullen.
In het streven naar systematische opbouw van kennis en ervaring naast dossier-specifieke doelbereiking kan het helpen als evaluaties zowel een specifiek als een breder geldend algemeen deel bevatten. Belangrijk is ook te sturen op een evenwichtige evaluatieportfolio per beleidsterrein, met aandacht voor ex ante en ex post methoden, uiteenlopende waarden, en verschillende informatiebronnen. Naast best practices moet daarbij ook minder geslaagd beleid in beeld worden gebracht. Voor de bruikbaarheid van evaluaties voor de praktijk is goede vertegenwoordiging van het bottom-up perspectief noodzakelijk.
Evaluatie van beleid vereist gedegen inbedding binnen de nationale kennisinfrastructuur, effectieve samenwerking met kennisinstellingen en het up-to-date houden van het evalueren zelf. Dat is cruciaal voor het evaluatievermogen van de lerende overheid.

De meerwaarde van lokale rekenkamers is nog niet vanzelfsprekend. In dit artikel betogen de auteurs dat deze wordt beïnvloed door drie factoren: de relatie met de andere spelers in het lokale politiek-bestuurlijke krachtenveld, de kwaliteit van hun werk, en de processen waarmee dat werk een plaats krijgt in de gemeentelijke beleids- en besluitvorming. De ultieme meerwaarde van lokale rekenkamers zoeken zij niet in de onafhankelijkheid van de rekenkamer of in diens onderzoeken an sich, maar in de onzichtbare beïnvloeding van beleids- en besluitvorming door de robuuste positie van het instituut, in termen van onder meer waardering, gezag en vanzelfsprekendheid; een positie die wordt beïnvloed door bovengenoemde drie factoren. De toekomstige opgave voor gemeenteraden en rekenkamers ligt er dan ook in om verder te kijken dan de structuur, en met elkaar het gesprek over de rekenkamer te voeren op de punten relatie, kwaliteit en proces.

Nederlandse gemeenten baseren zich veelal op de uitkomsten van de Veiligheidsmonitor (VM) om te weten hoe inwoners de veiligheid in hun woonomgeving waarderen. Ze kijken hierbij onder andere naar het rapportcijfer voor de veiligheid in de eigen buurt. Maar is dit eigenlijk wel een bruikbaar cijfer? In dit artikel nemen we het conceptuele model van Oppelaar en Wittebrood (2006) als uitgangspunt voor het uitvoeren van een regressieanalyse om te achterhalen waardoor het rapportcijfer voor veiligheid in de eigen buurt wordt verklaard. Het rapportcijfer blijkt door vele zaken te worden beïnvloed, aangevoerd door de manier waarop bewoners aankijken tegen de omvang van de criminaliteit in de eigen omgeving, de ervaren overlast en het oordeel over de wijk. Vanwege de vele kenmerken die meespelen, zo beargumenteren we, doen gemeenten er verstandig aan om het rapportcijfer niet te gebruiken.

De voorbije vier decennia werden er heel wat studies naar de implementatie van beleid uitgevoerd, maar deze hebben vier belangrijke tekortkomingen: (1) onduidelijke omschrijving van de afhankelijke variabele, (2) te weinig inzicht in de ‘kritieke’ onafhankelijke variabelen en te weinig aandacht voor de wijze waarop deze in combinatie met elkaar het beleidsimplementatieproces beïnvloeden, (3) te laag aantal cases en (4) te weinig aandacht voor hypothesetoetsing. Dit artikel geeft aan hoe het gebruik van Qualitative Comparative Analysis (QCA) (Ragin, 1987) een antwoord kan bieden op deze beperkingen. Deze analysemethode tracht de verschillende causale paden die het beleidsimplementatieproces beïnvloeden te identificeren en de condities of combinaties van condities die noodzakelijk of voldoende zijn in kaart te brengen. Hiervoor wordt gebruikgemaakt van Booleaanse algebra. Door deze en andere specifieke eigenschappen kan QCA leiden tot vernieuwende inzichten in beleidsimplementatieonderzoek.

In de praktijk is het niet altijd haalbaar om effectonderzoek uit te voeren met behulp van een experimentele trial. Het N=1 design is een alternatieve opzet voor effectonderzoek bij interventies met kleine aantallen. Centraal bij de N=1 aanpak staat dat bij een kleine groep deelnemers via verschillende observanten op meerdere tijdstippen informatie wordt verzameld over de ontwikkeling van deelnemers. Daarbij kan zowel gebruik worden gemaakt van kwantitatieve als kwalitatieve onderzoeksmethoden. Dit artikel beschrijft de toepassing van het N=1 design in een onderzoek naar de doeltreffendheid van de justitiële gedragsinterventie Multidimensional Treatment Foster Care (MTFC). Deze interventie is ontwikkeld voor jeugdigen tussen de 12 en 18 jaar met ernstig antisociaal gedrag. In het onderzoek is de ontwikkeling van acht MTFC-deelnemers in kaart gebracht via vragenlijstonderzoek en interviews. Naast de toepassingsmogelijkheden worden in dit artikel tevens de beperkingen en risico’s van het N=1 design beschreven.

De Nederlandse rijksoverheid maakt steeds meer gebruik van DBFM(O)-contracten om grootschalige bouw- en infraprojecten te ontwikkelen en te realiseren (DBFM(O) staat voor Design, Build, Finance, Maintain en eventueel Operate). De organisatie en inrichting van deze contracten en projecten zijn ‘als vanzelfsprekend’ gegroeid en gestandaardiseerd, veelal gebaseerd op de internationale praktijk en buitenlandse voorbeelden. Dit artikel zet uiteen hoe DBFM(O)-projecten georganiseerd en gestructureerd worden door publieke en private partijen. Uit internationaal onderzoek blijkt dat de resultaten wisselend zijn, maar de potentiële voordelen van DBFM(O) zijn groot. Deze potentie blijkt uit de eerste praktijkervaringen in Nederland, maar we kennen inmiddels ook de eerste negatieve gevolgen voor betrokken risicodragende partijen. We onderscheiden bij DBFM(O) zes ‘conventies’ met onderliggende spanningen waar praktijk en wetenschap, in de Nederlandse verhoudingen, kritisch op zullen moeten reflecteren.

De Handreiking Gezonde Gemeente, een landelijk instrument voor verbetering van integraal gemeentelijk gezondheidsbeleid, wordt volgens de Gezondheidsinspectie onvoldoende gebruikt. Deze studie onderzoekt mogelijkheden voor verbeterde implementatie van de handreiking in de GGD-organisatie.
Diverse GGD-disciplines, gemeenteambtenaren en externe respondenten zijn geïnterviewd over ervaringen en opvattingen aangaande de handreiking.
Naast een positieve inhoudelijke waardering is er een sterke roep om concrete vertaling naar het ‘hoe’ van het gebruik. De directe voordelen van het instrument voor betrokken professionals en managers binnen en buiten de GGD-en zijn onvoldoende geëxploreerd.
Als GGD-en het als taak zien om het gebruik van de handreiking door professionals, gemeenten en partners te stimuleren, dan zullen zij eerst de voordelen ervan moeten expliciteren. Bereidheid bij GGD-managers om professionals te sturen en faciliteren op het gebruik van instrumenten lijkt hiervoor een belangrijke randvoorwaarde.

Achterliggende motieven en overwegingen van Nederlandse overheidsbesturen om dan wel en dan weer niet te kiezen voor publiek-private samenwerking (PPS) bij infrastructurele projecten bleven tot voor kort onduidelijk. Diverse kabinetten predikten sinds het midden van de jaren tachtig uit de vorige eeuw weliswaar publiek-private samenwerking, maar daarmee was PPS nog geen feit. Wisselende (macro-)motieven werden in nota’s opgevoerd om PPS onvermijdelijk te maken, waarbij financiële meerwaarde een constante was, maar dat bleek niet genoeg. Per project wisselende (micro-)motieven moesten de gewenste PPS-keuze rechtvaardigen, waaronder ook niet-politieke motieven. Het bereiken van financiële meerwaarde bleek wel een officieel doel of motief, maar was in de praktische besluitvorming lang niet altijd de enige relevante factor. Dit betekent dat de stelling dat financiële meerwaarde juist bepalend is, niet volledig blijkt te sporen met de PPS-praktijk. Sterker gesteld, bestuurlijke afwegingen blijken vaak bepalender voor keuzen pro of contra PPS bij rijksinfrastructurele projecten, of ook van grote invloed.

Je kunt natuurlijk wel verwachten dat Jan van Zijl, die tegenwoordig voorzitter is van de MBO Raad, positieve herinneringen heeft aan wat je zou kunnen noemen ‘zijn RWI’, maar misschien niet dat hij een paar jaar na dato nog zo uitdrukkelijk betreurt dat de RWI is opgeheven. Het was indertijd bij de oprichting wel zo dat de RWI door sommigen gezien werd als een doekje voor het bloeden voor de sociale partners in verband met het feit dat zij macht gingen verliezen na invoering van de SUWI-structuur, maar Van Zijl ging bepaald niet uit van een korte levensloop van de nieuwe raad. Dat hij de taak van de RWI serieus nam, blijkt trouwens ook uit het grote aantal indringende adviezen en rapportages dat de RWI heeft weten te produceren.

Integraal gezondheidsbeleid (IGB) kent in de lokale praktijk diverse verschijningsvormen en kenmerken waardoor het lastig is dit beleid te monitoren en evalueren. In een kennissynthese van Nederlandse kernpublicaties over IGB is gekeken wat op basis van ervaringen in de IGB-praktijk tot nu toe gezegd kan worden over monitoring en evaluatie. Bij deze practice-based verkenning naar IGB-kenmerken en bijbehorende praktische instrumenten is een indeling in drie categorieën gebruikt: context, processen en impact. Voorbeelden van relevante kenmerken zijn: type IGB en setting (context), verbinden beleid en activiteiten (proces), samenwerking sectoren (proces), draagvlak en verankering in organisatie (proces), en effecten op gezondheid of determinanten (impact). Op basis van de huidige IGB-praktijk lijkt het vooral haalbaar kennis te genereren over context en procesmaten, en minder over impactmaten. Uiteindelijk is een set kenmerken die meetbaar zijn met gevalideerde instrumenten wenselijk om grip te krijgen op de voortgang van IGB. Meer theoretische onderbouwing is dan wel noodzakelijk.

Na het aantreden van Rutte II heeft de bestuurlijke opschaling van gemeenten en provincies twintig maanden lang op de agenda gestaan. Zoals bekend hebben de plannen van het kabinet de eindstreep niet gehaald. Vooral bij de meest betrokken provincies bestond er kritiek op het ontbreken van een visie en onderbouwing. In dit artikel wordt onderzocht in hoeverre een netwerkanalyse van het verplaatsingsgedrag daarin zou kunnen voorzien. Voor een volgende ronde, die zich mogelijk al snel weer aandient. De uitkomsten van verschillende algoritmes voor netwerkanalyse worden vergeleken. Het begrip daily urban system, gekoppeld aan welvaartstheoretische inzichten (Tordoir), dient als inhoudelijke leidraad. Netwerkanalyse blijkt zakelijke argumenten op te leveren die behulpzaam kunnen zijn bij het trekken van (nieuwe) bestuurlijke grenzen, ook al zullen deze om verschillende redenen nooit alleenzaligmakend zijn.