In maart 2020 verscheen het boek Beleidsevaluatie in theorie en praktijk van Peter van der Knaap, Valérie Pattyn en Dick Hanemaayer. Joost Fledderus bespreekt de inhoud van het boek en geeft aan welke meerwaarde het biedt voor (aankomende) beleidsonderzoekers.

Beleidsonderzoek is een vak dat in de afgelopen vijftig jaar geleidelijk is ontwikkeld tot een echte professie. In dit essay wordt de eerste helft van deze periode beschreven en op diverse punten vergeleken met de huidige situatie. De terugblik bestaat uit drie onderdelen: professionalisering; relatie met opdrachtgevers; ambachtelijke aspecten.

Voor doeltreffend en doelmatig beleid is het essentieel om verantwoording af te leggen over de gemaakte keuzes en te leren van de lessen uit het verleden. Om dit te stimuleren verplicht de Regeling Periodiek Evaluatieonderzoek (RPE) de rijksoverheid om periodiek beleidsdoorlichtingen te (laten) verrichten. Een beleidsdoorlichting bundelt alle beschikbare kennis over de doeltreffendheid en doelmatigheid van een volledig beleidsterrein over een bepaalde periode. Daartoe worden alle tussentijds uitgevoerde beleidsevaluaties bestudeerd.
Dit artikel beschrijft de kwaliteit van beleidsdoorlichtingen. Het artikel is gebaseerd op onderzoek van SEO Economisch Onderzoek in opdracht van het Ministerie van Financiën. Het gebruik van beleidsdoorlichtingen valt buiten de scope van dit artikel.
Uit een steekproef van 49 beleidsdoorlichtingen blijkt dat de doeltreffendheid en doelmatigheid van het gevoerd beleid vaak niet goed in beeld komen. Dit komt onder meer omdat er te weinig goed evaluatieonderzoek wordt uitgevoerd en omdat beleidsdoelstellingen met enige regelmaat worden aangepast. Het gevolg hiervan is dat uitspraken over de doeltreffendheid van beleid meestal niet stevig onderbouwd zijn en de doelmatigheid van beleid onderbelicht blijft. Dit maakt het minder goed mogelijk om lessen uit het verleden te trekken.
Er is ruimte voor verbetering. Zo kan (1) het lerend vermogen van ministeries intern versterkt worden, (2) kunnen departementen hun beleidsevaluaties systematischer uitvoeren om volledigheid te waarborgen, (3) dient er ex ante te worden vastgesteld hoe de doeltreffendheid en doelmatigheid van beleidsmaatregelen ex post (causaal) kunnen worden geëvalueerd, (4) kan de onafhankelijk deskundige die bij beleidsdoorlichtingen wordt ingezet tevens de kwaliteit van het beschikbare evaluatiemateriaal vaststellen, en (5) kan worden overwogen om beleidsdoorlichtingen strategisch te plannen aan het eind van een kabinetsperiode. Op deze manier neemt de toegevoegde waarde van de beleidsdoorlichting toe.

Beleidsevaluatie richt zich steeds naar informatiebehoeften en technische mogelijkheden. Hierdoor is het gebruik van cijfermatige informatie toegenomen. Met name bestaande data worden, met steeds betere analysetechnieken, ingezet omdat ze beschikbaar zijn en relatief goedkoop. Dit gaat echter ten koste van de validiteit en diepgang van onderzoek. Dat is in zekere zin een regressie, een achteruitgang. We zien echter ook progressie in het beleidsonderzoek. In de eerste plaats komt er steeds meer belangstelling voor de zogenoemde mixed methods-benadering. Ten tweede is er een groeiende belangstelling voor participerende, interactieve en responsieve vormen van onderzoek. Er ontstaat weer meer oog voor de wereld achter de cijfers, het hoe en waarom van beleid, en vooral voor de mensen in die wereld.

Maar liefst drie onderzoekscommissies brachten een rapport uit over de vermeende politieke beïnvloeding en sturing van onderzoek op het WODC van het ministerie van Justitie en Veiligheid. Maar uit het rapport van de commissie-Hertogh, die de kwestie in een breder perspectief moest plaatsen, komt geen eenduidig beeld naar voren van de ernst, omvang en oorzaken van de problematiek. Deze commissie verzuimt om een grondige analyse te maken van de achtergronden van de kwestie. Ook de methodologie van het onderzoek van de commissie-Hertogh rammelt, op zijn zachtst gezegd. En de aanbevelingen van deze commissie gaan voorbij aan het belang van interactie tussen beleidsmakers en onderzoekers. Het rapport voldoet niet aan de kwaliteitseisen die je aan beleidsonderzoek kunt stellen. Dat is spijtig: de WODC-affaire had beter onderzoek verdiend.

In Nederland komen tal van wicked problems (WP) voor. Ze worden ook wel aangeduid als weerbarstige problemen. Kenmerkend is het unieke karakter, het feit dat kennis over probleemaspecten beperkt is en verschillende perspectieven op een probleem en meerdere waardenoriëntaties een rol spelen. Naast cognitieve en normatieve complexiteit bestaat er ook nog sociale complexiteit. WPs zoals voetbalvandalisme spelen zich af in een beleidsnetwerk met tal van elkaar afhankelijke actoren. Kennis, preferenties, handelingsvermogen en middelen blijken gespreid en niet in de hand van één actor. Om toch tot een bevredigend resultaat te komen moeten de actoren gezamenlijk optrekken. Daarom is interorganisationeel netwerkmanagement en deliberatie met burgers een wenselijke responsestrategie. Bij WPs zijn actoren dus tot elkaar veroordeeld. Centralistische besluitvorming werkt niet. Een centrale actor kan overigens nog wel een rol vervullen als initiator, facilitator of regisseur van overleg en discussie; als arbiter bij botsende perspectieven; of beslisser na netwerkberaad en inbreng van burgers.

Volgens de Marylandschaal is rct het best mogelijke type beleidsonderzoek. Rct is dan ook het boegbeeld van het evidence-based onderzoek. De kritiek op rct’s is echter in de loop van de jaren alleen maar groter geworden. Bovendien blijkt uit een recente meta-evaluatie dat de non-experimentele onderzoeken niet tot andere uitkomsten leidden dan de rct’s. Al met al wordt te veel geloof gehecht aan de evidence-based benadering in het algemeen en rct’s in het bijzonder. Vandaar de vraag: wordt het misschien tijd voor een Maryland Scientific Methods Scale 2.0?

Het ontwikkelen van succesvol overheidsbeleid vraagt om een systematische benutting van kennis uit wetenschap én praktijk. In dit artikel wordt beschreven op welke manier die systematische benutting kan worden bewerkstelligd. Als de afstand tussen kennis en beleidsontwikkeling kan worden verkleind en tevens wordt gekozen voor een proces van open beleidsontwikkeling, zal de benutting van kennis tijdens het beleidsproces beter verlopen. Daarbij dienen tegelijkertijd diverse voorwaarden te worden gesteld aan een adequate programmering van het corresponderende beleidsonderzoek.

In dit essay biedt de auteur een handreiking voor creatieve samenwerking, niet als oplossing of regel, maar als creatief proces dat steeds per geval en situatie in elke fase van beleidsonderzoek kan worden ingericht. De auteur doet dit aan de hand van een aantal door de auteurs van Kennis voor beleid (2015) geformuleerde criteria.

De bundel Kennis voor beleid (2015), onder redactie van Peter van Hoesel, Jos Mevissen en Bart Dekker, is een boek voor iedereen die werkzaam is op het snijvlak van onderzoek en beleid. De uitgave is vooral opgezet als leerboek of overzichtswerk voor studenten, beleidsonderzoekers en beleidsmedewerkers die in hun dagelijkse praktijk te maken hebben met beleidsonderzoek.

Nationaal en internationaal staat onderzoek dat maatschappelijk relevant is, wetenschappelijk gezien hoge kwaliteit heeft, en zowel integer als efficiënt wordt uitgevoerd in de schijnwerpers. Het achterliggende idee is dat alleen zo de gewenste maatschappelijke impact kan worden bereikt. Door het bevorderen van verantwoorde onderzoekspraktijken, waarbij er onder andere expliciet aandacht is voor aspecten als stakeholderparticipatie, interdisciplinaire samenwerking, replicatie en systematische reviews, kunnen financiers of programmeurs van onderzoek hieraan bijdragen. In dit artikel wordt een overzicht gegeven van de wijze waarop ZonMw dat doet als kennisprogrammeur op het gebied van het gezondheidsonderzoek. Hiertoe is een toetsingskader ontwikkeld en toegepast op zestien lopende onderzoeksprogramma’s, dat ook voor andere domeinen en actoren betekenis heeft. Een belangrijke aanbeveling is dat ‘verantwoord programmeren’ een eigen kennisbasis behoeft om de toegevoegde waarde ervan te kunnen bepalen. Naast investeringen in metaonderzoek vraagt dat om een goede monitoring en informatievoorziening bij de kennisprogrammeur.

Aan het eind van zijn column ‘Inkopen doen’ vraagt Jos Mevissen de lezer om te reageren (zie Beleidsonderzoek Online januari 2016). Zijn column gaat over negatieve ontwikkelingen op het gebied van inkoop voor beleidsonderzoek. Bevordering van een goede marktwerking in de markt voor beleidsonderzoek is een van de speerpunten van de Vereniging voor Beleidsonderzoek (VBO). In deze bijdrage reageert de vereniging op de column van Jos Mevissen.

Een lerende overheid heeft behoefte aan beleidsevaluaties die niet alleen van betekenis zijn voor het onderwerp waarop deze primair gericht zijn, maar ook bijdragen aan bredere, systematische opbouw van kennis en ervaring. Het interdepartementaal verbinden van expertise verruimt daarbij het zicht op factoren die het leren bevorderen of belemmeren.
Een centrale vraag is of de door het beleid beoogde publieke belangen inderdaad bevorderd worden. Beleidsevaluatie moet dan niet alleen gericht zijn op effectiviteit en doelmatigheid ten aanzien van relatief gemakkelijk meetbare indicatoren, maar ook op lastig te kwantificeren essentiële waarden zoals subjectief welzijn, rechtvaardigheid en maatschappelijke aanvaardbaarheid. Het verdient aanbeveling kostbare evaluatie-energie te concentreren op belangrijke kwesties waarover vooraf discussie of onzekerheid bestaat.
Uit een oogpunt van doelmatige beleidsvoorbereiding, en omdat de uitwerking van wetgeving en beleid ex post niet altijd eenvoudig is vast te stellen, is veel aandacht nodig voor ex ante evaluatie. Van onderzoek naar werkingsmechanismen van beleidsmaatregelen wordt in dit verband terecht veel verwacht.
Er is sprake van een paradoxaal spanningsveld tussen verwetenschappelijking en politisering van beleid. Daarom is stevig verankerde, onafhankelijke en onpartijdige beleidsevaluatie onmisbaar. Hoge methodologische kwaliteit biedt extra houvast om deze functie geloofwaardig te kunnen vervullen.
In het streven naar systematische opbouw van kennis en ervaring naast dossier-specifieke doelbereiking kan het helpen als evaluaties zowel een specifiek als een breder geldend algemeen deel bevatten. Belangrijk is ook te sturen op een evenwichtige evaluatieportfolio per beleidsterrein, met aandacht voor ex ante en ex post methoden, uiteenlopende waarden, en verschillende informatiebronnen. Naast best practices moet daarbij ook minder geslaagd beleid in beeld worden gebracht. Voor de bruikbaarheid van evaluaties voor de praktijk is goede vertegenwoordiging van het bottom-up perspectief noodzakelijk.
Evaluatie van beleid vereist gedegen inbedding binnen de nationale kennisinfrastructuur, effectieve samenwerking met kennisinstellingen en het up-to-date houden van het evalueren zelf. Dat is cruciaal voor het evaluatievermogen van de lerende overheid.

Achter opdrachtresearch gaat de veronderstelling schuil dat de tussen- en eindresultaten van beleidsonderzoek vroeg of laat ook benut worden en onderdeel worden van een proces van bezinning op beleid. Dit artikel handelt hierover. Diverse aspecten van benutting van onderzoek komen aan bod, zoals de definitie en vormen van benutting. Er worden vier richtingen onderscheiden om de omvang en vorm van benutting of onderbenutting op te sporen. Het artikel geeft voorts verklaringen voor achterblijvende benutting en bevat adviezen om te komen tot meer benutting. Voor ambtenaren, bestuurders en partners in beleidsnetwerken biedt deze beschouwing aanknopingspunten om researchresultaten desgewenst beter te benutten. En voor onderzoekers bevat dit artikel tal van aanzetten tot hypothesevorming voor verder onderzoek.

In dit artikel wordt het evaluatieonderzoek van overheidsbeleid kritisch onder de loep genomen. De auteur bespreekt vier alternatieven: responsieve en multipele evaluatie, argumentatieve evaluatie, netwerkgericht evalueren en lerend evalueren. De bevindingen kunnen positief inwerken op het ‘leren van evalueren’ in organisaties.

Recensie van het boek Management van beleidsonderzoek. Handreiking voor verdere professionalisering van een dynamisch vakgebied, onder redactie van Bart Dekker, Peter van Hoesel en Yvonne Prince, Den Haag: Boom Lemma uitgevers 2011