In maart 2020 verscheen het boek Beleidsevaluatie in theorie en praktijk van Peter van der Knaap, Valérie Pattyn en Dick Hanemaayer. Joost Fledderus bespreekt de inhoud van het boek en geeft aan welke meerwaarde het biedt voor (aankomende) beleidsonderzoekers.

Naar aanleiding van 25 jaar Vereniging voor Beleidsonderzoek staat dit artikel stil bij de rol van beleidsonderzoek. Het belang daarvan wordt nogal eens onderschat – zowel door beleidsmakers als onderzoekers zelf. Vanuit een wat breder perspectief bezien blijkt het voor de huidige samenleving – getypeerd als ‘een pragmacratie’ – echter een onmisbare functie te vervullen. Beleid en praktijk zijn vaak indirect gebaseerd op wetenschappelijke concepten, onderzoeksresultaten en toekomstverkenningen. Vooral de sociale wetenschappen maken zichtbaar wat mogelijk is, en beleidsonderzoek doet dat dan ook nog eens op een tijdige, oplossingsgerichte manier. Daarbij zijn er verschillende manieren om impact te hebben, waarbij de beleidsonderzoeker moet vasthouden aan zijn onafhankelijkheid en controleerbaarheid.
Dit artikel is een uitwerking van de lezing van Hans Boutellier op het VBO-congres op 7 november 2019 en is gebaseerd op het gelijknamige hoofdstuk uit Het seculiere experiment: Over westerse waarden in radicale tijden (herziene versie, 2019). Zie ook het essay van Peter van Hoesel, Beleidsonderzoek in de periode 1970-1995, Beleidsonderzoek Online februari 2020.

Beleidsonderzoek is een vak dat in de afgelopen vijftig jaar geleidelijk is ontwikkeld tot een echte professie. In dit essay wordt de eerste helft van deze periode beschreven en op diverse punten vergeleken met de huidige situatie. De terugblik bestaat uit drie onderdelen: professionalisering; relatie met opdrachtgevers; ambachtelijke aspecten.

Voor doeltreffend en doelmatig beleid is het essentieel om verantwoording af te leggen over de gemaakte keuzes en te leren van de lessen uit het verleden. Om dit te stimuleren verplicht de Regeling Periodiek Evaluatieonderzoek (RPE) de rijksoverheid om periodiek beleidsdoorlichtingen te (laten) verrichten. Een beleidsdoorlichting bundelt alle beschikbare kennis over de doeltreffendheid en doelmatigheid van een volledig beleidsterrein over een bepaalde periode. Daartoe worden alle tussentijds uitgevoerde beleidsevaluaties bestudeerd.
Dit artikel beschrijft de kwaliteit van beleidsdoorlichtingen. Het artikel is gebaseerd op onderzoek van SEO Economisch Onderzoek in opdracht van het Ministerie van Financiën. Het gebruik van beleidsdoorlichtingen valt buiten de scope van dit artikel.
Uit een steekproef van 49 beleidsdoorlichtingen blijkt dat de doeltreffendheid en doelmatigheid van het gevoerd beleid vaak niet goed in beeld komen. Dit komt onder meer omdat er te weinig goed evaluatieonderzoek wordt uitgevoerd en omdat beleidsdoelstellingen met enige regelmaat worden aangepast. Het gevolg hiervan is dat uitspraken over de doeltreffendheid van beleid meestal niet stevig onderbouwd zijn en de doelmatigheid van beleid onderbelicht blijft. Dit maakt het minder goed mogelijk om lessen uit het verleden te trekken.
Er is ruimte voor verbetering. Zo kan (1) het lerend vermogen van ministeries intern versterkt worden, (2) kunnen departementen hun beleidsevaluaties systematischer uitvoeren om volledigheid te waarborgen, (3) dient er ex ante te worden vastgesteld hoe de doeltreffendheid en doelmatigheid van beleidsmaatregelen ex post (causaal) kunnen worden geëvalueerd, (4) kan de onafhankelijk deskundige die bij beleidsdoorlichtingen wordt ingezet tevens de kwaliteit van het beschikbare evaluatiemateriaal vaststellen, en (5) kan worden overwogen om beleidsdoorlichtingen strategisch te plannen aan het eind van een kabinetsperiode. Op deze manier neemt de toegevoegde waarde van de beleidsdoorlichting toe.

Maar liefst drie onderzoekscommissies brachten een rapport uit over de vermeende politieke beïnvloeding en sturing van onderzoek op het WODC van het ministerie van Justitie en Veiligheid. Maar uit het rapport van de commissie-Hertogh, die de kwestie in een breder perspectief moest plaatsen, komt geen eenduidig beeld naar voren van de ernst, omvang en oorzaken van de problematiek. Deze commissie verzuimt om een grondige analyse te maken van de achtergronden van de kwestie. Ook de methodologie van het onderzoek van de commissie-Hertogh rammelt, op zijn zachtst gezegd. En de aanbevelingen van deze commissie gaan voorbij aan het belang van interactie tussen beleidsmakers en onderzoekers. Het rapport voldoet niet aan de kwaliteitseisen die je aan beleidsonderzoek kunt stellen. Dat is spijtig: de WODC-affaire had beter onderzoek verdiend.

In Nederland komen tal van wicked problems (WP) voor. Ze worden ook wel aangeduid als weerbarstige problemen. Kenmerkend is het unieke karakter, het feit dat kennis over probleemaspecten beperkt is en verschillende perspectieven op een probleem en meerdere waardenoriëntaties een rol spelen. Naast cognitieve en normatieve complexiteit bestaat er ook nog sociale complexiteit. WPs zoals voetbalvandalisme spelen zich af in een beleidsnetwerk met tal van elkaar afhankelijke actoren. Kennis, preferenties, handelingsvermogen en middelen blijken gespreid en niet in de hand van één actor. Om toch tot een bevredigend resultaat te komen moeten de actoren gezamenlijk optrekken. Daarom is interorganisationeel netwerkmanagement en deliberatie met burgers een wenselijke responsestrategie. Bij WPs zijn actoren dus tot elkaar veroordeeld. Centralistische besluitvorming werkt niet. Een centrale actor kan overigens nog wel een rol vervullen als initiator, facilitator of regisseur van overleg en discussie; als arbiter bij botsende perspectieven; of beslisser na netwerkberaad en inbreng van burgers.

Het ontwikkelen van succesvol overheidsbeleid vraagt om een systematische benutting van kennis uit wetenschap én praktijk. In dit artikel wordt beschreven op welke manier die systematische benutting kan worden bewerkstelligd. Als de afstand tussen kennis en beleidsontwikkeling kan worden verkleind en tevens wordt gekozen voor een proces van open beleidsontwikkeling, zal de benutting van kennis tijdens het beleidsproces beter verlopen. Daarbij dienen tegelijkertijd diverse voorwaarden te worden gesteld aan een adequate programmering van het corresponderende beleidsonderzoek.

Alhoewel het gebruik van beleidsevaluaties (of het gebrek eraan) een van de meest besproken thema’s is in de evaluatieliteratuur, berust veel onderzoek over het thema enkel op anekdotisch bewijs, en zijn er nauwelijks studies beschikbaar die aandacht hebben voor de samenhang tussen verschillende factoren die impact kunnen hebben op het gebruik. In voorliggend artikel presenteren we de resultaten van een studie waarin we hebben getracht om op een systematische wijze inzicht te bieden in de combinaties van factoren die instrumenteel gebruik van beleidsevaluaties bevorderen of verhinderen. We onderzochten in dit verband alle evaluaties die in de periode 2013-2016 werden uitgevoerd bij de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie. Via Qualitative Comparative Analysis (QCA) bekeken we welke combinaties van de volgende factoren als noodzakelijk en/of voldoende bleken voor evaluatiegebruik: (1) politiek gehalte van het onderwerp, (2) interesse van de beleidsmakers, (3) aanwezigheid van nieuwe kennis in de evaluatie, en (4) de timing van de evaluatie.
Voor de praktijk van beleidsmakers en evaluatoren benadrukken we het belang van tijdigheid en interesse voor een evaluatie. Onze analyse laat zien dat professionals die op deze factoren inzetten, een gunstig klimaat creëren voor het gebruik van evaluaties. Wat betreft tijdigheid lijkt het van belang de evaluatie te laten sporen met het schrijfwerk van een beleidsafdeling aan nieuw beleid of grote beleidsveranderingen. Goede anticipatie en een sterke institutionalisering van het evaluatieproces zijn hiertoe cruciaal. Of het thema van de evaluatie een sterke politieke gevoeligheid kent, is minder belangrijk. Mits sprake is van de juiste omgevingscondities, kunnen ook dergelijke evaluaties sterk instrumenteel worden benut.

Dit essay is een reactie vanuit het ministerie van Sociale Zaken en Werkgelegenheid op de column ‘Beleidsevaluatie als ritueel’ van Peter van Hoesel (BO januari 2017).

In dit essay biedt de auteur een handreiking voor creatieve samenwerking, niet als oplossing of regel, maar als creatief proces dat steeds per geval en situatie in elke fase van beleidsonderzoek kan worden ingericht. De auteur doet dit aan de hand van een aantal door de auteurs van Kennis voor beleid (2015) geformuleerde criteria.

In deze bijdrage reageert de auteur op het essay van Frans de Haan en Jan-Maarten van Sonsbeek: Beleidsevaluaties: meer dan een ritueel! (BO september 2017).

Een gedegen beleidsvoorbereiding kan beleidsfalen voorkomen. Hoewel deze thematiek al jaren aandacht krijgt in de politiek, lukt het de rijksoverheid nog niet hieraan structureel succesvol invulling te geven. In het licht van de recente Tweede Kamer verkiezingen is er hernieuwde aandacht voor samenspraak bij beleid en beleidsexperimenten om te komen tot beter beleid. Het rendement daarvan is naar verwachting beperkt. Ten eerste omdat samenspraak vaak zodanig ingeperkt is, dat de invloed van kennis voor beleid beperkt blijft. Ten tweede omdat wetenschappelijke kennis prevaleert boven de voor beleidseffectiviteit noodzakelijke tacit knowledge. De rijksoverheid kan meer rendement halen uit investeringen in een betere beleidsvoorbereiding, door de structurele afweging tot de inzet van samenspraak en beleidsexperimenten bij nieuw of gewijzigd beleid; verantwoording van deze afweging, alsmede onafhankelijke toetsing van de te verwachten beleidseffectiviteit. Investeringen in handreikingen zijn weinig zinvol. De gemeente Rotterdam geeft een goed voorbeeld.

De bundel Kennis voor beleid (2015), onder redactie van Peter van Hoesel, Jos Mevissen en Bart Dekker, is een boek voor iedereen die werkzaam is op het snijvlak van onderzoek en beleid. De uitgave is vooral opgezet als leerboek of overzichtswerk voor studenten, beleidsonderzoekers en beleidsmedewerkers die in hun dagelijkse praktijk te maken hebben met beleidsonderzoek.

Nationaal en internationaal staat onderzoek dat maatschappelijk relevant is, wetenschappelijk gezien hoge kwaliteit heeft, en zowel integer als efficiënt wordt uitgevoerd in de schijnwerpers. Het achterliggende idee is dat alleen zo de gewenste maatschappelijke impact kan worden bereikt. Door het bevorderen van verantwoorde onderzoekspraktijken, waarbij er onder andere expliciet aandacht is voor aspecten als stakeholderparticipatie, interdisciplinaire samenwerking, replicatie en systematische reviews, kunnen financiers of programmeurs van onderzoek hieraan bijdragen. In dit artikel wordt een overzicht gegeven van de wijze waarop ZonMw dat doet als kennisprogrammeur op het gebied van het gezondheidsonderzoek. Hiertoe is een toetsingskader ontwikkeld en toegepast op zestien lopende onderzoeksprogramma’s, dat ook voor andere domeinen en actoren betekenis heeft. Een belangrijke aanbeveling is dat ‘verantwoord programmeren’ een eigen kennisbasis behoeft om de toegevoegde waarde ervan te kunnen bepalen. Naast investeringen in metaonderzoek vraagt dat om een goede monitoring en informatievoorziening bij de kennisprogrammeur.

Burgers willen meer en nadrukkelijker zelf invloed hebben op hun eigen en de collectieve leefomgeving. Overheden worstelen met dit, an sich legitieme, vraagstuk, met name hoe dit vorm en inhoud gegeven moet worden binnen de vastgelegde kaders. De huidige procesgang in de relatie tussen burgers en overheden bij leefomgevingsingrijpen is gebaseerd op het aloude vierluik (spoor 1): de overheid informeert de belanghebbende burgers over haar voornemens, burgers kunnen zienswijzen indienen, die al dan niet meegenomen worden, daarna bestaat de mogelijkheid van bezwaar aantekenen (niet bindend), en tot slot kan een beroepsprocedure bij de Raad van State worden doorlopen (wel bindend maar steeds minder effectief). Kortom, een erg defensieve en steeds minder resultaatgerichte benadering. De auteurs van deze bijdrage pleiten nu voor de ontwikkeling van een tweede spoor waarbij constructieve burgerparticipatie via samenspraak en samenwerking optrekt met het bevoegd gezag om vaak sneller en goedkoper tot projectresultaten met draagvlak te komen. Helaas zijn zowel aan de zijde van de burgers als bij veel overheden de noodzakelijke randvoorwaarden nog niet ingevuld om deze coproductie op voorhand succesvol te laten verlopen. De auteurs doen een oproep aan bestuurders en politici om hier invulling aan te geven. Praktijkervaringen wijzen uit dat constructieve burgerparticipatie veel meerwaarde heeft, met name ook voor overheden.

Een lerende overheid heeft behoefte aan beleidsevaluaties die niet alleen van betekenis zijn voor het onderwerp waarop deze primair gericht zijn, maar ook bijdragen aan bredere, systematische opbouw van kennis en ervaring. Het interdepartementaal verbinden van expertise verruimt daarbij het zicht op factoren die het leren bevorderen of belemmeren.
Een centrale vraag is of de door het beleid beoogde publieke belangen inderdaad bevorderd worden. Beleidsevaluatie moet dan niet alleen gericht zijn op effectiviteit en doelmatigheid ten aanzien van relatief gemakkelijk meetbare indicatoren, maar ook op lastig te kwantificeren essentiële waarden zoals subjectief welzijn, rechtvaardigheid en maatschappelijke aanvaardbaarheid. Het verdient aanbeveling kostbare evaluatie-energie te concentreren op belangrijke kwesties waarover vooraf discussie of onzekerheid bestaat.
Uit een oogpunt van doelmatige beleidsvoorbereiding, en omdat de uitwerking van wetgeving en beleid ex post niet altijd eenvoudig is vast te stellen, is veel aandacht nodig voor ex ante evaluatie. Van onderzoek naar werkingsmechanismen van beleidsmaatregelen wordt in dit verband terecht veel verwacht.
Er is sprake van een paradoxaal spanningsveld tussen verwetenschappelijking en politisering van beleid. Daarom is stevig verankerde, onafhankelijke en onpartijdige beleidsevaluatie onmisbaar. Hoge methodologische kwaliteit biedt extra houvast om deze functie geloofwaardig te kunnen vervullen.
In het streven naar systematische opbouw van kennis en ervaring naast dossier-specifieke doelbereiking kan het helpen als evaluaties zowel een specifiek als een breder geldend algemeen deel bevatten. Belangrijk is ook te sturen op een evenwichtige evaluatieportfolio per beleidsterrein, met aandacht voor ex ante en ex post methoden, uiteenlopende waarden, en verschillende informatiebronnen. Naast best practices moet daarbij ook minder geslaagd beleid in beeld worden gebracht. Voor de bruikbaarheid van evaluaties voor de praktijk is goede vertegenwoordiging van het bottom-up perspectief noodzakelijk.
Evaluatie van beleid vereist gedegen inbedding binnen de nationale kennisinfrastructuur, effectieve samenwerking met kennisinstellingen en het up-to-date houden van het evalueren zelf. Dat is cruciaal voor het evaluatievermogen van de lerende overheid.

Deze bijdrage gaat over goed opdrachtnemer/-geverschap bij beleidsgericht onderzoek in de gezondheidszorg. De constatering luidt dat de relatie tussen kennisvrager/opdrachtgever en kennisaanbieder/opdrachtnemer vaak spanningsvol is. Aan de hand van de werkpraktijk van kennisprogrammeur ZonMw wordt beschreven onder welke voorwaarden de kans op bruikbaarheid en gebruik van kennis zo groot mogelijk is. Daarbij geldt goede interactie tussen onderzoekers en kennisgebruikers in beleid of praktijk als de meest kritische succesfactor. In essentie komt goed opdrachtnemerschap neer op de gedragslijn: ken uw opdrachtgever; het gevraagde mag niet onbekend zijn. Goed opdrachtgeverschap komt in essentie neer op de complementaire gedragslijn: duidelijk formuleren wat je verlangt; het onbekende mag niet worden gevraagd.

Je kunt natuurlijk wel verwachten dat Jan van Zijl, die tegenwoordig voorzitter is van de MBO Raad, positieve herinneringen heeft aan wat je zou kunnen noemen ‘zijn RWI’, maar misschien niet dat hij een paar jaar na dato nog zo uitdrukkelijk betreurt dat de RWI is opgeheven. Het was indertijd bij de oprichting wel zo dat de RWI door sommigen gezien werd als een doekje voor het bloeden voor de sociale partners in verband met het feit dat zij macht gingen verliezen na invoering van de SUWI-structuur, maar Van Zijl ging bepaald niet uit van een korte levensloop van de nieuwe raad. Dat hij de taak van de RWI serieus nam, blijkt trouwens ook uit het grote aantal indringende adviezen en rapportages dat de RWI heeft weten te produceren.