Iedereen wil leren en maar weinig mensen vinden verantwoording afleggen leuk. ‘Lerende evaluaties’ kennen dan ook een groeiende populariteit. Tegelijkertijd worden ze vaak verguisd vanwege hun gebrek aan objectiviteit, kwaliteit en zelfs relevantie. Maar is dat wel terecht? Deze column gaat in op de vijf grootste misverstanden.

Beleidsonderzoek vindt plaats binnen een heersend beleidsparadigma. Daardoor is de kans groot dat relevante vragen niet gesteld worden. Vragen die tot inzichten kunnen leiden die niet goed passen binnen het heersende beleid. Waarom is dit zo? Geïnspireerd door een recent boek over arbeidsmarktbeleid geeft de auteur drie mogelijke verklaringen ter overweging.

Ingewikkeld beleidsonderzoek kan veel opleveren, maar simpel beleidsonderzoek kan ook de nodige bijdragen leveren aan de beleidsontwikkeling. Bovendien kan simpel beleidsonderzoek een opstap zijn naar ingewikkelder beleidsonderzoek.

Onlangs deed een groep prominenten, waaronder Elon Musk, een oproep voor een moratorium van zes maanden op de ontwikkeling van AI-systemen, zoals ChatGPT. Hoe moeten we deze oproep beoordelen? Wat zouden Marshall McLuhan en Karl Marx hiervan vinden? En wat gaat AI betekenen voor beleidsonderzoek? Daarover gaat deze column.

Het wordt als belangrijk gezien dat beleidsonderzoek onafhankelijk is. Dit begrip wordt niet altijd geëxpliciteerd. Het is een kernwaarde, maar ook een fluïde begrip. In de praktijk wordt veel over onafhankelijkheid gesproken, maar er wordt lang niet altijd via (gedegen) empirisch onderzoek vastgesteld of en in hoeverre de onafhankelijkheid van onderzoek beïnvloed is.
Een tweede kernwaarde van beleidsonderzoek is de kwaliteit ervan. Ook dit begrip heeft meerdere dimensies, maar de belangrijkste is de methodologische kwaliteit.
Een derde kenmerk van beleidsonderzoek is dat het gepaard gaat met interacties tussen organisaties, opdrachtgevers, uitvoerders, stakeholders, ‘evaluands’, gebruikers, collega-onderzoekers, enzovoort. Die interactie gebeurt vanuit verschillende intenties en kan zichtbare, onzichtbare, bewuste en onbewuste, gewenste en ongewenste doorwerking hebben op het onderzoek(product). Moet interactie (altijd of vooral) worden vermeden vanwege het streven naar onafhankelijkheid terwijl die interactie van belang is voor het beleidsproces én voor het beleidsonderzoek? Dit is waar de kernbegrippen onafhankelijkheid en kwaliteit elkaar raken. En dit is ook waarom er inspanningen geleverd worden om beide te borgen. Dat gebeurt onder andere met protocollen, toezicht, (gedrags)codes, peer reviews en visitaties. Er is echter nog weinig bekend over hoe de borging van onafhankelijkheid doorwerkt op de kwaliteit van onderzoek en over welke effecten afzonderlijke borgingsinstrumenten in de praktijk hebben (op onderzoekers en hun eco-systeem).

In 2015 verscheen Kennis voor beleid: Beleidsonderzoek in Nederland (Van Hoesel et al., 2015). Hoofdstuk 9 van dit boek beschrijft de markt en organisatie van beleidsonderzoek (Dekker & Van Hoesel, 2015). Sinds 2015 is er een hoop gebeurd: de COVID-pandemie, toenemende mondiale spanningen, een groeiende rol van het CBS, maar ook de onafhankelijkheid van wetenschappelijk onderzoek staat met name op internet steeds meer ter discussie: ‘wetenschap is ook maar een mening’ (zie o.a. Van Oostendorp, 2018). Hoogste tijd om antwoord te geven op de vraag hoe het beleidsonderzoek zich in de periode 2013-2021 heeft ontwikkeld en er nu voor staat. In dit artikel schetst de auteur dit beeld aan de hand van data die de Vereniging voor Beleidsonderzoek jaarlijks bij haar leden opvraagt. Daarbij neemt hij de gegevens uit 2015 als vertrekpunt. Tevens blikt hij vooruit naar de toekomst van het beleidsonderzoek in Nederland.

Een waarschuwende evaluatie of early warning evaluation (EWA) brengt korte tijd na de inwerkingtreding van overheidsbeleid de eerste ervaringen in beeld. De vraag is wat maatregelen doen bij uitvoerders en doelgroepen en hoe het beleid werkt of naar verwachting gaat werken. Deze vroege analyse heeft wat weg van de invoeringstoets, die door het kabinet-Rutte IV in het kader van het streven naar een nieuwe, meer humane bestuurscultuur is ingevoerd. Maar een invoeringstoets is bescheidener en minder degelijk. De early warning evaluation verschilt door de beoogde toepassing van enkele methodieken. Een EWA-evaluator moet naast een knelpunteninventarisatie de proces- en/of stappenlogica doordenken die in het gehele beleid opgesloten zit. Daarna volgen de consequentie- en de consistentieanalyse. Was deze aanpak toegepast en was met urgentiebesef gekeken naar de uitkomsten, dan was ons land bijvoorbeeld de stikstofcrisis en andere affaires mogelijk bespaard gebleven.
Dit artikel geeft een overzicht van enkele aspecten van deze nieuwe, nog zelden toegepaste vorm van beleidsevaluatie. Het sluit af met een korte vergelijking met enkele ervaringen uit de toepassing van de invoeringstoets.

Maatschappelijke kosten-batenanalyses (MKBA’s) worden regelmatig uitgevoerd voordat er een besluit wordt genomen, maar ex-post-MKBA’s zijn er in Nederland nauwelijks. Dit beperkt de mogelijkheden om te leren, zowel over de effecten van beleid als over de veronderstellingen in MKBA’s. De schaarse (vooral buitenlandse) casestudies laten zien dat het ondanks methodologische uitdagingen goed mogelijk is om ex-post-MKBA’s uit te voeren. De uitkomsten van ex-post-MKBA’s en ex-ante-MKBA’s blijken doorgaans echter sterk te verschillen. Het vergroten van het aantal ex-post-MKBA’s maakt verbetering van de betrouwbaarheid van MKBA mogelijk. En dat draagt uiteindelijk bij aan de doelmatigheid en doeltreffendheid van beleid.

De beleidstheorie is een bekend begrip in de beleidswetenschap. Dat geldt minder voor de praktijk. Daar zijn niet altijd alle randvoorwaarden aanwezig voor een effectief gebruik van beleidstheorieën in bijvoorbeeld het ontwerpen of evalueren van beleid. Beleidsprocessen zijn dynamisch, terwijl beleidstheorieën veelal statisch zijn. Bovendien staat een beleidstheorie in de traditie van lineair-rationele beleidsvorming. Zij is vooral een uitdrukking van de veronderstellingen van een centrale actor. De beleidstheorie kan verschillende functies vervullen, bijvoorbeeld als sturings- of communicatiemiddel in overheidsbeleid. Aan de hand van literatuur en ervaringen van de auteur als beleidsonderzoeker behandelt dit artikel de rol en meerwaarde van beleidstheorie in beleid.