Een waarschuwende evaluatie of early warning evaluation (EWA) brengt korte tijd na de inwerkingtreding van overheidsbeleid de eerste ervaringen in beeld. De vraag is wat maatregelen doen bij uitvoerders en doelgroepen en hoe het beleid werkt of naar verwachting gaat werken. Deze vroege analyse heeft wat weg van de invoeringstoets, die door het kabinet-Rutte IV in het kader van het streven naar een nieuwe, meer humane bestuurscultuur is ingevoerd. Maar een invoeringstoets is bescheidener en minder degelijk. De early warning evaluation verschilt door de beoogde toepassing van enkele methodieken. Een EWA-evaluator moet naast een knelpunteninventarisatie de proces- en/of stappenlogica doordenken die in het gehele beleid opgesloten zit. Daarna volgen de consequentie- en de consistentieanalyse. Was deze aanpak toegepast en was met urgentiebesef gekeken naar de uitkomsten, dan was ons land bijvoorbeeld de stikstofcrisis en andere affaires mogelijk bespaard gebleven.
Dit artikel geeft een overzicht van enkele aspecten van deze nieuwe, nog zelden toegepaste vorm van beleidsevaluatie. Het sluit af met een korte vergelijking met enkele ervaringen uit de toepassing van de invoeringstoets.

In 2015 verscheen Kennis voor beleid: Beleidsonderzoek in Nederland (Van Hoesel et al., 2015). Hoofdstuk 9 van dit boek beschrijft de markt en organisatie van beleidsonderzoek (Dekker & Van Hoesel, 2015). Sinds 2015 is er een hoop gebeurd: de COVID-pandemie, toenemende mondiale spanningen, een groeiende rol van het CBS, maar ook de onafhankelijkheid van wetenschappelijk onderzoek staat met name op internet steeds meer ter discussie: ‘wetenschap is ook maar een mening’ (zie o.a. Van Oostendorp, 2018). Hoogste tijd om antwoord te geven op de vraag hoe het beleidsonderzoek zich in de periode 2013-2021 heeft ontwikkeld en er nu voor staat. In dit artikel schetst de auteur dit beeld aan de hand van data die de Vereniging voor Beleidsonderzoek jaarlijks bij haar leden opvraagt. Daarbij neemt hij de gegevens uit 2015 als vertrekpunt. Tevens blikt hij vooruit naar de toekomst van het beleidsonderzoek in Nederland.

Iedereen wil leren en maar weinig mensen vinden verantwoording afleggen leuk. ‘Lerende evaluaties’ kennen dan ook een groeiende populariteit. Tegelijkertijd worden ze vaak verguisd vanwege hun gebrek aan objectiviteit, kwaliteit en zelfs relevantie. Maar is dat wel terecht? Deze column gaat in op de vijf grootste misverstanden.

Het wordt als belangrijk gezien dat beleidsonderzoek onafhankelijk is. Dit begrip wordt niet altijd geëxpliciteerd. Het is een kernwaarde, maar ook een fluïde begrip. In de praktijk wordt veel over onafhankelijkheid gesproken, maar er wordt lang niet altijd via (gedegen) empirisch onderzoek vastgesteld of en in hoeverre de onafhankelijkheid van onderzoek beïnvloed is.
Een tweede kernwaarde van beleidsonderzoek is de kwaliteit ervan. Ook dit begrip heeft meerdere dimensies, maar de belangrijkste is de methodologische kwaliteit.
Een derde kenmerk van beleidsonderzoek is dat het gepaard gaat met interacties tussen organisaties, opdrachtgevers, uitvoerders, stakeholders, ‘evaluands’, gebruikers, collega-onderzoekers, enzovoort. Die interactie gebeurt vanuit verschillende intenties en kan zichtbare, onzichtbare, bewuste en onbewuste, gewenste en ongewenste doorwerking hebben op het onderzoek(product). Moet interactie (altijd of vooral) worden vermeden vanwege het streven naar onafhankelijkheid terwijl die interactie van belang is voor het beleidsproces én voor het beleidsonderzoek? Dit is waar de kernbegrippen onafhankelijkheid en kwaliteit elkaar raken. En dit is ook waarom er inspanningen geleverd worden om beide te borgen. Dat gebeurt onder andere met protocollen, toezicht, (gedrags)codes, peer reviews en visitaties. Er is echter nog weinig bekend over hoe de borging van onafhankelijkheid doorwerkt op de kwaliteit van onderzoek en over welke effecten afzonderlijke borgingsinstrumenten in de praktijk hebben (op onderzoekers en hun eco-systeem).