Bespreking van: Peter van der Knaap, Valérie Pattyn & Dick Hanemaayer, Beleidsevaluatie in theorie en praktijk, Den Haag: Boom bestuurskunde 2020

In maart 2020 verscheen het boek Beleidsevaluatie in theorie en praktijk van Peter van der Knaap, Valérie Pattyn en Dick Hanemaayer. Op het moment van publicatie is de uitbraak van het coronavirus op een hoogtepunt in Nederland en België. Het is Peter van der Knaap nog net gelukt deze context in het voorwoord te verwerken: ‘… één ding is duidelijk: er zal na afloop veel worden geëvalueerd.’

• Een helder overzicht van de basis van beleidsonderzoek

  Mocht je als onderzoeker de opdracht krijgen om het coronabeleid te evalueren, dan is het absoluut aan te raden om het boek Beleidsevaluatie in theorie en praktijk erop na te slaan. Het biedt een helder overzicht van de verschillende functies, benaderingen, typen en methoden van beleidsonderzoek. Ook besteedt het aandacht aan (het vergroten van) de benutting van beleidsonderzoek, de wettelijke kaders en organisatie van beleidsevaluatie (in Nederland, Vlaanderen en internationaal). Voor de pragmatici onder ons is ook een stappenplan voor het uitvoeren van een evaluatieonderzoek opgenomen. De hoofdstukken kunnen afzonderlijk van elkaar worden gelezen, wat het extra bruikbaar maakt als naslagwerk, studiemateriaal of opfrisliteratuur. Daardoor is er wat overlap tussen de hoofdstukken, maar deze herhaling is welkom voor het laten beklijven van de verschillende terminologieën en indelingen.

• Inspirerende bijdragen

  Zo gezegd klinkt het boek wellicht als droge stof. Maar het boek is verrassend levendig door het gebruik van vele ‘intermezzo’s’, overdenkingen van indrukwekkend veel vooraanstaande professionals en wetenschappers op het gebied van beleidsevaluatie. Onder anderen hoogleraren Roel in ’t Veld, Klaartje Peters, Mark van Twist en Tineke Abma hebben bijdragen geleverd, maar ook directeuren en leden van instituties zoals de Zuidelijke Rekenkamer (dr. Ard Schilder), het Vlaams Evaluatieplatform (dr. Caroline Gijselinckx), de directie Internationaal Onderzoek en Beleidsevaluatie van het ministerie van Buitenlandse Zaken (dr. Wendy Asbeek Brusse) en het Sociaal Cultureel Planbureau (prof. dr. Kim Putters). Het mooie van deze intermezzo’s is – naast het leveren van een inkijkje in beleidsevaluatie in de praktijk – dat er soms scherpe woorden worden gebruikt. Zo pleit Putters voor meer doordacht beleid en een actievere rol voor kennis en onderzoek en vindt Hoppe het tijd voor nieuwe vormen van beleidsevaluatie, omdat de huidige vormen volgens hem onvoldoende passen bij de snelle veranderingen en flexibele beleidsaanpassingen die plaatsvinden. Deze overdenkingen geven de ruimte voor reflectie op de theorie en kunnen goed gebruikt worden voor discussies in het leslokaal of op de werkvloer. Een kanttekening bij de talloze tekstkaders en (tussen)kopjes is dat het soms wat rommelig overkomt. Als men zeer kritisch is, kan het gevoel ontstaan dat de bijdragen van de experts ‘bij elkaar geraapt’ zijn.

• Drie typen evaluatie, niet systematisch behandeld

  Het boek beschrijft drie typen beleidsevaluatie: de rationeel-analytische benadering (aan de beleidscyclus gekoppeld, op meten gericht en de meest gebruikte), de constructivistische benadering (meer aandacht voor luisteren en begrijpen van verschillende zienswijzen van belanghebbenden), en de contextueel-realistische benadering (nadruk op het belang van context en gericht op het ontdekken van werkzame mechanismen). In de rest van de hoofdstukken wordt deze indeling niet altijd systematisch gehanteerd. Zo is er wel een duidelijke verwijzing naar de drie typen in hoofdstuk 7 ‘Onderzoeksontwerpen en -methoden’ en hoofdstuk 8 ‘Kwaliteitseisen voor evaluatieonderzoek, evaluatoren en opdrachtgevers’, maar minder in de hoofdstukken 4, 5 en 6, die de doelen en vormen van ex-ante, ex-durante en ex-post beleidsevaluaties behandelen. Door hier niet consequent expliciet aandacht aan te geven, lijkt soms de constructivistische benadering nog iets te veel synoniem aan de kwalitatieve onderzoeksmethodiek (terwijl interviews, groepsgesprekken en focusgroepen natuurlijk ook binnen de rationeel-analytische benadering worden gehanteerd; en voldoen interviews andersom niet direct aan de constructivistische benadering).

• Weinig onderscheid in rol evaluator

  Verder maakt het boek weinig onderscheid in de hoedanigheid van de evaluator. Het boek lijkt primair geschreven voor evaluatoren die bezig zijn met het evalueren van voornamelijk nationaal beleid. Dat blijkt onder andere uit de gangbare termijn voor ex-post beleidsevaluatie (vijf tot zeven jaar) en het hoofdstuk ‘Institutionalisering van beleidsevaluatie’ met veel aandacht voor nationale regelgeving en beleidsevaluatie binnen ministeries, departementen en planbureaus, en de aandacht voor uitgebreide begeleidingscommissies in het hoofdstuk ‘Stappenplan Beleidsevaluatie’. In de praktijk maakt het natuurlijk uit of je beleidsonderzoek als particulier onderzoeksbureau in opdracht van een lokale rekenkamercommissie, als gerenommeerd adviesorgaan zoals de Onderzoeksraad voor de Veiligheid of de Wetenschappelijke Raad voor Regeringsbeleid, of als gemeentelijke onderzoeksafdeling in opdracht van het college doet. Ook journalisten nemen soms de rol van evaluator op zich, wanneer zij denken dat bepaalde beleidsaannames niet kloppen (‘fact checking’ wordt steeds populairder), of als er vermoedens zijn dat de gepresenteerde cijfers niet valide of betrouwbaar zijn. Zo zijn onder genomineerden of winnaars van de Tegel, de belangrijkste Nederlandse prijs voor journalistiek, regelmatig onderzoeken naar (meestal het falen van) beleidsuitvoering: in 2019 waren dat onder andere het dossier Belastingdienst Toeslagen, het manipuleren van politiecijfers en winstmakende zorgbedrijven. Een aanvullend hoofdstuk over deze verschillende rollen had niet misstaan. Een vergelijking met de wijze waarop beleidsonderzoek vorm krijgt in andere landen, zou hier ook bij helpen.

• Relatie met eerdere literatuur onderbelicht

  Beleidsevaluatie in theorie en praktijk volgt een reeks van andere (Nederlandstalige) basiswerken over beleidsonderzoek, zoals Evalueren van Swanborn (1999), Ex ante evaluatie van Hanemaayer zelf (2012) en Beleidsonderzoek in Nederland van Van Hoesel, Leeuw en Mevissen (2005), of de geheel herziene tweede druk van Kennis voor beleid (2015), nu onder redactie van Van Hoesel, Mevissen en Dekker. Bijzonder is dat de auteurs niet ingaan op wat hun boek meer biedt dan de bestaande vakliteratuur. Als je de laatste publicatie van Van Hoesel, Mevissen en Dekker erbij pakt, dan valt de overlap in de behandelde stof op: bijvoorbeeld de relatie tussen beleidsonderzoek en de beleidscyclus, de benutting van beleidsonderzoek en de manier waarop de ‘markt’ van beleidsonderzoek is georganiseerd. Een verwijzing naar de betreffende hoofdstukken uit dit boek was minstens op zijn plaats geweest. Nog beter hadden Van der Knaap, Pattyn en Hanemaayer kunnen teruggrijpen op het laatste hoofdstuk van Beleidsonderzoek in Nederland uit 2005, waarin de auteurs een toekomstperspectief voor het beleidsonderzoek schetsen. Hoe verhoudt dit perspectief (waaronder beloften van ICT-ontwikkelingen, meer interactief onderzoek, een actievere rol van de beleidsonderzoeker) zich tot de praktijk vijftien jaar later? Op die manier was de toegevoegde waarde van het boek beter naar voren gekomen.

• Slotsom

  Beleidsevaluatie in theorie en praktijk is een zeer toegankelijk boek dat de belangrijkste elementen van beleidsonderzoek helder beschrijft. De bijdragen van de vele experts zijn inspirerend. Sommige lezers zullen de gekozen vorm wat rommelig vinden. Ook is de insteek van drie benaderingen niet systematisch volgehouden en had meer aandacht kunnen worden besteed aan de positie van de evaluator. Tot slot mist de lezer de inbedding in bestaande vakliteratuur. Desondanks kan het boek studenten een goed eerste beeld van beleidsonderzoek geven en heeft het mij, als gemeentelijk beleidsonderzoeker, toch ook zeker geprikkeld.