Boekbespreking: Handbook of Public Policy Evaluation, Edward Elgar Publishing, 2023

Eind 2023 verscheen het omvangrijke Handbook of Public Policy Evaluation. Dit handboek, geredigeerd door Varone,¹x Frédéric Varone, Professor of Public Policy, Department of Political Science and International Relations, University of Geneva, Switzerland; and an elected member of the Geneva Court of Auditors. Jacob²x Steve Jacob, Professor of Political Science, Department of Political Science, Université Laval, Canada. en Bundi,³x Pirmin Bundi, Assistant Professor of Public Policy and Evaluation, Swiss Graduate School of Public Administration, University of Lausanne, Switzerland. bevat 26 bijdragen over het evalueren van beleid.⁴x Voor meer informatie en een te downloaden leaflet, zie: www.e-elgar.com/shop/gbp/handbook-of-public-policy-evaluation-9781800884885.html. De lijst met auteurs is indrukwekkend: naast verschillende ‘grootheden’ op het vlak van beleid en evaluatie zijn de redacteurs erin geslaagd om ook minder bekende wetenschappers een forum te bieden, resulterend in een uitgebreide vertegenwoordiging uit alle windstreken en met uiteenlopende interesses en inzichten op het vlak van evaluatie.
Het beoordelen van zo’n omvangrijk geredigeerd boek is niet eenvoudig, zeker als de auteurs van de afzonderlijke hoofdstukken de nodig ruimte hebben gekregen – en benut, zoals zal blijken – om hier naar eigen inzicht invulling aan te geven. Richten wij onze boek review op de afzonderlijke bijdragen of op het handboek als geheel?
Wij kozen voor het laatste, te meer omdat het handboek ambieert een specifieke thematiek aan te snijden. In het inleidende hoofdstuk wordt dit verduidelijkt door uitgebreid in te gaan op welke wijze evaluaties en evaluatiestudies, in de beste ­beleidswetenschappelijke traditie, kunnen bijdragen aan democratische beleids­processen. Tegelijkertijd wordt daarbij benadrukt dat evalueren op zich niet politiek neutraal is en zich steeds moet verhouden tot de politieke setting waarin het plaatsvindt; en precies daarom gaat er ook minder aandacht uit naar de technische en methodologische kant van het evalueren. Het handboek belooft nieuwe suggesties te doen voor de manier waarop evaluaties emancipatorisch kunnen werken in de strijd tegen sociale ongelijkheid en uitsluiting en zo kunnen bijdragen tot meer democratische processen van beleid.

Hoewel deze centrale thematiek in verschillende hoofdstukken van het boek terugkomt, is er geen sprake van een systematische benadering of uitwerking ervan. Dat blijkt meteen uit de inleidende voorbespreking van de verschillende bijdragen aan het handboek. De redacteurs doen hier eigenlijk niet veel meer dan alle hoofdstukken opsommen en groeperen rondom vier brede thema’s: evaluatie, verantwoording en leren; evaluatie, participatie en democratie; de institutionalisering, praktijk en professionalisering van evaluatie; en tot slot, evaluatie en gedragsgericht beleid. Hoe de afzonderlijke bijdragen binnen elk van deze delen zich precies tot elkaar verhouden, of hoe de vier algemene delen dat precies doen, wordt niet verder uiteengezet. Een afsluitend hoofdstuk, waarin dat dan wel nog had kunnen gebeuren, ontbreekt helaas.

De verwachtingen van de lezer om een systematische bespreking terug te vinden van de relatie tussen evaluatie en democratische beleidsprocessen zijn na lezing van de inleiding al wat getemperd, overigens ook door de redacteurs zelf, die in de inleiding eerlijk erkennen dat in het handboek een brede waaier aan wetenschapsfilosofische, theoretische, methodologische en normatieve vraagstukken terugkomen en het dus veeleer geldt als een naslagwerk dan als een thematisch gefocust handboek.

Het boek biedt inderdaad een mooi overzicht van meer gevestigde tot nieuwe ­ideeën en benaderingen van evaluaties, door evaluatie bijvoorbeeld te linken met verantwoording als publieke waarde, of met beleidsdesign als onderdeel in de wettelijke cyclus. Daarnaast staat het vol met concrete voorbeelden van beleidsevaluatie van het mondiale tot het lokale niveau en dekt het verschillende beleidsterreinen.
Als naslagwerk richt het boek zich echter op heel wat verschillende doelgroepen. Diverse hoofdstukken bieden duidelijke, algemene vertrekpunten en zouden mooi passen in een cursus voor studenten. Dat geldt in het bijzonder voor een aantal hoofdstukken uit het eerste deel  waarin de functies van evalueren naar voren komen. Juist hier, echter, hadden wij verwacht dat deze functies nadrukkelijk gelinkt zouden worden aan fasen en principes van democratische beleidsprocessen. Dit had zo ook een vlotte overstap kunnen bieden naar de andere delen.
In het tweede deel  van het boek worden deze links wel gelegd, zij het met slechts één specifiek type van democratie. De auteurs hanteren immers primair een transformatief en participatief perspectief op evaluatie en democratie, waarin de emancipatie van bepaalde doelgroepen en het verminderen van ongelijkheid centraal staat. Hoewel er soms wat overlap zit in deze hoofdstukken, worden in deze verschillende bijdragen de meer wetenschapsfilosofische uitgangspunten helder vertaald naar concrete methoden en toepassingen rond gepolariseerde thema’s, zoals COVID-beleid. Net die vertaalslag maakt het handboek dan ook wel aantrekkelijk voor wie professioneel en meer beslagen met evaluatie bezig is.
Vervolgens bieden de hoofdstukken in deel  3 uitvoerige beschrijvingen van de institutionalisering van evaluatiepraktijken in verschillende contexten (van rechterlijk, wetgevend, administratief tot non-profit) en uiteenlopende landen (vooral westers/Europees gericht, maar met aandacht voor een select aantal specifieke ­cases uit de landen met een laag en gemiddeld inkomen) en levels (van nationaal tot Europees en internationaal). Eén hoofdstuk biedt expliciet een vergelijkend kader en rankt landen naar fasen van ontwikkeling in evaluatie. Precies hier ligt een gemiste kans van het handboek. Want net omdat de auteurs van de andere bijdragen hun eigen raamwerk mogen hanteren, blijft een verdere vergelijking rond institu­tionalisering en de mate van professionalisering in evaluatie achterwege.
Het vierde en laatste deel  van het handboek is gereserveerd voor meer recente ontwikkelingen, zoals de uitdagingen van digitalisering en AI voor evalueren en de evaluatoren; hun gebruik van experimenten en nudges in de post-COVID-periode; en de noodzaak om zowel street-level ambtenaren als rechthebbenden van sociale diensten meer te betrekken in evaluaties. Stuk voor stuk worden deze ontwikkelingen in dit deel  gekoppeld aan een gedragsgerichte benadering van beleid en evalueren, hoewel een onderbouwde argumentatie hiervoor ontbreekt en welkom was.

Een groot deel  van de hoofdstukken is vrij toegankelijk geschreven. Verschillende hoofdstukken duiken echter ook de diepte in op wetenschapsfilosofisch vlak. Deze bijdragen geven vooral een mooi ‘state of art’-overzicht van de kennis die realistisch evalueren ons kan brengen en hoe we die kennis kunnen vergaren. Deze hoofdstukken vragen daarbij wel om de nodige achtergrondkennis van de lezer. Jammer is ook dat deze inzichten weinig gecontrasteerd worden met de meer participatieve benaderingen die aan bod komen in deel  2 of met de hoofdstukken over een gedragsgerichte benadering van beleid in het vierde deel. Hoe deze verschillende benaderingen zich tot elkaar verhouden en wat de bijdrage van elk van deze benaderingen aan het functioneren van democratische beleidsprocessen kan zijn, wordt wederom aan de lezer overgelaten.

Als lezer van het boek blijf je uiteindelijk wat beduusd achter. Het boek bevat zeker de nodige interessante en vernieuwende bijdragen. Interessante verbanden en links tussen de verschillende hoofdstukken zijn er ook, maar dienen door de lezer zelf te worden gelegd. Een voorbeeld hiervan is het hoofdstuk over de uitdagingen bij het evalueren van het niet opnemen van sociale benefits door rechthebbenden (hoofdstuk 26) en een eerder hoofdstuk (hoofdstuk 25) waarin het gedrag van street-level bureaucrats net is aangewezen als impact genererend op de doelgroep van beleid. De antwoorden die het boek wil geven op de vraag wat de rol van evaluatieprocessen kan zijn in democratische beleidsprocessen, blijven daardoor, helaas, nogal in de lucht hangen.

Noten

• 1 Frédéric Varone, Professor of Public Policy, Department of Political Science and International Relations, University of Geneva, Switzerland; and an elected member of the Geneva Court of Auditors.

• 2 Steve Jacob, Professor of Political Science, Department of Political Science, Université Laval, Canada.

• 3 Pirmin Bundi, Assistant Professor of Public Policy and Evaluation, Swiss Graduate School of Public Administration, University of Lausanne, Switzerland.

• 4 Voor meer informatie en een te downloaden leaflet, zie: www.e-elgar.com/shop/gbp/handbook-of-public-policy-evaluation-9781800884885.html.