Duurzaamheid wordt steeds belangrijker. Naast ‘goed voor de planeet’ moet beleid ook resultaten opleveren die blijvend zijn. Maar voor duurzame verandering zijn vaak ingewikkelde programma’s nodig. Hierdoor komen traditionele evaluatievragen als ‘Heeft beleid effect?’ in een ander daglicht te staan en zijn nieuwe onderzoeksmethoden nodig. Tegelijkertijd kunnen ook bescheiden maatregelen tot grote veranderingen leiden.

Coproductie is niet meer weg te denken uit de Nederlandse bestuurspraktijk. Hierbij ligt de focus vooral op de lokale bestuurslaag, waar coproductie makkelijker te implementeren zou zijn. Toch bestaan er wel degelijk coproductie-initiatieven op regionaal en nationaal niveau. De lokale, regionale en nationale overheid vervullen echter staatsrechtelijk en institutioneel gezien andere functies en voeren andere taken uit. Daarnaast verschilt de (gepercipieerde) afstand tussen burger en overheid tussen de bestuurslagen, evenals het abstractieniveau van de onderwerpen die op de betreffende bestuurslaag worden behandeld. Bestaand onderzoek richt zich echter nauwelijks op de vraag of coproductie hiermee wel op dezelfde wijze wordt vormgegeven op de verschillende bestuurslagen. Dit exploratieve onderzoek verkent deze verschillen door het bestuderen van zes coproductie-initiatieven op het gebied van duurzaamheid en ruimtelijke ordening en pleit voor meer onderzoek naar coproductie op regionaal en nationaal niveau.

Beleidsonderzoekers kunnen niet alle patronen doorbreken die ons sociaal contract op de proef stellen, maar ze kunnen wel verschil maken door spiegels voor te houden en handelingsperspectieven te bieden. Te vaak wordt meer bewijswaarde gehecht aan rationeel-analytisch of positivistisch onderzoek, zoals doelmatigheidsonderzoek, en minder aan kwalitatief onderzoek, dat meerdere realiteiten benadrukt. Beleidsonderzoekers kunnen laten zien hoe dit elkaar aanvult en van betekenis is voor effectief en legitiem beleid. In dit essay laat de auteur zien wat een sterk sociaal contract vraagt van beleidsmakers en onderzoekers.

Het evalueren van maatschappelijke relevantie is niet altijd vanzelfsprekend voor financiers of onderzoekers. Dit lijkt vaak te abstract of verheven. Met name onderzoekers zijn gewend om de effectiviteit van een interventie op een bepaald doel of een bepaalde doelgroep te meten, maar breiden hun bevindingen niet uit naar hoe dit relevant kan zijn voor het veld. Aan de hand van een praktijkvoorbeeld, het ZonMw-onderzoeksprogramma Suïcidepreventie, wordt besproken hoe de maatschappelijke relevantie is geëvalueerd en welke uitdagingen dit met zich mee brengt. Zo is er geen eenduidige objectieve manier om maatschappelijke relevantie te evalueren. Ook waren de onderzoeksmethoden van de projecten binnen het onderzoeksprogramma erg verschillend. De aanbevelingen vanuit dit project kunnen toekomstige onderzoekers helpen om de maatschappelijke relevantie van hun onderzoek te evalueren. Verdere ontwikkeling en implementatie van gestandaardiseerde methoden of tools die de complexiteit binnen en tussen projecten vastleggen en maatschappelijke relevantie kunnen beoordelen, zijn nodig.

Wie iets wil doen aan de vele grote problemen waar de wereld zich anno 2021 mee geconfronteerd weet, die heeft de best mogelijke antwoorden nodig op de vraag of een bepaalde interventie werkt of niet. In deze column wordt dan ook gepleit voor het hoog blíjven leggen van de lat voor zowel op effectiviteit gericht als responsief evaluatieonderzoek.

Welke kennis is nodig om zicht te krijgen op de te verwachten effecten van beleid? Hiervoor moet worden ingeschat of een beleidsinterventie effectief zal zijn en binnen een bepaalde context zal uitwerken zoals beoogd. Twee typen kennisclaims zijn hierbij van belang, namelijk die over de verklarende mechanismes tussen interventie en uitkomst, en die over de ondersteunende factoren die voorwaardelijk zijn voor de uitkomst. Dit standpunt wordt geïllustreerd aan de hand van twee voorbeelden van beleidsinterventies in de praktijk: de inzet van kleinere schoolklassen en de publieke registratie van zedendelinquenten.

Wereldwijd staan overheden voor grote opgaven, zoals klimaatverandering en maatschappelijke ongelijkheid. Hoe kunnen zij zich beter toerusten voor deze opgaven? En welke rol kan evaluatieonderzoek hierbij spelen? Deze vragen staan centraal in het toegankelijk geschreven boek Changing bureaucracies: Adapting to uncertainty, and how evaluation can help (Abingdon/New York: Routledge 2021), onder eindredactie van Burt Perrin en Tony Tyrrell. Jedid-Jah Jonker bespreekt deze bundel en staat hierbij onder meer stil bij de relevantie van de inzichten uit het boek voor de Nederlandse overheid.

Dutch social policies are aimed at the integration and participation of all people. This creates challenges for persons with a mental vulnerability and their neighbourhoods. Five municipalities in the province of Flevoland asked us to help them improve the move from protected living to living in the neighbourhood. We used an arts-based participatory action research design and we followed ‘hot topics’, topics that sparked people’s energy and emotion, and which led to empowerment and participation. Focusing on these topics, which initially might not seem to be closely connected to the main research topic, might produce more information, and energy to take action on it, rather than rigidly sticking with the initial research topics. In this article, we focus on the first phases of the project. The emotions that people with mental vulnerabilities expressed when talking about their dogs, led us to the core of what really mattered to them in terms of inclusive living and participation. The dog functioned as an unexpected ‘hot topic’. In a symbolic sense, ‘the dog’ stands for a diverse range of lifeworld topics that can act as a creative catalyst for social change.

Vooraf

Participatief actieonderzoek en responsieve evaluatie staan volop in de belangstelling bij beleidsmakers en onderzoekers. Dit type beleidsonderzoek en -evaluatie beoogt democratisch, inclusief én impactvol te zijn. Het gaat om onderzoek mét in plaats van óver mensen. En het is actiegericht: onderzoek wil bijdragen aan concrete oplossingen door met betrokkenen gezamenlijke (verbeter)acties te ontwikkelen in de praktijk, en daarop te reflecteren en van te leren. Dit alles met het oog op sociale inclusie. Het zijn mooie idealen, maar wat betekent dit in de alledaagse, vaak weerbarstige onderzoekspraktijk?

Op 20 januari 2020 organiseerde prof. Abma daarover een symposium, getiteld ‘Responsive, Participatory Research: Past, Present and Future Perspectives’ (Vrije Universiteit, Amsterdam). De rode draad op het symposium was de vraag wat goed en ethisch verantwoord participatief onderzoek is, en wat dit vraagt van onderzoekers en beleidsmakers. Drie lezingen op deze conferentie zijn nadien omgewerkt tot essays om lezers van Beleidsonderzoek Online vanuit verschillende perspectieven beter kennis te laten maken met deze vorm van onderzoek:

Prof. Weerman en haar team focussen in hun bijdrage op het zich in de praktijk ontwikkelende onderzoeksdesign en het inzetten van creatieve methoden om participatie te bevorderen. Ze gaan na welke kwaliteitscriteria aan participatief actieonderzoek worden gesteld en hechten daarbij met name aan eisen ten aanzien van participatie, samen leren en verschil maken (zie BoO juli 2021). Ze benadrukken het belang van creativiteit en flexibiliteit.

Prof. Abma bespreekt in haar artikel de normatieve dimensies en de ethiek van participatief actieonderzoek (zie BoO september 2020). Ze illustreert met een voorbeeld uit de crisishulpverlening aan GGZ-cliënten dat participatief actieonderzoek niet slechts een methodisch-technische exercitie is, maar een sociaal-politiek proces waarbij bestaande machtsverhoudingen verschuiven om ruimte te geven aan nieuwe stemmen en kennis. Dit omvat het zien van en stilstaan bij ethisch saillante dilemma’s en morele reflectie.

De bijdrage van prof. Cook (zie BoO februari 2021) gaat over de weerbarstige praktijk van participatief actieonderzoek. Het doel is samen leren en voorbij geijkte oplossingen komen. Zij laat zien dat dit uitdagend is voor professionals die geconfronteerd worden met burgers die feedback geven en vragen om het (deels) loslaten van vaststaande professionele kaders. Er ontstaat dan ongemak en onzekerheid, maar zo beoogt en laat Cook overtuigend zien, deze ‘mess’ (niet meer goed weten wat goed en nodig is) is productief om te komen tot hernieuwde inzichten en innovaties.

(Introductietekst opgesteld door prof. T. Abma)

Participatory research is increasingly being perceived as a democratic and transformative approach to social situations by both academics and policymakers. The article reflects on what it means to do participatory research, what it contributes to broader knowledge building, and why mess may not only need to be present in participatory research but encouraged. The purposes of participation and mess as nourishment for critical enquiry and more radical learning opportunities are considered and illuminated using case study material from the Family Based Positive Support Project.

Vooraf

Participatief actieonderzoek en responsieve evaluatie staan volop in de belangstelling bij beleidsmakers en onderzoekers. Dit type beleidsonderzoek en -evaluatie beoogt democratisch, inclusief én impactvol te zijn. Het gaat om onderzoek mét in plaats van óver mensen. En het is actiegericht: onderzoek wil bijdragen aan concrete oplossingen door met betrokkenen gezamenlijke (verbeter)acties te ontwikkelen in de praktijk, en daarop te reflecteren en van te leren. Dit alles met het oog op sociale inclusie. Het zijn mooie idealen, maar wat betekent dit in de alledaagse, vaak weerbarstige onderzoekspraktijk?

Op 20 januari 2020 organiseerde prof. Abma daarover een symposium, getiteld ‘Responsive, Participatory Research: Past, Present and Future Perspectives’ (Vrije Universiteit, Amsterdam). De rode draad op het symposium was de vraag wat goed en ethisch verantwoord participatief onderzoek is, en wat dit vraagt van onderzoekers en beleidsmakers. Drie lezingen op deze conferentie zijn nadien omgewerkt tot essays om lezers van Beleidsonderzoek Online vanuit verschillende perspectieven beter kennis te laten maken met deze vorm van onderzoek:

Prof. Weerman en haar team focussen in hun bijdrage op het zich in de praktijk ontwikkelende onderzoeksdesign en het inzetten van creatieve methoden om participatie te bevorderen. Ze gaan na welke kwaliteitscriteria aan participatief actieonderzoek worden gesteld en hechten daarbij met name aan eisen ten aanzien van participatie, samen leren en verschil maken (zie BoO juli 2021). Ze benadrukken het belang van creativiteit en flexibiliteit.

Prof. Abma bespreekt in haar artikel de normatieve dimensies en de ethiek van participatief actieonderzoek (zie BoO september 2020). Ze illustreert met een voorbeeld uit de crisishulpverlening aan GGZ-cliënten dat participatief actieonderzoek niet slechts een methodisch-technische exercitie is, maar een sociaal-politiek proces waarbij bestaande machtsverhoudingen verschuiven om ruimte te geven aan nieuwe stemmen en kennis. Dit omvat het zien van en stilstaan bij ethisch saillante dilemma’s en morele reflectie.

De bijdrage van prof. Cook (zie BoO februari 2021) gaat over de weerbarstige praktijk van participatief actieonderzoek. Het doel is samen leren en voorbij geijkte oplossingen komen. Zij laat zien dat dit uitdagend is voor professionals die geconfronteerd worden met burgers die feedback geven en vragen om het (deels) loslaten van vaststaande professionele kaders. Er ontstaat dan ongemak en onzekerheid, maar zo beoogt en laat Cook overtuigend zien, deze ‘mess’ (niet meer goed weten wat goed en nodig is) is productief om te komen tot hernieuwde inzichten en innovaties.

(Introductietekst opgesteld door prof. T. Abma)

Volgens de auteurs van dit boek vertoont de huidige representatieve keuzedemocratie scheurtjes, om niet te zeggen barsten. Er is steeds minder dualisme tussen kabinet en Kamer. Keuzes worden gemaakt op basis van een relatief gesloten netwerk dat denkt in termen belangenuitruil en kleine stappen. Kennis uit onderzoek wordt in dat proces onderbenut. Besturen bestaat uit top-down processen. De politieke en ambtelijke top heeft een obsessie om altijd in control te willen zijn. Die regenteske en conservatieve benadering past volgens de auteurs echter steeds minder in een steeds complexere wereld. We moeten daarom streven naar een participatieve kennisdemocratie, waarin de beleidsambtenaar van de 21ste eeuw functioneert als een katalyserende spil in een proces van open en innovatieve beleidsontwikkeling.
Het is een waardevol boek met een belangrijke boodschap: veel kan en moet inderdaad anders. Enkele belangrijke thema’s komen in het boek echter onvoldoende aan de orde. In deze boekbespreking wordt hier dieper op ingegaan.

‘The institutionalisation of evaluation in Europe’ is een lijvige, Engelstalige bundel over de institutionalisering van de beleidsevaluatie in Europa, onder redactie van drie Duitse evaluatiedeskundigen. Het boek bestaat uit een inleidend hoofdstuk over het analytisch begrippenkader en de gevolgde methode, zestien landenhoofdstukken, geschreven door nationale experts en twee internationale organisaties, en tot slot een synthesehoofdstuk van de hand van de drie redacteuren. Centraal thema is de verankering van de beleidsevaluatie in het politiek-bestuurlijk systeem, de civiele samenleving en de beroepsgroepen. De bundel is de eerste in een reeks van vier boeken, die samen een ‘wereldkaart van evaluatiesystemen’ moeten opleveren. Elk hoofdstuk bevat een uitgebreid notenapparaat, literatuurverwijzingen, figuren en tabellen.

Hoeveel nieuwe methoden en technieken van sociaalwetenschappelijk onderzoek zijn er sinds de jaren zestig van de vorige eeuw bij gekomen? Moderne ICT heeft het allemaal wel sneller en makkelijker gemaakt, maar in wezen gaat het nog steeds om dezelfde methoden, wellicht op een enkele uitzondering na. Maar misschien levert deze column reacties op die dit tegenspreken.

Een reflexieve kijk op beleidsonderzoek gaat uit van continue dynamiek tussen kennisontwikkeling en beleids- en uitvoeringspraktijken. Beleidsonderzoekers zoeken naar houvast om gedegen en relevant onderzoek te blijven doen, onderwijl inspelend op onzekerheden, onvoorspelbaarheid en kritische geluiden die kenmerkend zijn voor de huidige kennissamenleving. Via omgevingsbewust werken kunnen zij hun onderzoeksaanpak leren afstemmen op de kenmerken en maatschappelijke context van beleidsdossiers. Via kwaliteitsbewust werken kunnen zij leren inspelen op de verwachtingen rondom een bepaalde expertrol en onderzoeksaanpak binnen de eigen contexten van onafhankelijkheid en wetenschappelijke verantwoording.
Aan de hand van een casus – de lerende evaluatie van het Natuurpact, een innovatieve evaluatiestudie bij het Planbureau voor de Leefomgeving – laten we zien hoe een reflexieve aanpak helpt om onderzoek in de nabijheid van de dynamische beleidspraktijk uit te voeren. Doordat deze aanpak buiten de comfortzone van onderzoekers ligt, is omgevingsbewust en kwaliteitsbewust werken voor onderzoekers geen vanzelfsprekendheid. We roepen beleidsonderzoekers zelf, de organisaties waar ze werkzaam zijn en beleidsmedewerkers op om hun reflexieve vaardigheden verder te ontwikkelen via het inrichten van lerende processen, effectieve kennisdeling via Communities of Practice en leerwerktrajecten, en open en adaptieve kennis-beleidsarrangementen.

Nederland staat voor forse en complexe beleidsopgaven. Deze opgaven vragen om een bijzondere beleidsaanpak met een aansluitende wijze van beleidsevaluatie – namelijk één die leren ondersteunt om iteratief de kwaliteit van het beleid te verbeteren en de weg naar de beleidsambities te vinden. Beleidsonderzoekers en beleidsbetrokkenen werken in lerende evaluaties samen om kennis te produceren voor het gelijktijdig verantwoorden en leren van beleid. Verondersteld wordt dat de kwaliteit en bruikbaarheid van de geproduceerde kennis met deze benadering groter zijn dan bij reguliere, op verantwoording georiënteerde, evaluatiemethoden. Als gevolg daarvan zou lerend evalueren meer impact hebben op beleid voor complexe opgaven. In dit artikel wordt aandacht besteed aan de waarde van lerend evalueren vanuit het perspectief van beleidsbetrokkenen en beleidsonderzoekers van de lerende evaluatie van het Natuurpact (2014-2017), uitgevoerd door het PBL en de WUR. Geconcludeerd wordt dat lerend evalueren de kwaliteit, bruikbaarheid en impact (minder aantoonbaar) van de geproduceerde kennis vergroot, maar onder specifieke voorwaarden: namelijk wanneer onderzoekers erin slagen om leren en verantwoorden, met de bijbehorende rollen en kwaliteitsstandaarden, te benaderen als wederzijds versterkend in plaats van tegenstrijdig. Onderzoekers hebben voelsprieten nodig voor de wisselwerking tussen het proces van kennisproductie en de politiek-bestuurlijke context waarin deze kennis wordt gebruikt. Zowel in de beleids- als onderzoekspraktijk is ruimte nodig voor een verbrede kijk op de functie van beleidsevaluatie om lerend evalueren toe te kunnen passen.

De focus op effectiviteit en vooral ook efficiëntie in beleid leidt wellicht tot beleidsuitvoering die efficiënt is voor de overheid, maar of dat ook zo is voor andere stakeholders, wordt misschien uit het oog verloren. Dat laat de huidige coronacrisis zien, maar blijkt ook uit andere voorbeelden. Voor beleidsonderzoek is het relevant om beleid te evalueren binnen de bredere maatschappelijke context en met de vraag voor wie beleid efficiënt is.

Onder redactie van B. Guy Peters en Guillaume Fontaine verscheen in 2020 bij EE Publishers een handboek over vergelijkende beleidsanalyse. Dit terrein van onderzoek heeft stevige raakvlakken met beleidsevaluatie en beleidsanalyses (als die niet-vergelijkend zijn). Een breed en interessant spectrum van onderwerpen komt aan de orde, onder andere over methodologie(en), de rol van theorieën, diverse inhoudelijke onderwerpen en – voor wie het breed wil interpreteren – zelfs de groei van kennis op dit specialisme.

Het boek van voormalig topambtenaar Roel Bekker Dat had niet zo gemoeten! analyseert op scherpe wijze fouten en falen bij de overheid. Doordat de overheid allerlei steken laat vallen bij de voorbereiding van beleid en bovendien te weinig leert van beleidsevaluaties, ontstaat er beleid dat verre van optimaal functioneert, onder meer omdat de uitvoering wordt belast met (zeer) ingewikkelde procedures. Voor de overheid valt uit dit boek veel te leren over hoe het beter kan worden aangepakt. De vraag is wel of dat ook gaat gebeuren, want eerdere publicaties met waardevolle aanbevelingen op dit gebied hebben maar weinig effect gehad.

Participatory and responsive approaches to research strive to be democratic, inclusive and impactful. Participatory researchers share a commitment to epistemic justice and actively engage citizens and users as well as other stakeholders in the co-creation of knowledge for social change. While more and more researchers and policymakers feel attracted to these approaches in practice, the normative ideals of social inclusion and justice are sometimes hard to realize, because of established interests, power relations and system requirements. In this article I argue that participatory researchers and evaluators have a moral responsibility to do ‘ethics work’. This is more than just following ethical principles and codes of conduct. ‘Ethics work’ entails the labour and effort one puts into recognizing ethically salient aspects of situations, developing oneself as a reflexive practitioner, paying attention to emotions and relationships, collaboratively working out the right course of action and reflecting in the company of critical friends. In this article I present the theory and ethics of participatory approaches, illustrate ethical issues and ethics work related to collaboration, politics and power, and share lessons based on ten years of practice in the field of health and social well-being.

Vooraf

Participatief actieonderzoek en responsieve evaluatie staan volop in de belangstelling bij beleidsmakers en onderzoekers. Dit type beleidsonderzoek en -evaluatie beoogt democratisch, inclusief én impactvol te zijn. Het gaat om onderzoek mét in plaats van óver mensen. En het is actiegericht: onderzoek wil bijdragen aan concrete oplossingen door met betrokkenen gezamenlijke (verbeter)acties te ontwikkelen in de praktijk, en daarop te reflecteren en van te leren. Dit alles met het oog op sociale inclusie. Het zijn mooie idealen, maar wat betekent dit in de alledaagse, vaak weerbarstige onderzoekspraktijk?

Op 20 januari 2020 organiseerde prof. Abma daarover een symposium, getiteld ‘Responsive, Participatory Research: Past, Present and Future Perspectives’ (Vrije Universiteit, Amsterdam). De rode draad op het symposium was de vraag wat goed en ethisch verantwoord participatief onderzoek is, en wat dit vraagt van onderzoekers en beleidsmakers. Drie lezingen op deze conferentie zijn nadien omgewerkt tot essays om lezers van Beleidsonderzoek Online vanuit verschillende perspectieven beter kennis te laten maken met deze vorm van onderzoek:

Prof. Weerman en haar team focussen in hun bijdrage op het zich in de praktijk ontwikkelende onderzoeksdesign en het inzetten van creatieve methoden om participatie te bevorderen. Ze gaan na welke kwaliteitscriteria aan participatief actieonderzoek worden gesteld en hechten daarbij met name aan eisen ten aanzien van participatie, samen leren en verschil maken (zie BoO juli 2021). Ze benadrukken het belang van creativiteit en flexibiliteit.

Prof. Abma bespreekt in haar artikel de normatieve dimensies en de ethiek van participatief actieonderzoek (zie BoO september 2020). Ze illustreert met een voorbeeld uit de crisishulpverlening aan GGZ-cliënten dat participatief actieonderzoek niet slechts een methodisch-technische exercitie is, maar een sociaal-politiek proces waarbij bestaande machtsverhoudingen verschuiven om ruimte te geven aan nieuwe stemmen en kennis. Dit omvat het zien van en stilstaan bij ethisch saillante dilemma’s en morele reflectie.

De bijdrage van prof. Cook (zie BoO februari 2021) gaat over de weerbarstige praktijk van participatief actieonderzoek. Het doel is samen leren en voorbij geijkte oplossingen komen. Zij laat zien dat dit uitdagend is voor professionals die geconfronteerd worden met burgers die feedback geven en vragen om het (deels) loslaten van vaststaande professionele kaders. Er ontstaat dan ongemak en onzekerheid, maar zo beoogt en laat Cook overtuigend zien, deze ‘mess’ (niet meer goed weten wat goed en nodig is) is productief om te komen tot hernieuwde inzichten en innovaties.

(Introductietekst opgesteld door prof. T. Abma)

In maart 2020 verscheen het boek Beleidsevaluatie in theorie en praktijk van Peter van der Knaap, Valérie Pattyn en Dick Hanemaayer. Joost Fledderus bespreekt de inhoud van het boek en geeft aan welke meerwaarde het biedt voor (aankomende) beleidsonderzoekers.

Theorieën en methoden uit de gedragswetenschappen betreden steeds nadrukkelijker de beleidsscene. Gedragsinzichten en nudging beloven beleid te verrijken en te versterken. Het begin van deze gedragswetenschappelijke omslag of behavioural turn laat men doorgaans samenvallen met de publicatie van het boek Nudge van Richard Thaler en Cass Sunstein in 2008. In dit artikel plaatsen we nudging in perspectief en argumenteren we dat het concept zowel een zegen als een vloek betekent, en zowel een katalysator als een rem is voor de bredere toepassing en verankering van gedragsinzichten in beleid. Ondanks het aantrekkelijke narratief botst nudging op functionele limieten en ethische bezwaren. Om de gedragswetenschappelijke, experimentele en evidence-based beleidsbeloften alsnog in te lossen, zien we een strategie van steeds verdere verbreding. Het programma van de Behavioural Insights-beweging op basis van vijf pijlers leek in eerste instantie een oplossing te bieden, maar kampt door een eendimensionale interpretatie met interne spanningen. De nog bredere en ambitieuzere Behavioural Public Policy-agenda biedt nieuwe perspectieven, maar moet op functioneel en ethisch vlak nog verder onderbouwd worden.