Onder redactie van B. Guy Peters en Guillaume Fontaine verscheen in 2020 bij EE Publishers een handboek over vergelijkende beleidsanalyse. Dit terrein van onderzoek heeft stevige raakvlakken met beleidsevaluatie en beleidsanalyses (als die niet-vergelijkend zijn). Een breed en interessant spectrum van onderwerpen komt aan de orde, onder andere over methodologie(en), de rol van theorieën, diverse inhoudelijke onderwerpen en – voor wie het breed wil interpreteren – zelfs de groei van kennis op dit specialisme.

In maart 2020 verscheen het boek Beleidsevaluatie in theorie en praktijk van Peter van der Knaap, Valérie Pattyn en Dick Hanemaayer. Joost Fledderus bespreekt de inhoud van het boek en geeft aan welke meerwaarde het biedt voor (aankomende) beleidsonderzoekers.

Q-methodologie is een nog relatief onbekende onderzoeksmethode, met veel potentieel voor beleidsonderzoek en -analyse. De benaderingen, doelen en onderzoeksvragen in verschillende toepassingen lopen uiteen, maar vertonen ook duidelijke overeenkomsten. In dit artikel beschrijven we de belangrijkste theoretische en analytische bouwstenen van de methode, en een praktijkgericht 10-stappenplan waarmee men snel zelf aan de slag kan met Q-methodologie. Op basis van een aantal toepassingen van Q-methodologie in Nederland en Vlaanderen laat dit artikel op inzichtelijke wijze zien wat Q-methodologie toevoegt aan de toolbox van beleidsonderzoekers. Naast de theoretische achtergrond van de methode biedt deze bijdrage een praktisch stappenplan voor het gebruik van de methode in de praktijk.

Overheidsbeleid heeft steeds meer te maken met digitalisering en data-ificering van de samenleving en het menselijk gedrag. Dat betekent uitdagingen voor beleidsevaluatoren. In dit artikel gaat het om éen van de daarmee gepaard gaande verschijnselen: Big Data en Artificiële Intelligentie (BD/AI). Het artikel stelt, na erop gewezen te hebben dat de evaluatieprofessie langere tijd niet erg actief op digitaal gebied is geweest, ten eerste de vraag wat BD/AI te bieden hebben aan evaluatieonderzoek van (digitaal) beleid. Vijf toepassingsmogelijkheden worden besproken die de kwaliteit, bruikbaarheid en relevantie van evaluatieonderzoek kunnen bevorderen. De tweede vraag is wat evaluatieonderzoek te bieden heeft, als het gaat om het analyseren/onderzoeken van de betrouwbaarheid, validiteit en enkele andere aspecten van Big Data en AI. Ook daar worden verschillende mogelijkheden (en moeilijkheden) geschetst. Naar het oordeel van de schrijver is het enerzijds dienstig (meer) gebruik te maken van BD/AI in evaluatieonderzoek, maar doen onderzoekers er ook goed aan (meer) aandacht uit te laten gaan naar: de assumpties die aan BD/AI ten grondslag liggen (inclusief het ‘black box’-probleem); de validiteit, veiligheid en geloofwaardigheid van algoritmes; de bedoelde en onbedoelde consequenties van het gebruik ervan; én de vraag of de claims dat digitale interventies die mede gebaseerd zijn op BD/AI effectief (of effectiever zijn dan andere), onderbouwd en valide zijn.

In Nederland komen tal van wicked problems (WP) voor. Ze worden ook wel aangeduid als weerbarstige problemen. Kenmerkend is het unieke karakter, het feit dat kennis over probleemaspecten beperkt is en verschillende perspectieven op een probleem en meerdere waardenoriëntaties een rol spelen. Naast cognitieve en normatieve complexiteit bestaat er ook nog sociale complexiteit. WPs zoals voetbalvandalisme spelen zich af in een beleidsnetwerk met tal van elkaar afhankelijke actoren. Kennis, preferenties, handelingsvermogen en middelen blijken gespreid en niet in de hand van één actor. Om toch tot een bevredigend resultaat te komen moeten de actoren gezamenlijk optrekken. Daarom is interorganisationeel netwerkmanagement en deliberatie met burgers een wenselijke responsestrategie. Bij WPs zijn actoren dus tot elkaar veroordeeld. Centralistische besluitvorming werkt niet. Een centrale actor kan overigens nog wel een rol vervullen als initiator, facilitator of regisseur van overleg en discussie; als arbiter bij botsende perspectieven; of beslisser na netwerkberaad en inbreng van burgers.

Er is de laatste tijd veel aandacht voor het omgaan met onzekerheid en dynamiek in beleid. Zo is er recent de roep om leren door doen, door een overheid die samen met de samenleving het experiment aan durft te gaan. Zo’n benadering van beleid als gezamenlijk experiment is veelbelovend, maar vergt ook passende methoden voor beleidsevaluaties. Adaptief beleid speelt hierop in. De laatste jaren is een belangrijke stap gezet in de ontwikkeling van methoden waarmee adaptief beleid ontwikkeld kan worden. Voor de evaluatie en de rol van evaluaties heeft dit belangrijke implicaties. In dit artikel wordt hierop verder ingegaan, op basis van ervaringen met adaptief beleid en beleidsevaluatie binnen het Nederlandse Deltaprogramma.

De voorbije vier decennia werden er heel wat studies naar de implementatie van beleid uitgevoerd, maar deze hebben vier belangrijke tekortkomingen: (1) onduidelijke omschrijving van de afhankelijke variabele, (2) te weinig inzicht in de ‘kritieke’ onafhankelijke variabelen en te weinig aandacht voor de wijze waarop deze in combinatie met elkaar het beleidsimplementatieproces beïnvloeden, (3) te laag aantal cases en (4) te weinig aandacht voor hypothesetoetsing. Dit artikel geeft aan hoe het gebruik van Qualitative Comparative Analysis (QCA) (Ragin, 1987) een antwoord kan bieden op deze beperkingen. Deze analysemethode tracht de verschillende causale paden die het beleidsimplementatieproces beïnvloeden te identificeren en de condities of combinaties van condities die noodzakelijk of voldoende zijn in kaart te brengen. Hiervoor wordt gebruikgemaakt van Booleaanse algebra. Door deze en andere specifieke eigenschappen kan QCA leiden tot vernieuwende inzichten in beleidsimplementatieonderzoek.

Achter opdrachtresearch gaat de veronderstelling schuil dat de tussen- en eindresultaten van beleidsonderzoek vroeg of laat ook benut worden en onderdeel worden van een proces van bezinning op beleid. Dit artikel handelt hierover. Diverse aspecten van benutting van onderzoek komen aan bod, zoals de definitie en vormen van benutting. Er worden vier richtingen onderscheiden om de omvang en vorm van benutting of onderbenutting op te sporen. Het artikel geeft voorts verklaringen voor achterblijvende benutting en bevat adviezen om te komen tot meer benutting. Voor ambtenaren, bestuurders en partners in beleidsnetwerken biedt deze beschouwing aanknopingspunten om researchresultaten desgewenst beter te benutten. En voor onderzoekers bevat dit artikel tal van aanzetten tot hypothesevorming voor verder onderzoek.

Internationaal stijgt de aandacht voor evidence-based policy (EBP); de term duikt steeds vaker op in het beleidsdiscours. Het empirisch onderzoek naar kennisgebruik en doorwerking van wetenschappelijk onderzoek is evenwel eerder gelimiteerd, al bestaat er consensus dat de doorwerking van sociaalwetenschappelijk onderzoek beperkt is. De vraag stelt zich of het recente EBP-discours hierin verandering kan brengen. Kan EBP leiden tot meer doorwerking van sociaalwetenschappelijk onderzoek, gelet op de inherente kenmerken van beleid en wetenschappelijk onderzoek die belangrijke obstakels blijken te vormen voor kennisgebruik en doorwerking? Kunnen we in Vlaanderen reeds spreken over een EBP? Wat verstaan beleidsmakers onder ‘evidence-based’? Is een EBP überhaupt mogelijk? Wat zijn de belangrijkste obstakels voor kennisgebruik volgens beleidsmakers en wat zijn de belangrijkste gebruiksverhogende factoren? In dit artikel wordt aan de hand van een literatuurstudie, een bevraging van (Vlaamse) beleidsmakers en een citaats- en inhoudsanalyse van Vlaamse parlementaire bronnen gepoogd een antwoord te bieden op deze vragen.

In dit artikel wordt het evaluatieonderzoek van overheidsbeleid kritisch onder de loep genomen. De auteur bespreekt vier alternatieven: responsieve en multipele evaluatie, argumentatieve evaluatie, netwerkgericht evalueren en lerend evalueren. De bevindingen kunnen positief inwerken op het ‘leren van evalueren’ in organisaties.

Nalevingsgedrag wordt door een aantal factoren beïnvloed. Deze factoren zijn door het ministerie van Justitie samengevat in de Tafel van Elf, die zowel spontane nalevings- als handhavingsdimensies bevat. Elk individu gaat verschillend om met deze dimensies. Om overall iets te kunnen zeggen over het nalevingsgedrag van een doelgroep dienen de verschillende individuen/bedrijven en hun interacties beschreven te worden. Dit is mogelijk door gebruik te maken van Agent-Based Modeling (ABM). ABM is in het hier beschreven onderzoek toegepast in een casestudie naar correct gebruik van antibiotica door varkenshouders. Simulaties lieten zien dat een hoog nalevingsniveau bereikt kan worden door een hoge mate van acceptatie van de wetgeving, waarbij enige mate van inspectie nodig zal blijven. Verder bleek dat het gedrag van varkenshouders beïnvloed wordt door het nalevingsgedrag van varkenshouders in de omgeving. Voor zover ons bekend is dit de eerste toepassing van ABM op het gebied van naleving en toezicht.

Het overheidsveld en het maatschappelijk veld zijn sterk in beweging. Burgers en organisaties willen meer invloed uitoefenen op beleid en uitvoering. Er is een ontwikkeling naar pluriformiteit, bottom-up sturing, netwerken, met lokale initiatieven. Tegelijkertijd blijft er een grote kloof tussen overheid en burgers bestaan. Het is de vraag hoe gemeentelijke (beleids)onderzoekers het best kunnen reageren op deze ontwikkelingen. Blijven zij top-down werken of gaan ook zij de uitdaging aan en sluiten zij zich aan bij de bottom-up trend? In dit artikel worden ten aanzien van burgerparticipatie en onderzoek enkele ontwikkelingen in beeld gebracht. Nieuwe media en (online) instrumenten spelen een toenemende rol. Het gemeentelijke beleidsveld krijgt te maken met een andere manier van werken. Daaruit komen kansen voor de rol van onderzoek en onderzoekers. Een werkgroep van VSO-onderzoekers heeft verkend wat de consequenties en uitdagingen zijn van de geschetste ontwikkelingen op het gebied van burgerparticipatie en sociale media.