In maart 2020 verscheen het boek Beleidsevaluatie in theorie en praktijk van Peter van der Knaap, Valérie Pattyn en Dick Hanemaayer. Joost Fledderus bespreekt de inhoud van het boek en geeft aan welke meerwaarde het biedt voor (aankomende) beleidsonderzoekers.

Theorieën en methoden uit de gedragswetenschappen betreden steeds nadrukkelijker de beleidsscene. Gedragsinzichten en nudging beloven beleid te verrijken en te versterken. Het begin van deze gedragswetenschappelijke omslag of behavioural turn laat men doorgaans samenvallen met de publicatie van het boek Nudge van Richard Thaler en Cass Sunstein in 2008. In dit artikel plaatsen we nudging in perspectief en argumenteren we dat het concept zowel een zegen als een vloek betekent, en zowel een katalysator als een rem is voor de bredere toepassing en verankering van gedragsinzichten in beleid. Ondanks het aantrekkelijke narratief botst nudging op functionele limieten en ethische bezwaren. Om de gedragswetenschappelijke, experimentele en evidence-based beleidsbeloften alsnog in te lossen, zien we een strategie van steeds verdere verbreding. Het programma van de Behavioural Insights-beweging op basis van vijf pijlers leek in eerste instantie een oplossing te bieden, maar kampt door een eendimensionale interpretatie met interne spanningen. De nog bredere en ambitieuzere Behavioural Public Policy-agenda biedt nieuwe perspectieven, maar moet op functioneel en ethisch vlak nog verder onderbouwd worden.

Naar aanleiding van 25 jaar Vereniging voor Beleidsonderzoek staat dit artikel stil bij de rol van beleidsonderzoek. Het belang daarvan wordt nogal eens onderschat – zowel door beleidsmakers als onderzoekers zelf. Vanuit een wat breder perspectief bezien blijkt het voor de huidige samenleving – getypeerd als ‘een pragmacratie’ – echter een onmisbare functie te vervullen. Beleid en praktijk zijn vaak indirect gebaseerd op wetenschappelijke concepten, onderzoeksresultaten en toekomstverkenningen. Vooral de sociale wetenschappen maken zichtbaar wat mogelijk is, en beleidsonderzoek doet dat dan ook nog eens op een tijdige, oplossingsgerichte manier. Daarbij zijn er verschillende manieren om impact te hebben, waarbij de beleidsonderzoeker moet vasthouden aan zijn onafhankelijkheid en controleerbaarheid.
Dit artikel is een uitwerking van de lezing van Hans Boutellier op het VBO-congres op 7 november 2019 en is gebaseerd op het gelijknamige hoofdstuk uit Het seculiere experiment: Over westerse waarden in radicale tijden (herziene versie, 2019). Zie ook het essay van Peter van Hoesel, Beleidsonderzoek in de periode 1970-1995, Beleidsonderzoek Online februari 2020.

Beleidsonderzoek is een vak dat in de afgelopen vijftig jaar geleidelijk is ontwikkeld tot een echte professie. In dit essay wordt de eerste helft van deze periode beschreven en op diverse punten vergeleken met de huidige situatie. De terugblik bestaat uit drie onderdelen: professionalisering; relatie met opdrachtgevers; ambachtelijke aspecten.

Q-methodologie is een nog relatief onbekende onderzoeksmethode, met veel potentieel voor beleidsonderzoek en -analyse. De benaderingen, doelen en onderzoeksvragen in verschillende toepassingen lopen uiteen, maar vertonen ook duidelijke overeenkomsten. In dit artikel beschrijven we de belangrijkste theoretische en analytische bouwstenen van de methode, en een praktijkgericht 10-stappenplan waarmee men snel zelf aan de slag kan met Q-methodologie. Op basis van een aantal toepassingen van Q-methodologie in Nederland en Vlaanderen laat dit artikel op inzichtelijke wijze zien wat Q-methodologie toevoegt aan de toolbox van beleidsonderzoekers. Naast de theoretische achtergrond van de methode biedt deze bijdrage een praktisch stappenplan voor het gebruik van de methode in de praktijk.

Voor doeltreffend en doelmatig beleid is het essentieel om verantwoording af te leggen over de gemaakte keuzes en te leren van de lessen uit het verleden. Om dit te stimuleren verplicht de Regeling Periodiek Evaluatieonderzoek (RPE) de rijksoverheid om periodiek beleidsdoorlichtingen te (laten) verrichten. Een beleidsdoorlichting bundelt alle beschikbare kennis over de doeltreffendheid en doelmatigheid van een volledig beleidsterrein over een bepaalde periode. Daartoe worden alle tussentijds uitgevoerde beleidsevaluaties bestudeerd.
Dit artikel beschrijft de kwaliteit van beleidsdoorlichtingen. Het artikel is gebaseerd op onderzoek van SEO Economisch Onderzoek in opdracht van het Ministerie van Financiën. Het gebruik van beleidsdoorlichtingen valt buiten de scope van dit artikel.
Uit een steekproef van 49 beleidsdoorlichtingen blijkt dat de doeltreffendheid en doelmatigheid van het gevoerd beleid vaak niet goed in beeld komen. Dit komt onder meer omdat er te weinig goed evaluatieonderzoek wordt uitgevoerd en omdat beleidsdoelstellingen met enige regelmaat worden aangepast. Het gevolg hiervan is dat uitspraken over de doeltreffendheid van beleid meestal niet stevig onderbouwd zijn en de doelmatigheid van beleid onderbelicht blijft. Dit maakt het minder goed mogelijk om lessen uit het verleden te trekken.
Er is ruimte voor verbetering. Zo kan (1) het lerend vermogen van ministeries intern versterkt worden, (2) kunnen departementen hun beleidsevaluaties systematischer uitvoeren om volledigheid te waarborgen, (3) dient er ex ante te worden vastgesteld hoe de doeltreffendheid en doelmatigheid van beleidsmaatregelen ex post (causaal) kunnen worden geëvalueerd, (4) kan de onafhankelijk deskundige die bij beleidsdoorlichtingen wordt ingezet tevens de kwaliteit van het beschikbare evaluatiemateriaal vaststellen, en (5) kan worden overwogen om beleidsdoorlichtingen strategisch te plannen aan het eind van een kabinetsperiode. Op deze manier neemt de toegevoegde waarde van de beleidsdoorlichting toe.

Beleidsevaluatie richt zich steeds naar informatiebehoeften en technische mogelijkheden. Hierdoor is het gebruik van cijfermatige informatie toegenomen. Met name bestaande data worden, met steeds betere analysetechnieken, ingezet omdat ze beschikbaar zijn en relatief goedkoop. Dit gaat echter ten koste van de validiteit en diepgang van onderzoek. Dat is in zekere zin een regressie, een achteruitgang. We zien echter ook progressie in het beleidsonderzoek. In de eerste plaats komt er steeds meer belangstelling voor de zogenoemde mixed methods-benadering. Ten tweede is er een groeiende belangstelling voor participerende, interactieve en responsieve vormen van onderzoek. Er ontstaat weer meer oog voor de wereld achter de cijfers, het hoe en waarom van beleid, en vooral voor de mensen in die wereld.

Overheidsbeleid heeft steeds meer te maken met digitalisering en data-ificering van de samenleving en het menselijk gedrag. Dat betekent uitdagingen voor beleidsevaluatoren. In dit artikel gaat het om éen van de daarmee gepaard gaande verschijnselen: Big Data en Artificiële Intelligentie (BD/AI). Het artikel stelt, na erop gewezen te hebben dat de evaluatieprofessie langere tijd niet erg actief op digitaal gebied is geweest, ten eerste de vraag wat BD/AI te bieden hebben aan evaluatieonderzoek van (digitaal) beleid. Vijf toepassingsmogelijkheden worden besproken die de kwaliteit, bruikbaarheid en relevantie van evaluatieonderzoek kunnen bevorderen. De tweede vraag is wat evaluatieonderzoek te bieden heeft, als het gaat om het analyseren/onderzoeken van de betrouwbaarheid, validiteit en enkele andere aspecten van Big Data en AI. Ook daar worden verschillende mogelijkheden (en moeilijkheden) geschetst. Naar het oordeel van de schrijver is het enerzijds dienstig (meer) gebruik te maken van BD/AI in evaluatieonderzoek, maar doen onderzoekers er ook goed aan (meer) aandacht uit te laten gaan naar: de assumpties die aan BD/AI ten grondslag liggen (inclusief het ‘black box’-probleem); de validiteit, veiligheid en geloofwaardigheid van algoritmes; de bedoelde en onbedoelde consequenties van het gebruik ervan; én de vraag of de claims dat digitale interventies die mede gebaseerd zijn op BD/AI effectief (of effectiever zijn dan andere), onderbouwd en valide zijn.

De manier waarop vraag naar en aanbod van arbeid bij elkaar komen, is met de komst van het internet en sociale media drastisch veranderd. Dit brengt kansen met zich mee: werkgevers kunnen zich bij de werving veel directer op potentiële werknemers richten en zijn niet meer gebonden aan de doelgroep van bijvoorbeeld een dagblad. Het geeft echter ook risico’s, omdat het tot uitsluiting van groepen kan leiden. De positieve keerzijde van deze technologische medaille is dat algoritmes en big data weliswaar nieuwe manieren van discriminatie in de hand werken, maar dat ze tevens kunnen worden ingezet om deze discriminatie te traceren en te bestrijden. In dit artikel worden beide zijden van de medaille toegelicht.

Maar liefst drie onderzoekscommissies brachten een rapport uit over de vermeende politieke beïnvloeding en sturing van onderzoek op het WODC van het ministerie van Justitie en Veiligheid. Maar uit het rapport van de commissie-Hertogh, die de kwestie in een breder perspectief moest plaatsen, komt geen eenduidig beeld naar voren van de ernst, omvang en oorzaken van de problematiek. Deze commissie verzuimt om een grondige analyse te maken van de achtergronden van de kwestie. Ook de methodologie van het onderzoek van de commissie-Hertogh rammelt, op zijn zachtst gezegd. En de aanbevelingen van deze commissie gaan voorbij aan het belang van interactie tussen beleidsmakers en onderzoekers. Het rapport voldoet niet aan de kwaliteitseisen die je aan beleidsonderzoek kunt stellen. Dat is spijtig: de WODC-affaire had beter onderzoek verdiend.

In dit artikel gaan we in op de aanleiding voor het onderzoek dat wij in 2016 uitvoerden naar het programma Stad en Regio van de provincie Gelderland en de uitkomsten van het onderzoek. Daarnaast laten we zien hoe we hebben ingezet op de doorwerking van het onderzoek, ook buiten het provinciehuis. Die doorwerking leidde uiteindelijk tot het winnen van de Goudvink, de prijs voor het beste rekenkamerrapport.

In Nederland komen tal van wicked problems (WP) voor. Ze worden ook wel aangeduid als weerbarstige problemen. Kenmerkend is het unieke karakter, het feit dat kennis over probleemaspecten beperkt is en verschillende perspectieven op een probleem en meerdere waardenoriëntaties een rol spelen. Naast cognitieve en normatieve complexiteit bestaat er ook nog sociale complexiteit. WPs zoals voetbalvandalisme spelen zich af in een beleidsnetwerk met tal van elkaar afhankelijke actoren. Kennis, preferenties, handelingsvermogen en middelen blijken gespreid en niet in de hand van één actor. Om toch tot een bevredigend resultaat te komen moeten de actoren gezamenlijk optrekken. Daarom is interorganisationeel netwerkmanagement en deliberatie met burgers een wenselijke responsestrategie. Bij WPs zijn actoren dus tot elkaar veroordeeld. Centralistische besluitvorming werkt niet. Een centrale actor kan overigens nog wel een rol vervullen als initiator, facilitator of regisseur van overleg en discussie; als arbiter bij botsende perspectieven; of beslisser na netwerkberaad en inbreng van burgers.

Gemeenten ondersteunen, onder andere met subsidies, maatschappelijke initiatieven. Met die subsidies zijn landelijk miljoenen euro’s gemoeid. De maatschappelijke effecten van initiatieven worden niet of slechts globaal onderzocht. Een van de argumenten om dit te rechtvaardigen luidt: als er genoeg draagvlak in een wijk of dorp is, moet een initiatief wel maatschappelijke meerwaarde hebben.
Een besluit om subsidie te verstrekken resulteert in een transactie tussen gemeente en initiatiefnemers. Met behulp van de transactiekostentheorie en de welvaartstheorie worden in deze bijdrage subsidievoorwaarden geanalyseerd. Hieruit blijkt dat de subsidievoorwaarden in de bestudeerde subsidieregelingen de transactiekosten voor partijen beperken, maar dat zelfs bij voldoende draagvlak een initiatief nog niet een maatschappelijke meerwaarde hoeft te hebben.

De narratieve aanpak van evalueren biedt diepgang en verklaring, en vormt daarmee een betekenisvolle aanvulling op methodieken waarin de feitelijke beschrijving van de werkelijkheid en normenkaders centraal staan. De narratieve aanpak is een aanvulling op traditionele methodieken, maar is niet plaatsvervangend.

Volgens de Marylandschaal is rct het best mogelijke type beleidsonderzoek. Rct is dan ook het boegbeeld van het evidence-based onderzoek. De kritiek op rct’s is echter in de loop van de jaren alleen maar groter geworden. Bovendien blijkt uit een recente meta-evaluatie dat de non-experimentele onderzoeken niet tot andere uitkomsten leidden dan de rct’s. Al met al wordt te veel geloof gehecht aan de evidence-based benadering in het algemeen en rct’s in het bijzonder. Vandaar de vraag: wordt het misschien tijd voor een Maryland Scientific Methods Scale 2.0?

Een lerende evaluatie combineert leren en verantwoorden. Deze methode past bij complexe beleidsopgaven, waar meerdere actoren en overheden bij betrokken zijn die een behoefte hebben om te leren van elkaars ervaringen. In de evaluatie van het Natuurpact is deze methode op nationale schaal voor het gedecentraliseerde natuurbeleid toegepast. Uit deze casus blijkt dat een succesvolle toepassing vraagt om een voortdurende en zorgvuldige aansluiting van het onderzoek op de beleidspraktijk. Dit is nodig voor het betrekken van en interactie met stakeholders, het combineren van leren en verantwoorden, de wetenschappelijke onafhankelijkheid, het bestuurlijk mandaat en de beheersbaarheid van het onderzoek.

Het ontwikkelen van succesvol overheidsbeleid vraagt om een systematische benutting van kennis uit wetenschap én praktijk. In dit artikel wordt beschreven op welke manier die systematische benutting kan worden bewerkstelligd. Als de afstand tussen kennis en beleidsontwikkeling kan worden verkleind en tevens wordt gekozen voor een proces van open beleidsontwikkeling, zal de benutting van kennis tijdens het beleidsproces beter verlopen. Daarbij dienen tegelijkertijd diverse voorwaarden te worden gesteld aan een adequate programmering van het corresponderende beleidsonderzoek.

Het is nog een twistpunt of rekenkamercommissies met raadsleden in de wet mogelijk blijven. Deze bewijzen evenwel continu hun effectiviteit en toegevoegde waarde in het lokale bestuurlijke bestel. Ook, en misschien juist, in politiek gevoelige situaties. Dat wordt in dit artikel aangetoond aan de hand van de casus van het zogenoemde gronddossier Palmen in Brunssum. De ophef over een integriteitskwestie rond de wethoudersbenoeming van Palmen in oktober 2017 reikte tot ver buiten de gemeentegrenzen, tot in Den Haag aan toe. Op verzoek van de raad heeft de rekenkamercommissie Brunssum de feiten van het dossier gereconstrueerd met stukken en gebeurtenissen die gerelateerd waren aan een grondtransactie uit 1976. Door een vooronderzoek uit te voeren, scherp te blijven op de grenzen van de taak van de rekenkamercommissie en de opdracht, en waarborgen in het onderzoeksproces in te bouwen kon de rekenkamercommissie het onderzoek adequaat uitvoeren. Daarmee werd de raad in staat gesteld eigenstandig zijn mening te vormen over een complex dossier en daarmee indirect over de betreffende integriteitskwestie.

In 2015 is de Regeling Periodiek Evaluatieonderzoek (RPE) ingevoerd, met vier methodologische kwaliteitscriteria waaraan beleidsdoorlichtingen moeten voldoen en waarop een onafhankelijk deskundige toetst. Uit een verkennende analyse van 164 beleidsdoorlichtingen van 2006 tot en met 2017 blijkt een kwart hieraan te voldoen. Sinds 2015 is de kwaliteit van beleidsdoorlichtingen niet verbeterd, noch is er meer inzicht in doelmatigheid en doeltreffendheid. De invoering van kwaliteitscriteria en de onafhankelijke toetsing daarop resulteren mogelijk, maar niet gegarandeerd in betere beleidsdoorlichtingen. De RPE blijkt geen werkbaar instrument om beleid door te lichten. Het beantwoorden van doorlichtingsvragen is onmogelijk bij gebrek aan onderliggend evaluatiemateriaal en resulteert in antwoorden die weinig inzicht geven in het beleid. Verruiming is nodig: de RPE moet stimuleren om via diverse wegen en soorten informatie te komen tot een gefundeerde onderbouwing van beleidseffecten. Richtinggevend, niet dwingend. Syntheseonderzoek volstaat niet, aanvullend onderzoek is nodig. De onafhankelijk deskundige moet vooral methodologisch expert zijn en vroegtijdiger worden betrokken bij de beleidsdoorlichting.

Alhoewel het gebruik van beleidsevaluaties (of het gebrek eraan) een van de meest besproken thema’s is in de evaluatieliteratuur, berust veel onderzoek over het thema enkel op anekdotisch bewijs, en zijn er nauwelijks studies beschikbaar die aandacht hebben voor de samenhang tussen verschillende factoren die impact kunnen hebben op het gebruik. In voorliggend artikel presenteren we de resultaten van een studie waarin we hebben getracht om op een systematische wijze inzicht te bieden in de combinaties van factoren die instrumenteel gebruik van beleidsevaluaties bevorderen of verhinderen. We onderzochten in dit verband alle evaluaties die in de periode 2013-2016 werden uitgevoerd bij de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie. Via Qualitative Comparative Analysis (QCA) bekeken we welke combinaties van de volgende factoren als noodzakelijk en/of voldoende bleken voor evaluatiegebruik: (1) politiek gehalte van het onderwerp, (2) interesse van de beleidsmakers, (3) aanwezigheid van nieuwe kennis in de evaluatie, en (4) de timing van de evaluatie.
Voor de praktijk van beleidsmakers en evaluatoren benadrukken we het belang van tijdigheid en interesse voor een evaluatie. Onze analyse laat zien dat professionals die op deze factoren inzetten, een gunstig klimaat creëren voor het gebruik van evaluaties. Wat betreft tijdigheid lijkt het van belang de evaluatie te laten sporen met het schrijfwerk van een beleidsafdeling aan nieuw beleid of grote beleidsveranderingen. Goede anticipatie en een sterke institutionalisering van het evaluatieproces zijn hiertoe cruciaal. Of het thema van de evaluatie een sterke politieke gevoeligheid kent, is minder belangrijk. Mits sprake is van de juiste omgevingscondities, kunnen ook dergelijke evaluaties sterk instrumenteel worden benut.