Volgens de auteurs van dit boek vertoont de huidige representatieve keuzedemocratie scheurtjes, om niet te zeggen barsten. Er is steeds minder dualisme tussen kabinet en Kamer. Keuzes worden gemaakt op basis van een relatief gesloten netwerk dat denkt in termen belangenuitruil en kleine stappen. Kennis uit onderzoek wordt in dat proces onderbenut. Besturen bestaat uit top-down processen. De politieke en ambtelijke top heeft een obsessie om altijd in control te willen zijn. Die regenteske en conservatieve benadering past volgens de auteurs echter steeds minder in een steeds complexere wereld. We moeten daarom streven naar een participatieve kennisdemocratie, waarin de beleidsambtenaar van de 21ste eeuw functioneert als een katalyserende spil in een proces van open en innovatieve beleidsontwikkeling.
Het is een waardevol boek met een belangrijke boodschap: veel kan en moet inderdaad anders. Enkele belangrijke thema’s komen in het boek echter onvoldoende aan de orde. In deze boekbespreking wordt hier dieper op ingegaan.

Een reflexieve kijk op beleidsonderzoek gaat uit van continue dynamiek tussen kennisontwikkeling en beleids- en uitvoeringspraktijken. Beleidsonderzoekers zoeken naar houvast om gedegen en relevant onderzoek te blijven doen, onderwijl inspelend op onzekerheden, onvoorspelbaarheid en kritische geluiden die kenmerkend zijn voor de huidige kennissamenleving. Via omgevingsbewust werken kunnen zij hun onderzoeksaanpak leren afstemmen op de kenmerken en maatschappelijke context van beleidsdossiers. Via kwaliteitsbewust werken kunnen zij leren inspelen op de verwachtingen rondom een bepaalde expertrol en onderzoeksaanpak binnen de eigen contexten van onafhankelijkheid en wetenschappelijke verantwoording.
Aan de hand van een casus – de lerende evaluatie van het Natuurpact, een innovatieve evaluatiestudie bij het Planbureau voor de Leefomgeving – laten we zien hoe een reflexieve aanpak helpt om onderzoek in de nabijheid van de dynamische beleidspraktijk uit te voeren. Doordat deze aanpak buiten de comfortzone van onderzoekers ligt, is omgevingsbewust en kwaliteitsbewust werken voor onderzoekers geen vanzelfsprekendheid. We roepen beleidsonderzoekers zelf, de organisaties waar ze werkzaam zijn en beleidsmedewerkers op om hun reflexieve vaardigheden verder te ontwikkelen via het inrichten van lerende processen, effectieve kennisdeling via Communities of Practice en leerwerktrajecten, en open en adaptieve kennis-beleidsarrangementen.

Nederland staat voor forse en complexe beleidsopgaven. Deze opgaven vragen om een bijzondere beleidsaanpak met een aansluitende wijze van beleidsevaluatie – namelijk één die leren ondersteunt om iteratief de kwaliteit van het beleid te verbeteren en de weg naar de beleidsambities te vinden. Beleidsonderzoekers en beleidsbetrokkenen werken in lerende evaluaties samen om kennis te produceren voor het gelijktijdig verantwoorden en leren van beleid. Verondersteld wordt dat de kwaliteit en bruikbaarheid van de geproduceerde kennis met deze benadering groter zijn dan bij reguliere, op verantwoording georiënteerde, evaluatiemethoden. Als gevolg daarvan zou lerend evalueren meer impact hebben op beleid voor complexe opgaven. In dit artikel wordt aandacht besteed aan de waarde van lerend evalueren vanuit het perspectief van beleidsbetrokkenen en beleidsonderzoekers van de lerende evaluatie van het Natuurpact (2014-2017), uitgevoerd door het PBL en de WUR. Geconcludeerd wordt dat lerend evalueren de kwaliteit, bruikbaarheid en impact (minder aantoonbaar) van de geproduceerde kennis vergroot, maar onder specifieke voorwaarden: namelijk wanneer onderzoekers erin slagen om leren en verantwoorden, met de bijbehorende rollen en kwaliteitsstandaarden, te benaderen als wederzijds versterkend in plaats van tegenstrijdig. Onderzoekers hebben voelsprieten nodig voor de wisselwerking tussen het proces van kennisproductie en de politiek-bestuurlijke context waarin deze kennis wordt gebruikt. Zowel in de beleids- als onderzoekspraktijk is ruimte nodig voor een verbrede kijk op de functie van beleidsevaluatie om lerend evalueren toe te kunnen passen.

De focus op effectiviteit en vooral ook efficiëntie in beleid leidt wellicht tot beleidsuitvoering die efficiënt is voor de overheid, maar of dat ook zo is voor andere stakeholders, wordt misschien uit het oog verloren. Dat laat de huidige coronacrisis zien, maar blijkt ook uit andere voorbeelden. Voor beleidsonderzoek is het relevant om beleid te evalueren binnen de bredere maatschappelijke context en met de vraag voor wie beleid efficiënt is.

Het boek van voormalig topambtenaar Roel Bekker Dat had niet zo gemoeten! analyseert op scherpe wijze fouten en falen bij de overheid. Doordat de overheid allerlei steken laat vallen bij de voorbereiding van beleid en bovendien te weinig leert van beleidsevaluaties, ontstaat er beleid dat verre van optimaal functioneert, onder meer omdat de uitvoering wordt belast met (zeer) ingewikkelde procedures. Voor de overheid valt uit dit boek veel te leren over hoe het beter kan worden aangepakt. De vraag is wel of dat ook gaat gebeuren, want eerdere publicaties met waardevolle aanbevelingen op dit gebied hebben maar weinig effect gehad.

Theorieën en methoden uit de gedragswetenschappen betreden steeds nadrukkelijker de beleidsscene. Gedragsinzichten en nudging beloven beleid te verrijken en te versterken. Het begin van deze gedragswetenschappelijke omslag of behavioural turn laat men doorgaans samenvallen met de publicatie van het boek Nudge van Richard Thaler en Cass Sunstein in 2008. In dit artikel plaatsen we nudging in perspectief en argumenteren we dat het concept zowel een zegen als een vloek betekent, en zowel een katalysator als een rem is voor de bredere toepassing en verankering van gedragsinzichten in beleid. Ondanks het aantrekkelijke narratief botst nudging op functionele limieten en ethische bezwaren. Om de gedragswetenschappelijke, experimentele en evidence-based beleidsbeloften alsnog in te lossen, zien we een strategie van steeds verdere verbreding. Het programma van de Behavioural Insights-beweging op basis van vijf pijlers leek in eerste instantie een oplossing te bieden, maar kampt door een eendimensionale interpretatie met interne spanningen. De nog bredere en ambitieuzere Behavioural Public Policy-agenda biedt nieuwe perspectieven, maar moet op functioneel en ethisch vlak nog verder onderbouwd worden.

Naar aanleiding van 25 jaar Vereniging voor Beleidsonderzoek staat dit artikel stil bij de rol van beleidsonderzoek. Het belang daarvan wordt nogal eens onderschat – zowel door beleidsmakers als onderzoekers zelf. Vanuit een wat breder perspectief bezien blijkt het voor de huidige samenleving – getypeerd als ‘een pragmacratie’ – echter een onmisbare functie te vervullen. Beleid en praktijk zijn vaak indirect gebaseerd op wetenschappelijke concepten, onderzoeksresultaten en toekomstverkenningen. Vooral de sociale wetenschappen maken zichtbaar wat mogelijk is, en beleidsonderzoek doet dat dan ook nog eens op een tijdige, oplossingsgerichte manier. Daarbij zijn er verschillende manieren om impact te hebben, waarbij de beleidsonderzoeker moet vasthouden aan zijn onafhankelijkheid en controleerbaarheid.
Dit artikel is een uitwerking van de lezing van Hans Boutellier op het VBO-congres op 7 november 2019 en is gebaseerd op het gelijknamige hoofdstuk uit Het seculiere experiment: Over westerse waarden in radicale tijden (herziene versie, 2019). Zie ook het essay van Peter van Hoesel, Beleidsonderzoek in de periode 1970-1995, Beleidsonderzoek Online februari 2020.

Q-methodologie is een nog relatief onbekende onderzoeksmethode, met veel potentieel voor beleidsonderzoek en -analyse. De benaderingen, doelen en onderzoeksvragen in verschillende toepassingen lopen uiteen, maar vertonen ook duidelijke overeenkomsten. In dit artikel beschrijven we de belangrijkste theoretische en analytische bouwstenen van de methode, en een praktijkgericht 10-stappenplan waarmee men snel zelf aan de slag kan met Q-methodologie. Op basis van een aantal toepassingen van Q-methodologie in Nederland en Vlaanderen laat dit artikel op inzichtelijke wijze zien wat Q-methodologie toevoegt aan de toolbox van beleidsonderzoekers. Naast de theoretische achtergrond van de methode biedt deze bijdrage een praktisch stappenplan voor het gebruik van de methode in de praktijk.

Beleidsevaluatie richt zich steeds naar informatiebehoeften en technische mogelijkheden. Hierdoor is het gebruik van cijfermatige informatie toegenomen. Met name bestaande data worden, met steeds betere analysetechnieken, ingezet omdat ze beschikbaar zijn en relatief goedkoop. Dit gaat echter ten koste van de validiteit en diepgang van onderzoek. Dat is in zekere zin een regressie, een achteruitgang. We zien echter ook progressie in het beleidsonderzoek. In de eerste plaats komt er steeds meer belangstelling voor de zogenoemde mixed methods-benadering. Ten tweede is er een groeiende belangstelling voor participerende, interactieve en responsieve vormen van onderzoek. Er ontstaat weer meer oog voor de wereld achter de cijfers, het hoe en waarom van beleid, en vooral voor de mensen in die wereld.

Maar liefst drie onderzoekscommissies brachten een rapport uit over de vermeende politieke beïnvloeding en sturing van onderzoek op het WODC van het ministerie van Justitie en Veiligheid. Maar uit het rapport van de commissie-Hertogh, die de kwestie in een breder perspectief moest plaatsen, komt geen eenduidig beeld naar voren van de ernst, omvang en oorzaken van de problematiek. Deze commissie verzuimt om een grondige analyse te maken van de achtergronden van de kwestie. Ook de methodologie van het onderzoek van de commissie-Hertogh rammelt, op zijn zachtst gezegd. En de aanbevelingen van deze commissie gaan voorbij aan het belang van interactie tussen beleidsmakers en onderzoekers. Het rapport voldoet niet aan de kwaliteitseisen die je aan beleidsonderzoek kunt stellen. Dat is spijtig: de WODC-affaire had beter onderzoek verdiend.

In Nederland komen tal van wicked problems (WP) voor. Ze worden ook wel aangeduid als weerbarstige problemen. Kenmerkend is het unieke karakter, het feit dat kennis over probleemaspecten beperkt is en verschillende perspectieven op een probleem en meerdere waardenoriëntaties een rol spelen. Naast cognitieve en normatieve complexiteit bestaat er ook nog sociale complexiteit. WPs zoals voetbalvandalisme spelen zich af in een beleidsnetwerk met tal van elkaar afhankelijke actoren. Kennis, preferenties, handelingsvermogen en middelen blijken gespreid en niet in de hand van één actor. Om toch tot een bevredigend resultaat te komen moeten de actoren gezamenlijk optrekken. Daarom is interorganisationeel netwerkmanagement en deliberatie met burgers een wenselijke responsestrategie. Bij WPs zijn actoren dus tot elkaar veroordeeld. Centralistische besluitvorming werkt niet. Een centrale actor kan overigens nog wel een rol vervullen als initiator, facilitator of regisseur van overleg en discussie; als arbiter bij botsende perspectieven; of beslisser na netwerkberaad en inbreng van burgers.

Gemeenten ondersteunen, onder andere met subsidies, maatschappelijke initiatieven. Met die subsidies zijn landelijk miljoenen euro’s gemoeid. De maatschappelijke effecten van initiatieven worden niet of slechts globaal onderzocht. Een van de argumenten om dit te rechtvaardigen luidt: als er genoeg draagvlak in een wijk of dorp is, moet een initiatief wel maatschappelijke meerwaarde hebben.
Een besluit om subsidie te verstrekken resulteert in een transactie tussen gemeente en initiatiefnemers. Met behulp van de transactiekostentheorie en de welvaartstheorie worden in deze bijdrage subsidievoorwaarden geanalyseerd. Hieruit blijkt dat de subsidievoorwaarden in de bestudeerde subsidieregelingen de transactiekosten voor partijen beperken, maar dat zelfs bij voldoende draagvlak een initiatief nog niet een maatschappelijke meerwaarde hoeft te hebben.

Een lerende evaluatie combineert leren en verantwoorden. Deze methode past bij complexe beleidsopgaven, waar meerdere actoren en overheden bij betrokken zijn die een behoefte hebben om te leren van elkaars ervaringen. In de evaluatie van het Natuurpact is deze methode op nationale schaal voor het gedecentraliseerde natuurbeleid toegepast. Uit deze casus blijkt dat een succesvolle toepassing vraagt om een voortdurende en zorgvuldige aansluiting van het onderzoek op de beleidspraktijk. Dit is nodig voor het betrekken van en interactie met stakeholders, het combineren van leren en verantwoorden, de wetenschappelijke onafhankelijkheid, het bestuurlijk mandaat en de beheersbaarheid van het onderzoek.

Het ontwikkelen van succesvol overheidsbeleid vraagt om een systematische benutting van kennis uit wetenschap én praktijk. In dit artikel wordt beschreven op welke manier die systematische benutting kan worden bewerkstelligd. Als de afstand tussen kennis en beleidsontwikkeling kan worden verkleind en tevens wordt gekozen voor een proces van open beleidsontwikkeling, zal de benutting van kennis tijdens het beleidsproces beter verlopen. Daarbij dienen tegelijkertijd diverse voorwaarden te worden gesteld aan een adequate programmering van het corresponderende beleidsonderzoek.

Het is nog een twistpunt of rekenkamercommissies met raadsleden in de wet mogelijk blijven. Deze bewijzen evenwel continu hun effectiviteit en toegevoegde waarde in het lokale bestuurlijke bestel. Ook, en misschien juist, in politiek gevoelige situaties. Dat wordt in dit artikel aangetoond aan de hand van de casus van het zogenoemde gronddossier Palmen in Brunssum. De ophef over een integriteitskwestie rond de wethoudersbenoeming van Palmen in oktober 2017 reikte tot ver buiten de gemeentegrenzen, tot in Den Haag aan toe. Op verzoek van de raad heeft de rekenkamercommissie Brunssum de feiten van het dossier gereconstrueerd met stukken en gebeurtenissen die gerelateerd waren aan een grondtransactie uit 1976. Door een vooronderzoek uit te voeren, scherp te blijven op de grenzen van de taak van de rekenkamercommissie en de opdracht, en waarborgen in het onderzoeksproces in te bouwen kon de rekenkamercommissie het onderzoek adequaat uitvoeren. Daarmee werd de raad in staat gesteld eigenstandig zijn mening te vormen over een complex dossier en daarmee indirect over de betreffende integriteitskwestie.

In 2015 is de Regeling Periodiek Evaluatieonderzoek (RPE) ingevoerd, met vier methodologische kwaliteitscriteria waaraan beleidsdoorlichtingen moeten voldoen en waarop een onafhankelijk deskundige toetst. Uit een verkennende analyse van 164 beleidsdoorlichtingen van 2006 tot en met 2017 blijkt een kwart hieraan te voldoen. Sinds 2015 is de kwaliteit van beleidsdoorlichtingen niet verbeterd, noch is er meer inzicht in doelmatigheid en doeltreffendheid. De invoering van kwaliteitscriteria en de onafhankelijke toetsing daarop resulteren mogelijk, maar niet gegarandeerd in betere beleidsdoorlichtingen. De RPE blijkt geen werkbaar instrument om beleid door te lichten. Het beantwoorden van doorlichtingsvragen is onmogelijk bij gebrek aan onderliggend evaluatiemateriaal en resulteert in antwoorden die weinig inzicht geven in het beleid. Verruiming is nodig: de RPE moet stimuleren om via diverse wegen en soorten informatie te komen tot een gefundeerde onderbouwing van beleidseffecten. Richtinggevend, niet dwingend. Syntheseonderzoek volstaat niet, aanvullend onderzoek is nodig. De onafhankelijk deskundige moet vooral methodologisch expert zijn en vroegtijdiger worden betrokken bij de beleidsdoorlichting.

De digitalisering van de samenleving heeft verschillende gevolgen voor de overheid en overheidsbeleid. Eén daarvan heeft betrekking op de manier waarop beleidsanalyse kan worden gebruikt. In deze bijdrage worden de mogelijkheden van meer adaptieve vormen van beleidsanalyse verkend, waarbij beleidsvoerders stap voor stap en op basis van informatie uit het beleidsproces proberen meer over de beleidsuitvoering te leren. Die vorm van beleidsanalyse, die op een aantal punten afwijkt van eerdere vormen, heeft gevolgen voor de organisatie van de overheid maar ook voor de wijze waarop het toezicht moet worden ingericht. Dat levert interessante vragen en spanningen op voor de ‘digitale’ overheid.

De preoccupatie met evidence based beleid miskent de exploratieve waarde van wetenschap voor beleid. In veel en de meest uitdagende beleidsprocessen, zoals de grote transities aangaande energie, zorg, landbouw en circulaire economie, moet de overheid beslissingen in onzekerheid nemen. Het beleidsonderzoek zou zich minder moeten bezighouden met wat zeker is en meer met wijs handelen in onzekerheid. Wetenschappers kunnen de besluitruimte voor politici duiden, en kunnen aangeven wat mogelijk effectieve maatregelen zijn. Dit bescheiden, voorzichtig aftasten van de werkelijkheid vereist arena’s waar wetenschap, bestuurders en volksvertegenwoordigers in gesprek zijn over de toepassing van wetenschappelijke inzichten in de praktijk van het hier en nu. Op diverse plekken in Nederland wordt geëxperimenteerd met dergelijke arena’s.

Er is de laatste tijd veel aandacht voor het omgaan met onzekerheid en dynamiek in beleid. Zo is er recent de roep om leren door doen, door een overheid die samen met de samenleving het experiment aan durft te gaan. Zo’n benadering van beleid als gezamenlijk experiment is veelbelovend, maar vergt ook passende methoden voor beleidsevaluaties. Adaptief beleid speelt hierop in. De laatste jaren is een belangrijke stap gezet in de ontwikkeling van methoden waarmee adaptief beleid ontwikkeld kan worden. Voor de evaluatie en de rol van evaluaties heeft dit belangrijke implicaties. In dit artikel wordt hierop verder ingegaan, op basis van ervaringen met adaptief beleid en beleidsevaluatie binnen het Nederlandse Deltaprogramma.

Dit essay is een reactie vanuit het ministerie van Sociale Zaken en Werkgelegenheid op de column ‘Beleidsevaluatie als ritueel’ van Peter van Hoesel (BO januari 2017).