Hoeveel nieuwe methoden en technieken van sociaalwetenschappelijk onderzoek zijn er sinds de jaren zestig van de vorige eeuw bij gekomen? Moderne ICT heeft het allemaal wel sneller en makkelijker gemaakt, maar in wezen gaat het nog steeds om dezelfde methoden, wellicht op een enkele uitzondering na. Maar misschien levert deze column reacties op die dit tegenspreken.

Onder redactie van B. Guy Peters en Guillaume Fontaine verscheen in 2020 bij EE Publishers een handboek over vergelijkende beleidsanalyse. Dit terrein van onderzoek heeft stevige raakvlakken met beleidsevaluatie en beleidsanalyses (als die niet-vergelijkend zijn). Een breed en interessant spectrum van onderwerpen komt aan de orde, onder andere over methodologie(en), de rol van theorieën, diverse inhoudelijke onderwerpen en – voor wie het breed wil interpreteren – zelfs de groei van kennis op dit specialisme.

In maart 2020 verscheen het boek Beleidsevaluatie in theorie en praktijk van Peter van der Knaap, Valérie Pattyn en Dick Hanemaayer. Joost Fledderus bespreekt de inhoud van het boek en geeft aan welke meerwaarde het biedt voor (aankomende) beleidsonderzoekers.

Beleidsonderzoek is een vak dat in de afgelopen vijftig jaar geleidelijk is ontwikkeld tot een echte professie. In dit essay wordt de eerste helft van deze periode beschreven en op diverse punten vergeleken met de huidige situatie. De terugblik bestaat uit drie onderdelen: professionalisering; relatie met opdrachtgevers; ambachtelijke aspecten.

Overheidsbeleid heeft steeds meer te maken met digitalisering en data-ificering van de samenleving en het menselijk gedrag. Dat betekent uitdagingen voor beleidsevaluatoren. In dit artikel gaat het om éen van de daarmee gepaard gaande verschijnselen: Big Data en Artificiële Intelligentie (BD/AI). Het artikel stelt, na erop gewezen te hebben dat de evaluatieprofessie langere tijd niet erg actief op digitaal gebied is geweest, ten eerste de vraag wat BD/AI te bieden hebben aan evaluatieonderzoek van (digitaal) beleid. Vijf toepassingsmogelijkheden worden besproken die de kwaliteit, bruikbaarheid en relevantie van evaluatieonderzoek kunnen bevorderen. De tweede vraag is wat evaluatieonderzoek te bieden heeft, als het gaat om het analyseren/onderzoeken van de betrouwbaarheid, validiteit en enkele andere aspecten van Big Data en AI. Ook daar worden verschillende mogelijkheden (en moeilijkheden) geschetst. Naar het oordeel van de schrijver is het enerzijds dienstig (meer) gebruik te maken van BD/AI in evaluatieonderzoek, maar doen onderzoekers er ook goed aan (meer) aandacht uit te laten gaan naar: de assumpties die aan BD/AI ten grondslag liggen (inclusief het ‘black box’-probleem); de validiteit, veiligheid en geloofwaardigheid van algoritmes; de bedoelde en onbedoelde consequenties van het gebruik ervan; én de vraag of de claims dat digitale interventies die mede gebaseerd zijn op BD/AI effectief (of effectiever zijn dan andere), onderbouwd en valide zijn.

Maar liefst drie onderzoekscommissies brachten een rapport uit over de vermeende politieke beïnvloeding en sturing van onderzoek op het WODC van het ministerie van Justitie en Veiligheid. Maar uit het rapport van de commissie-Hertogh, die de kwestie in een breder perspectief moest plaatsen, komt geen eenduidig beeld naar voren van de ernst, omvang en oorzaken van de problematiek. Deze commissie verzuimt om een grondige analyse te maken van de achtergronden van de kwestie. Ook de methodologie van het onderzoek van de commissie-Hertogh rammelt, op zijn zachtst gezegd. En de aanbevelingen van deze commissie gaan voorbij aan het belang van interactie tussen beleidsmakers en onderzoekers. Het rapport voldoet niet aan de kwaliteitseisen die je aan beleidsonderzoek kunt stellen. Dat is spijtig: de WODC-affaire had beter onderzoek verdiend.

Gemeenten ondersteunen, onder andere met subsidies, maatschappelijke initiatieven. Met die subsidies zijn landelijk miljoenen euro’s gemoeid. De maatschappelijke effecten van initiatieven worden niet of slechts globaal onderzocht. Een van de argumenten om dit te rechtvaardigen luidt: als er genoeg draagvlak in een wijk of dorp is, moet een initiatief wel maatschappelijke meerwaarde hebben.
Een besluit om subsidie te verstrekken resulteert in een transactie tussen gemeente en initiatiefnemers. Met behulp van de transactiekostentheorie en de welvaartstheorie worden in deze bijdrage subsidievoorwaarden geanalyseerd. Hieruit blijkt dat de subsidievoorwaarden in de bestudeerde subsidieregelingen de transactiekosten voor partijen beperken, maar dat zelfs bij voldoende draagvlak een initiatief nog niet een maatschappelijke meerwaarde hoeft te hebben.

Het ontwikkelen van succesvol overheidsbeleid vraagt om een systematische benutting van kennis uit wetenschap én praktijk. In dit artikel wordt beschreven op welke manier die systematische benutting kan worden bewerkstelligd. Als de afstand tussen kennis en beleidsontwikkeling kan worden verkleind en tevens wordt gekozen voor een proces van open beleidsontwikkeling, zal de benutting van kennis tijdens het beleidsproces beter verlopen. Daarbij dienen tegelijkertijd diverse voorwaarden te worden gesteld aan een adequate programmering van het corresponderende beleidsonderzoek.

De Operatie Inzicht in Kwaliteit van het kabinet-Rutte III moet leiden tot beter overheidsbeleid door de kennis over de doeltreffendheid en doelmatigheid te vergroten en het evaluatiestelsel te verbeteren. De Operatie moet een cultuuromslag realiseren, niet via verplichte voorschriften maar via intrinsieke betrokkenheid. Zo’n Operatie kost veel tijd en geld en kent een politiek risico. Zolang het uitgangspunt blijft dat effectiever overheidsbeleid te realiseren is door meer aandacht voor doelmatigheid en doeltreffendheid, is de kans op verbetering klein. De uitvoerbaarheid en aanvaardbaarheid van beleid in de praktijk blijven dan te veel uit het zicht, en daarmee ook de werkelijke effectiviteit van beleid. Het institutionaliseren van ook deze twee criteria via een vernieuwde Regeling Periodiek Evaluatieonderzoek (RPE) zal resulteren in beter beleid en politieke verantwoording. De cultuuromslag ontstaat vanzelf wanneer de vernieuwde RPE een vanzelfsprekende manier van werken wordt. Een cultuuromslag is wel degelijk te realiseren met een voorschrift. Eenvoudiger, sneller, goedkoper en met minder politiek risico.

Bij bijvoorbeeld de bouw van een gemeentelijk multifunctioneel centrum of de aanschaf van een nieuw computersysteem wordt bijna standaard om een business case gevraagd, om daarmee een zakelijke rechtvaardiging van de te nemen beslissing te verschaffen: nut en noodzaak moeten goed uit de doeken worden gedaan. Dit artikel presenteert de eerste resultaten van een zoektocht naar de (vermeende) kwaliteiten van dit besluitvormingsinstrument. Als ijkpunt voor het praktische gebruik van de business case wordt een nieuw ideaaltype van de business case geconstrueerd. De bestaande definities bieden daarvoor afzonderlijk onvoldoende houvast. Aan de hand van het ideaalmodel wordt vervolgens onderzocht hoe de business case in het publieke debat wordt gebruikt. Het datamateriaal bestaat uit 244 nieuwsberichten uit binnen- en buitenland over uiteenlopende business cases. Het artikel laat zien dat de business case sterk in opkomst is en zijn weg vindt in een divers palet van maatschappelijke thema’s en sectoren. Kwalitatieve argumenten voeren sterk de boventoon ten opzichte van cijfermatige inzichten. De belangrijkste kracht van de business case in het publieke domein ligt in het gegeven dat zowel de belangen van initiatiefnemers en bestuurders als van andere stakeholders worden benoemd.

Een lerende overheid heeft behoefte aan beleidsevaluaties die niet alleen van betekenis zijn voor het onderwerp waarop deze primair gericht zijn, maar ook bijdragen aan bredere, systematische opbouw van kennis en ervaring. Het interdepartementaal verbinden van expertise verruimt daarbij het zicht op factoren die het leren bevorderen of belemmeren.
Een centrale vraag is of de door het beleid beoogde publieke belangen inderdaad bevorderd worden. Beleidsevaluatie moet dan niet alleen gericht zijn op effectiviteit en doelmatigheid ten aanzien van relatief gemakkelijk meetbare indicatoren, maar ook op lastig te kwantificeren essentiële waarden zoals subjectief welzijn, rechtvaardigheid en maatschappelijke aanvaardbaarheid. Het verdient aanbeveling kostbare evaluatie-energie te concentreren op belangrijke kwesties waarover vooraf discussie of onzekerheid bestaat.
Uit een oogpunt van doelmatige beleidsvoorbereiding, en omdat de uitwerking van wetgeving en beleid ex post niet altijd eenvoudig is vast te stellen, is veel aandacht nodig voor ex ante evaluatie. Van onderzoek naar werkingsmechanismen van beleidsmaatregelen wordt in dit verband terecht veel verwacht.
Er is sprake van een paradoxaal spanningsveld tussen verwetenschappelijking en politisering van beleid. Daarom is stevig verankerde, onafhankelijke en onpartijdige beleidsevaluatie onmisbaar. Hoge methodologische kwaliteit biedt extra houvast om deze functie geloofwaardig te kunnen vervullen.
In het streven naar systematische opbouw van kennis en ervaring naast dossier-specifieke doelbereiking kan het helpen als evaluaties zowel een specifiek als een breder geldend algemeen deel bevatten. Belangrijk is ook te sturen op een evenwichtige evaluatieportfolio per beleidsterrein, met aandacht voor ex ante en ex post methoden, uiteenlopende waarden, en verschillende informatiebronnen. Naast best practices moet daarbij ook minder geslaagd beleid in beeld worden gebracht. Voor de bruikbaarheid van evaluaties voor de praktijk is goede vertegenwoordiging van het bottom-up perspectief noodzakelijk.
Evaluatie van beleid vereist gedegen inbedding binnen de nationale kennisinfrastructuur, effectieve samenwerking met kennisinstellingen en het up-to-date houden van het evalueren zelf. Dat is cruciaal voor het evaluatievermogen van de lerende overheid.

De meerwaarde van lokale rekenkamers is nog niet vanzelfsprekend. In dit artikel betogen de auteurs dat deze wordt beïnvloed door drie factoren: de relatie met de andere spelers in het lokale politiek-bestuurlijke krachtenveld, de kwaliteit van hun werk, en de processen waarmee dat werk een plaats krijgt in de gemeentelijke beleids- en besluitvorming. De ultieme meerwaarde van lokale rekenkamers zoeken zij niet in de onafhankelijkheid van de rekenkamer of in diens onderzoeken an sich, maar in de onzichtbare beïnvloeding van beleids- en besluitvorming door de robuuste positie van het instituut, in termen van onder meer waardering, gezag en vanzelfsprekendheid; een positie die wordt beïnvloed door bovengenoemde drie factoren. De toekomstige opgave voor gemeenteraden en rekenkamers ligt er dan ook in om verder te kijken dan de structuur, en met elkaar het gesprek over de rekenkamer te voeren op de punten relatie, kwaliteit en proces.

Achterliggende motieven en overwegingen van Nederlandse overheidsbesturen om dan wel en dan weer niet te kiezen voor publiek-private samenwerking (PPS) bij infrastructurele projecten bleven tot voor kort onduidelijk. Diverse kabinetten predikten sinds het midden van de jaren tachtig uit de vorige eeuw weliswaar publiek-private samenwerking, maar daarmee was PPS nog geen feit. Wisselende (macro-)motieven werden in nota’s opgevoerd om PPS onvermijdelijk te maken, waarbij financiële meerwaarde een constante was, maar dat bleek niet genoeg. Per project wisselende (micro-)motieven moesten de gewenste PPS-keuze rechtvaardigen, waaronder ook niet-politieke motieven. Het bereiken van financiële meerwaarde bleek wel een officieel doel of motief, maar was in de praktische besluitvorming lang niet altijd de enige relevante factor. Dit betekent dat de stelling dat financiële meerwaarde juist bepalend is, niet volledig blijkt te sporen met de PPS-praktijk. Sterker gesteld, bestuurlijke afwegingen blijken vaak bepalender voor keuzen pro of contra PPS bij rijksinfrastructurele projecten, of ook van grote invloed.

De laatste jaren is de beleidsmatige en wetenschappelijke aandacht voor ex ante onderzoek toegenomen. De vraag is of dit ook is terug te zien in het aantal studies naar concrete plannen, en in het gebruik van de uitkomsten van ex ante studies in de beleidsontwikkeling. Om dit na te gaan verrichtten we een metastudie van ex ante onderzoeken over beleid op rijksniveau, verschenen in de periode 2005 tot en met 2011. In deze bijdrage beschrijven we eerst hoe vaak en met welk doel ex ante onderzoek wordt verricht en om wat voor typen studies het gaat. Daarna nemen we het gebruik in het beleidsontwikkelings- en besluitvormingsproces onder de loep door in te zoomen op vijf ex ante onderzoeken. Een eerste conclusie is dat er inmiddels een aanzienlijk aantal ex ante studies is verschenen; een tweede dat in alle vijf casus het onderzoek belangrijke actoren in het beleidsproces bereikt heeft, maar dat de uitkomsten niet altijd doorklinken in het uiteindelijke beleid.

Achter opdrachtresearch gaat de veronderstelling schuil dat de tussen- en eindresultaten van beleidsonderzoek vroeg of laat ook benut worden en onderdeel worden van een proces van bezinning op beleid. Dit artikel handelt hierover. Diverse aspecten van benutting van onderzoek komen aan bod, zoals de definitie en vormen van benutting. Er worden vier richtingen onderscheiden om de omvang en vorm van benutting of onderbenutting op te sporen. Het artikel geeft voorts verklaringen voor achterblijvende benutting en bevat adviezen om te komen tot meer benutting. Voor ambtenaren, bestuurders en partners in beleidsnetwerken biedt deze beschouwing aanknopingspunten om researchresultaten desgewenst beter te benutten. En voor onderzoekers bevat dit artikel tal van aanzetten tot hypothesevorming voor verder onderzoek.

Dit artikel bevat een uitvoerige samenvatting en een beoordeling van een nieuw boek van Furubo, Rist en Speer met als (in het Nederlands vertaalde) titel: ‘Evaluatie in turbulente tijden. Reflecties op een discipline in verwarring’. De aanleiding voor dit boek is dus de opvatting dat de meeste politieke en bestuurlijke contexten voor beleidsevaluatie zo sterk in beweging zijn geraakt dat ex-post beleidsevaluatie als discipline en vanzelfsprekend onderdeel van het proces van beleidsondersteuning in crisis is geraakt en bedreigd wordt. In het kort geeft dit boek als antwoord op deze dreiging: relativeer het ideaal van ‘evidence-based’ beleid, en ga voor ‘real-time’ evaluatie; verleg uw aandacht van ex-post evaluatie ten behoeve van verantwoording achteraf naar ex-ante evaluatie tijdens de beleidsformulering en ex-durante evaluatie parallel aan de beleidsimplementatie, met als doelen: ‘early warning’, beleidsleren, en flexibel reageren op snel veranderende omstandigheden. Natuurlijk heeft dat gevolgen voor rolopvattingen en taakverdelingen in de procesarchitectuur van het beleidsproces.

De verwachtingen over de sociale wijkteams zijn hooggespannen. Menig gemeente ziet het inzetten van de teams als dé nieuwe oplossing in de aanpak van sociale problematiek en de uitdagingen waarvoor zij komen te staan met de transities en bezuinigingen. Tientallen gemeenten hebben in een kort tijdsbestek dergelijke teams ingesteld en nog meer zullen volgen. Maar wat beogen de diverse gemeenten nu precies met de wijkteams? Waar moet hun meerwaarde uit bestaan in de dienstverlening naar (kwetsbare) burgers? Geven gemeenten via de wijkteams invulling en kleur aan de decentralisatie van zorg- en welzijnstaken?

In de rationele benadering wordt beleid planmatig ontwikkeld en uitgevoerd: beleidsdoelen vormen het uitgangspunt en via kennis en informatie wordt gezocht naar middelen om die doelen te bereiken. Beleidsonderzoekers zou je dan ook kunnen beschouwen als ultieme aanhangers van een rationele benadering van beleid. Zij hanteren in hun werk logische redeneringen met betrekking tot feiten, opinies en waarnemingen om tot hun conclusies te komen. De conclusies van beleidsonderzoekers worden echter lang niet altijd opgevolgd door hun opdrachtgevers. Je hoeft niet ver te zoeken naar verklaringen om te zien hoe dat komt.

Internationaal stijgt de aandacht voor evidence-based policy (EBP); de term duikt steeds vaker op in het beleidsdiscours. Het empirisch onderzoek naar kennisgebruik en doorwerking van wetenschappelijk onderzoek is evenwel eerder gelimiteerd, al bestaat er consensus dat de doorwerking van sociaalwetenschappelijk onderzoek beperkt is. De vraag stelt zich of het recente EBP-discours hierin verandering kan brengen. Kan EBP leiden tot meer doorwerking van sociaalwetenschappelijk onderzoek, gelet op de inherente kenmerken van beleid en wetenschappelijk onderzoek die belangrijke obstakels blijken te vormen voor kennisgebruik en doorwerking? Kunnen we in Vlaanderen reeds spreken over een EBP? Wat verstaan beleidsmakers onder ‘evidence-based’? Is een EBP überhaupt mogelijk? Wat zijn de belangrijkste obstakels voor kennisgebruik volgens beleidsmakers en wat zijn de belangrijkste gebruiksverhogende factoren? In dit artikel wordt aan de hand van een literatuurstudie, een bevraging van (Vlaamse) beleidsmakers en een citaats- en inhoudsanalyse van Vlaamse parlementaire bronnen gepoogd een antwoord te bieden op deze vragen.