In dit artikel gaan we in op de aanleiding voor het onderzoek dat wij in 2016 uitvoerden naar het programma Stad en Regio van de provincie Gelderland en de uitkomsten van het onderzoek. Daarnaast laten we zien hoe we hebben ingezet op de doorwerking van het onderzoek, ook buiten het provinciehuis. Die doorwerking leidde uiteindelijk tot het winnen van de Goudvink, de prijs voor het beste rekenkamerrapport.

In Nederland komen tal van wicked problems (WP) voor. Ze worden ook wel aangeduid als weerbarstige problemen. Kenmerkend is het unieke karakter, het feit dat kennis over probleemaspecten beperkt is en verschillende perspectieven op een probleem en meerdere waardenoriëntaties een rol spelen. Naast cognitieve en normatieve complexiteit bestaat er ook nog sociale complexiteit. WPs zoals voetbalvandalisme spelen zich af in een beleidsnetwerk met tal van elkaar afhankelijke actoren. Kennis, preferenties, handelingsvermogen en middelen blijken gespreid en niet in de hand van één actor. Om toch tot een bevredigend resultaat te komen moeten de actoren gezamenlijk optrekken. Daarom is interorganisationeel netwerkmanagement en deliberatie met burgers een wenselijke responsestrategie. Bij WPs zijn actoren dus tot elkaar veroordeeld. Centralistische besluitvorming werkt niet. Een centrale actor kan overigens nog wel een rol vervullen als initiator, facilitator of regisseur van overleg en discussie; als arbiter bij botsende perspectieven; of beslisser na netwerkberaad en inbreng van burgers.

Gemeenten ondersteunen, onder andere met subsidies, maatschappelijke initiatieven. Met die subsidies zijn landelijk miljoenen euro’s gemoeid. De maatschappelijke effecten van initiatieven worden niet of slechts globaal onderzocht. Een van de argumenten om dit te rechtvaardigen luidt: als er genoeg draagvlak in een wijk of dorp is, moet een initiatief wel maatschappelijke meerwaarde hebben.
Een besluit om subsidie te verstrekken resulteert in een transactie tussen gemeente en initiatiefnemers. Met behulp van de transactiekostentheorie en de welvaartstheorie worden in deze bijdrage subsidievoorwaarden geanalyseerd. Hieruit blijkt dat de subsidievoorwaarden in de bestudeerde subsidieregelingen de transactiekosten voor partijen beperken, maar dat zelfs bij voldoende draagvlak een initiatief nog niet een maatschappelijke meerwaarde hoeft te hebben.

Een lerende evaluatie combineert leren en verantwoorden. Deze methode past bij complexe beleidsopgaven, waar meerdere actoren en overheden bij betrokken zijn die een behoefte hebben om te leren van elkaars ervaringen. In de evaluatie van het Natuurpact is deze methode op nationale schaal voor het gedecentraliseerde natuurbeleid toegepast. Uit deze casus blijkt dat een succesvolle toepassing vraagt om een voortdurende en zorgvuldige aansluiting van het onderzoek op de beleidspraktijk. Dit is nodig voor het betrekken van en interactie met stakeholders, het combineren van leren en verantwoorden, de wetenschappelijke onafhankelijkheid, het bestuurlijk mandaat en de beheersbaarheid van het onderzoek.

Het ontwikkelen van succesvol overheidsbeleid vraagt om een systematische benutting van kennis uit wetenschap én praktijk. In dit artikel wordt beschreven op welke manier die systematische benutting kan worden bewerkstelligd. Als de afstand tussen kennis en beleidsontwikkeling kan worden verkleind en tevens wordt gekozen voor een proces van open beleidsontwikkeling, zal de benutting van kennis tijdens het beleidsproces beter verlopen. Daarbij dienen tegelijkertijd diverse voorwaarden te worden gesteld aan een adequate programmering van het corresponderende beleidsonderzoek.

Het is nog een twistpunt of rekenkamercommissies met raadsleden in de wet mogelijk blijven. Deze bewijzen evenwel continu hun effectiviteit en toegevoegde waarde in het lokale bestuurlijke bestel. Ook, en misschien juist, in politiek gevoelige situaties. Dat wordt in dit artikel aangetoond aan de hand van de casus van het zogenoemde gronddossier Palmen in Brunssum. De ophef over een integriteitskwestie rond de wethoudersbenoeming van Palmen in oktober 2017 reikte tot ver buiten de gemeentegrenzen, tot in Den Haag aan toe. Op verzoek van de raad heeft de rekenkamercommissie Brunssum de feiten van het dossier gereconstrueerd met stukken en gebeurtenissen die gerelateerd waren aan een grondtransactie uit 1976. Door een vooronderzoek uit te voeren, scherp te blijven op de grenzen van de taak van de rekenkamercommissie en de opdracht, en waarborgen in het onderzoeksproces in te bouwen kon de rekenkamercommissie het onderzoek adequaat uitvoeren. Daarmee werd de raad in staat gesteld eigenstandig zijn mening te vormen over een complex dossier en daarmee indirect over de betreffende integriteitskwestie.

Alhoewel het gebruik van beleidsevaluaties (of het gebrek eraan) een van de meest besproken thema’s is in de evaluatieliteratuur, berust veel onderzoek over het thema enkel op anekdotisch bewijs, en zijn er nauwelijks studies beschikbaar die aandacht hebben voor de samenhang tussen verschillende factoren die impact kunnen hebben op het gebruik. In voorliggend artikel presenteren we de resultaten van een studie waarin we hebben getracht om op een systematische wijze inzicht te bieden in de combinaties van factoren die instrumenteel gebruik van beleidsevaluaties bevorderen of verhinderen. We onderzochten in dit verband alle evaluaties die in de periode 2013-2016 werden uitgevoerd bij de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie. Via Qualitative Comparative Analysis (QCA) bekeken we welke combinaties van de volgende factoren als noodzakelijk en/of voldoende bleken voor evaluatiegebruik: (1) politiek gehalte van het onderwerp, (2) interesse van de beleidsmakers, (3) aanwezigheid van nieuwe kennis in de evaluatie, en (4) de timing van de evaluatie.
Voor de praktijk van beleidsmakers en evaluatoren benadrukken we het belang van tijdigheid en interesse voor een evaluatie. Onze analyse laat zien dat professionals die op deze factoren inzetten, een gunstig klimaat creëren voor het gebruik van evaluaties. Wat betreft tijdigheid lijkt het van belang de evaluatie te laten sporen met het schrijfwerk van een beleidsafdeling aan nieuw beleid of grote beleidsveranderingen. Goede anticipatie en een sterke institutionalisering van het evaluatieproces zijn hiertoe cruciaal. Of het thema van de evaluatie een sterke politieke gevoeligheid kent, is minder belangrijk. Mits sprake is van de juiste omgevingscondities, kunnen ook dergelijke evaluaties sterk instrumenteel worden benut.

De digitalisering van de samenleving heeft verschillende gevolgen voor de overheid en overheidsbeleid. Eén daarvan heeft betrekking op de manier waarop beleidsanalyse kan worden gebruikt. In deze bijdrage worden de mogelijkheden van meer adaptieve vormen van beleidsanalyse verkend, waarbij beleidsvoerders stap voor stap en op basis van informatie uit het beleidsproces proberen meer over de beleidsuitvoering te leren. Die vorm van beleidsanalyse, die op een aantal punten afwijkt van eerdere vormen, heeft gevolgen voor de organisatie van de overheid maar ook voor de wijze waarop het toezicht moet worden ingericht. Dat levert interessante vragen en spanningen op voor de ‘digitale’ overheid.

Er is de laatste tijd veel aandacht voor het omgaan met onzekerheid en dynamiek in beleid. Zo is er recent de roep om leren door doen, door een overheid die samen met de samenleving het experiment aan durft te gaan. Zo’n benadering van beleid als gezamenlijk experiment is veelbelovend, maar vergt ook passende methoden voor beleidsevaluaties. Adaptief beleid speelt hierop in. De laatste jaren is een belangrijke stap gezet in de ontwikkeling van methoden waarmee adaptief beleid ontwikkeld kan worden. Voor de evaluatie en de rol van evaluaties heeft dit belangrijke implicaties. In dit artikel wordt hierop verder ingegaan, op basis van ervaringen met adaptief beleid en beleidsevaluatie binnen het Nederlandse Deltaprogramma.

Over eenzelfde beleid circuleren meerdere waarheden. Hoe valt dit te begrijpen? We gaan op verkenning rond ‘frame’ en ‘framing’ als veelgebruikte concepten in beleidsonderzoek. Na scherpstelling leert ons literatuuroverzicht dat een beleidskader idealiter gemarkeerd wordt als stabiel (naar basiselementen van structuur) maar in de praktijk geldt als inherent volatiel (naar voorkomen en effect). Iteratieve en vaak interactieve processen van framing kunnen dit verklaren zoals we aantonen met een case rond de Lokale Integrale VeiligheidsCellen (LIVC’s) in Brussel. Die case illustreert ook dat overheidsactoren zelf framen én met wisselend succes. Dat succes is te wijten aan factoren op individueel en institutioneel niveau en is cruciaal om vandaag te doorgronden. Want weten hoe een (on)waarheid over beleid te maken, is een eerste stap om framing (mogelijk) te kraken of meer te hanteren als tool om diverse frames, en dus finaal ook burgers, beter aan elkaar te haken. De voorbeelden van beleid en onderzoek in deze bijdrage zijn gekozen rond ‘wicked issues’ op diverse niveaus en terreinen van overheidsoptreden in België en elders.

Een gedegen beleidsvoorbereiding kan beleidsfalen voorkomen. Hoewel deze thematiek al jaren aandacht krijgt in de politiek, lukt het de rijksoverheid nog niet hieraan structureel succesvol invulling te geven. In het licht van de recente Tweede Kamer verkiezingen is er hernieuwde aandacht voor samenspraak bij beleid en beleidsexperimenten om te komen tot beter beleid. Het rendement daarvan is naar verwachting beperkt. Ten eerste omdat samenspraak vaak zodanig ingeperkt is, dat de invloed van kennis voor beleid beperkt blijft. Ten tweede omdat wetenschappelijke kennis prevaleert boven de voor beleidseffectiviteit noodzakelijke tacit knowledge. De rijksoverheid kan meer rendement halen uit investeringen in een betere beleidsvoorbereiding, door de structurele afweging tot de inzet van samenspraak en beleidsexperimenten bij nieuw of gewijzigd beleid; verantwoording van deze afweging, alsmede onafhankelijke toetsing van de te verwachten beleidseffectiviteit. Investeringen in handreikingen zijn weinig zinvol. De gemeente Rotterdam geeft een goed voorbeeld.

Nationaal en internationaal staat onderzoek dat maatschappelijk relevant is, wetenschappelijk gezien hoge kwaliteit heeft, en zowel integer als efficiënt wordt uitgevoerd in de schijnwerpers. Het achterliggende idee is dat alleen zo de gewenste maatschappelijke impact kan worden bereikt. Door het bevorderen van verantwoorde onderzoekspraktijken, waarbij er onder andere expliciet aandacht is voor aspecten als stakeholderparticipatie, interdisciplinaire samenwerking, replicatie en systematische reviews, kunnen financiers of programmeurs van onderzoek hieraan bijdragen. In dit artikel wordt een overzicht gegeven van de wijze waarop ZonMw dat doet als kennisprogrammeur op het gebied van het gezondheidsonderzoek. Hiertoe is een toetsingskader ontwikkeld en toegepast op zestien lopende onderzoeksprogramma’s, dat ook voor andere domeinen en actoren betekenis heeft. Een belangrijke aanbeveling is dat ‘verantwoord programmeren’ een eigen kennisbasis behoeft om de toegevoegde waarde ervan te kunnen bepalen. Naast investeringen in metaonderzoek vraagt dat om een goede monitoring en informatievoorziening bij de kennisprogrammeur.

Bedrijven en andere organisaties ontvangen vaak veel enquêtes en klagen over de lastendruk hiervan. Tevens dalen responsaantallen en zijn er zorgen over de kwaliteit van de respons. In dit artikel wordt beschreven wat er gedaan kan worden om de motivatie van bedrijven en organisaties, en hun respondenten, te verhogen om daarmee bij organisatie- en bedrijfsenquêtes de responsaantallen en de responskwaliteit te verbeteren.

Het Rijk evalueert in principe elk beleidsterrein eens in de zeven jaar door middel van een beleidsdoorlichting. Dit is niet eenvoudig. De Handreiking beleidsdoorlichtingen biedt hierbij in de vorm van vele praktische tips de helpende hand.

Bij bijvoorbeeld de bouw van een gemeentelijk multifunctioneel centrum of de aanschaf van een nieuw computersysteem wordt bijna standaard om een business case gevraagd, om daarmee een zakelijke rechtvaardiging van de te nemen beslissing te verschaffen: nut en noodzaak moeten goed uit de doeken worden gedaan. Dit artikel presenteert de eerste resultaten van een zoektocht naar de (vermeende) kwaliteiten van dit besluitvormingsinstrument. Als ijkpunt voor het praktische gebruik van de business case wordt een nieuw ideaaltype van de business case geconstrueerd. De bestaande definities bieden daarvoor afzonderlijk onvoldoende houvast. Aan de hand van het ideaalmodel wordt vervolgens onderzocht hoe de business case in het publieke debat wordt gebruikt. Het datamateriaal bestaat uit 244 nieuwsberichten uit binnen- en buitenland over uiteenlopende business cases. Het artikel laat zien dat de business case sterk in opkomst is en zijn weg vindt in een divers palet van maatschappelijke thema’s en sectoren. Kwalitatieve argumenten voeren sterk de boventoon ten opzichte van cijfermatige inzichten. De belangrijkste kracht van de business case in het publieke domein ligt in het gegeven dat zowel de belangen van initiatiefnemers en bestuurders als van andere stakeholders worden benoemd.

Een lerende overheid heeft behoefte aan beleidsevaluaties die niet alleen van betekenis zijn voor het onderwerp waarop deze primair gericht zijn, maar ook bijdragen aan bredere, systematische opbouw van kennis en ervaring. Het interdepartementaal verbinden van expertise verruimt daarbij het zicht op factoren die het leren bevorderen of belemmeren.
Een centrale vraag is of de door het beleid beoogde publieke belangen inderdaad bevorderd worden. Beleidsevaluatie moet dan niet alleen gericht zijn op effectiviteit en doelmatigheid ten aanzien van relatief gemakkelijk meetbare indicatoren, maar ook op lastig te kwantificeren essentiële waarden zoals subjectief welzijn, rechtvaardigheid en maatschappelijke aanvaardbaarheid. Het verdient aanbeveling kostbare evaluatie-energie te concentreren op belangrijke kwesties waarover vooraf discussie of onzekerheid bestaat.
Uit een oogpunt van doelmatige beleidsvoorbereiding, en omdat de uitwerking van wetgeving en beleid ex post niet altijd eenvoudig is vast te stellen, is veel aandacht nodig voor ex ante evaluatie. Van onderzoek naar werkingsmechanismen van beleidsmaatregelen wordt in dit verband terecht veel verwacht.
Er is sprake van een paradoxaal spanningsveld tussen verwetenschappelijking en politisering van beleid. Daarom is stevig verankerde, onafhankelijke en onpartijdige beleidsevaluatie onmisbaar. Hoge methodologische kwaliteit biedt extra houvast om deze functie geloofwaardig te kunnen vervullen.
In het streven naar systematische opbouw van kennis en ervaring naast dossier-specifieke doelbereiking kan het helpen als evaluaties zowel een specifiek als een breder geldend algemeen deel bevatten. Belangrijk is ook te sturen op een evenwichtige evaluatieportfolio per beleidsterrein, met aandacht voor ex ante en ex post methoden, uiteenlopende waarden, en verschillende informatiebronnen. Naast best practices moet daarbij ook minder geslaagd beleid in beeld worden gebracht. Voor de bruikbaarheid van evaluaties voor de praktijk is goede vertegenwoordiging van het bottom-up perspectief noodzakelijk.
Evaluatie van beleid vereist gedegen inbedding binnen de nationale kennisinfrastructuur, effectieve samenwerking met kennisinstellingen en het up-to-date houden van het evalueren zelf. Dat is cruciaal voor het evaluatievermogen van de lerende overheid.

De meerwaarde van lokale rekenkamers is nog niet vanzelfsprekend. In dit artikel betogen de auteurs dat deze wordt beïnvloed door drie factoren: de relatie met de andere spelers in het lokale politiek-bestuurlijke krachtenveld, de kwaliteit van hun werk, en de processen waarmee dat werk een plaats krijgt in de gemeentelijke beleids- en besluitvorming. De ultieme meerwaarde van lokale rekenkamers zoeken zij niet in de onafhankelijkheid van de rekenkamer of in diens onderzoeken an sich, maar in de onzichtbare beïnvloeding van beleids- en besluitvorming door de robuuste positie van het instituut, in termen van onder meer waardering, gezag en vanzelfsprekendheid; een positie die wordt beïnvloed door bovengenoemde drie factoren. De toekomstige opgave voor gemeenteraden en rekenkamers ligt er dan ook in om verder te kijken dan de structuur, en met elkaar het gesprek over de rekenkamer te voeren op de punten relatie, kwaliteit en proces.

Nederlandse gemeenten baseren zich veelal op de uitkomsten van de Veiligheidsmonitor (VM) om te weten hoe inwoners de veiligheid in hun woonomgeving waarderen. Ze kijken hierbij onder andere naar het rapportcijfer voor de veiligheid in de eigen buurt. Maar is dit eigenlijk wel een bruikbaar cijfer? In dit artikel nemen we het conceptuele model van Oppelaar en Wittebrood (2006) als uitgangspunt voor het uitvoeren van een regressieanalyse om te achterhalen waardoor het rapportcijfer voor veiligheid in de eigen buurt wordt verklaard. Het rapportcijfer blijkt door vele zaken te worden beïnvloed, aangevoerd door de manier waarop bewoners aankijken tegen de omvang van de criminaliteit in de eigen omgeving, de ervaren overlast en het oordeel over de wijk. Vanwege de vele kenmerken die meespelen, zo beargumenteren we, doen gemeenten er verstandig aan om het rapportcijfer niet te gebruiken.

De voorbije vier decennia werden er heel wat studies naar de implementatie van beleid uitgevoerd, maar deze hebben vier belangrijke tekortkomingen: (1) onduidelijke omschrijving van de afhankelijke variabele, (2) te weinig inzicht in de ‘kritieke’ onafhankelijke variabelen en te weinig aandacht voor de wijze waarop deze in combinatie met elkaar het beleidsimplementatieproces beïnvloeden, (3) te laag aantal cases en (4) te weinig aandacht voor hypothesetoetsing. Dit artikel geeft aan hoe het gebruik van Qualitative Comparative Analysis (QCA) (Ragin, 1987) een antwoord kan bieden op deze beperkingen. Deze analysemethode tracht de verschillende causale paden die het beleidsimplementatieproces beïnvloeden te identificeren en de condities of combinaties van condities die noodzakelijk of voldoende zijn in kaart te brengen. Hiervoor wordt gebruikgemaakt van Booleaanse algebra. Door deze en andere specifieke eigenschappen kan QCA leiden tot vernieuwende inzichten in beleidsimplementatieonderzoek.

In de praktijk is het niet altijd haalbaar om effectonderzoek uit te voeren met behulp van een experimentele trial. Het N=1 design is een alternatieve opzet voor effectonderzoek bij interventies met kleine aantallen. Centraal bij de N=1 aanpak staat dat bij een kleine groep deelnemers via verschillende observanten op meerdere tijdstippen informatie wordt verzameld over de ontwikkeling van deelnemers. Daarbij kan zowel gebruik worden gemaakt van kwantitatieve als kwalitatieve onderzoeksmethoden. Dit artikel beschrijft de toepassing van het N=1 design in een onderzoek naar de doeltreffendheid van de justitiële gedragsinterventie Multidimensional Treatment Foster Care (MTFC). Deze interventie is ontwikkeld voor jeugdigen tussen de 12 en 18 jaar met ernstig antisociaal gedrag. In het onderzoek is de ontwikkeling van acht MTFC-deelnemers in kaart gebracht via vragenlijstonderzoek en interviews. Naast de toepassingsmogelijkheden worden in dit artikel tevens de beperkingen en risico’s van het N=1 design beschreven.