Beleidsevaluatie als ritueel
Het burgerperspectief ontbreekt grotendeels.
De maatschappelijke kosten en baten komen niet uit de verf.
De gebruikte informatie heeft vooral betrekking op de organisaties die met de uitvoering zijn belast.
Het gaat vooral om insider-evaluaties.
Caplan, N. (1979). The two-communities theory and knowledge utilization. American Behavioral Scientist, 22(3), 459-470.
Derksen, W. (2015). De onderzoeksagenda. In P. van Hoesel, J. Mevissen & B. Dekker (Red.), Kennis voor beleid (p. 108). Assen: Van Gorcum.
Frijling, B., Van Hoesel, P., & Leeuw, F. (1980). Universitair beleidsgericht onderzoek in de sociale wetenschappen. Mens en Maatschappij, 55(2), 117-135.
Hanemaayer, D. (2012). Ex ante evaluatie in Nederland. Den Haag: Boom Lemma.
ISSWO. (1979). Programmering inbreng sociaal wetenschappelijk onderzoek bij overheidsbeleid (discussienota). Den Haag: Ministerie van O&W.
Knottnerus, A. (2016). Van casus-specifieke beleidsevaluatie naar systematische opbouw van kennis en ervaring. Beleidsonderzoek Online, mei 2016.
Minister voor Wetenschapsbeleid. (1978). Nota Meerjarenplan sociaal onderzoek en beleid. Den Haag: Staatsuitgeverij.
Schuyt, C. (1984). De kloof tussen weten en willen. Beleid en Maatschappij, 11(1/2), 21-28.
Van de Vall, M. (1980). Sociaal beleidsonderzoek: een professioneel paradigma. Alphen aan den Rijn: Samsom.
Van Hoesel, P. (1985). Programmering van beleidsonderzoek. Den Haag: VUGA.
Verkenningscommissie Sociaal Onderzoek. (1975). Sociaal wetenschappelijk onderzoek en beleid. Den Haag: Staatsuitgeverij.
Voor de relatie tussen onderzoek en overheidsbeleid is nog steeds de ‘two communities theory’ van Caplan (1979) van toepassing, alsmede de ‘kloof tussen weten en willen’ van Schuyt (1984).
Onderzoekers slagen er maar niet in serieus genomen te worden in de beleidswereld, ook niet wanneer het gaat om onderzoek dat specifiek gericht is op beleidsevaluatie.
Op basis van bijna een halve eeuw ervaring als beleidsonderzoeker, alsook van de ervaring van vele mij bekende onderzoekers kan alleen maar gesproken worden van een wereld van gemiste kansen. Er is zelfs sprake van een soort vijandige relatie tussen onderzoek en beleid, die niet alleen te maken heeft met het feit dat de meeste beleidsevaluaties nogal negatief uitpakken, zoals bijvoorbeeld te zien is aan vele rapporten van de Algemene Rekenkamer, maar ook met de neiging van bestuurders, politici en zelfs van ambtenaren om hun eigen percepties te blijven koesteren in weerwil van de resultaten van gedegen onderzoek.
Om het eens scherp te zeggen: de alternatieve feiten van Trump zijn helemaal niet nieuw, ze zijn in ons land al heel lang dominant.
De negatieve uitkomsten van beleidsevaluaties behoeven trouwens geen verwondering te wekken. Zoals Knottnerus (2016) in een recent artikel aangeeft, worden er in Nederland maar weinig ex ante evaluaties uitgevoerd en blijft het in de meeste gevallen gissen naar de beleidstheorie die ten grondslag ligt aan de beleidsmaatregelen. Wie gokt met beleidsmaatregelen, mag verwachten dat er veel wordt misgegokt. De ongewenste boodschap vanuit een evaluatie dat het beleid niet goed bezig is, leidt vervolgens nauwelijks tot leerervaringen maar slechts tot een grotendeels negeren van de uitkomsten.
De relatie tussen het bedrijfsleven en onderzoek is wat dat betreft een stuk positiever. Bedrijven gooien niet zomaar producten of diensten op de markt. Ze doen dat meestal pas na een grondig R&D-traject en zelfs dan moeten ze nogal eens constateren dat een product niet aanslaat. Ze halen zo’n product dan snel van de markt. De overheid haalt helaas bijna nooit beleidsproducten terug. Zelfs bij aperte mislukkingen, zoals bijvoorbeeld de wet DBA, wordt de wet niet afgeschaft.
Ik nodig lezers overigens graag uit om voorbeelden te noemen van een merkbare positieve impact van onderzoek op het beleidsproces.
Ook de beleidsdoorlichtingen onder auspiciën van het ministerie van Financiën lijden aan voornoemde verschijnselen. Die doorlichtingen zijn verplicht en daarom worden ze trouw uitgevoerd, maar op basis van vier beleidsdoorlichtingen waar ik zelf bij betrokken was, kan ik alleen maar constateren dat het gaat om een soort rituele dans.
Het is zeker niet zo dat de resultaten onder de pet blijven, want zulke rapporten worden zonder uitzondering naar de Tweede Kamer gestuurd (dat hoort juist bij het ritueel), maar het levert eigenlijk geen enkele substantiële verbetering van het beleid op. Als iemand wat dit laatste betreft tegenvoorbeelden heeft, houd ik me graag aanbevolen.
Kijkend naar de inhoud van zulke doorlichtingen constateer ik de volgende gebreken:
Je zou kunnen zeggen dat het daarom logisch is dat van dit soort evaluaties weinig te leren valt, dus is het ook geen wonder dat er geen verbeteringen uit voortvloeien. Maar aangezien andere beleidsevaluaties zoals van de ARK hetzelfde overkomt, zal dit niet de enige verklaring zijn.
Voordat de gedachte gaat postvatten dat hier alleen maar een gefrustreerde onderzoeker aan het woord is die de schuld helemaal aan de andere kant legt, wil ik wijzen op meerdere gebreken aan de kant van de onderzoekswereld.
Onderzoekers vinden het ambachtelijke deel van het onderzoek leuker dan na te denken over de rol van onderzoek in het beleidsproces. Wat er met hun rapport gebeurt, is niet hun verantwoordelijkheid, en die verantwoordelijkheid zouden ze ook niet graag hebben.
In onderzoeksvoorstellen wordt veel aandacht besteed aan de probleemstelling en de aanpak, maar weinig aan de rol van het onderzoek in het beleidsproces. Je zou kunnen zeggen dat daardoor de beleidsonderzoekscyclus (Frijling e.a., 1980) niet adequaat wordt gesloten.
Graag zou ik door lezers worden tegengesproken via voorbeelden van onderzoekvoorstellen die wel veel aandacht besteden aan de rol van het onderzoek in het beleidsproces.
Academische onderzoekers maken beleidsmakers nogal eens kopschuw met hun hoge eisen aan de opzet van met name ex ante evaluaties. ‘Evidence based policy making’ op basis van gecontroleerde experimenten klinkt goed, maar is nauwelijks te realiseren en levert bovendien het risico op van artificiële uitkomsten, wat niet goed uitpakt voor de ‘implementaire validiteit’ (Van de Vall, 1980).
Wat mij betreft zijn eenvoudiger ex ante evaluaties veel nuttiger, zoals: analyse van de beleidstheorie aan de hand van bestaande kennis, Delphi-onderzoek, kwalitatieve simulatie, haalbaarheidsonderzoek bij uitvoerders, regionale dan wel internationale vergelijking. En wat minder eenvoudige methoden, zoals interactieve simulatie en MKBA, zijn nogal altijd een stuk makkelijker te verwezenlijken dan echte veldexperimenten.
Geen van deze methoden levert exacte gedragsvoorspellingen op, maar ze kunnen wel laten zien welke kans op succes er is voor een voorgestelde beleidsmaatregel en zelfs met grote zekerheid aangeven of een beleidsmaatregel bij voorbaat tot mislukken gedoemd is.
Hoewel het bestaan van het ‘integraal afwegingskader’ (IAK) anders doet vermoeden (zie Hanemaayer, 2012), is de aandacht van de beleidsmakers en vervolgens ook van de onderzoekers vooral gericht op onderzoek naar het hoofdeffect van een beleidsmaatregel. Voor de samenleving zijn de mogelijke neveneffecten en artefacten van een beleidsmaatregel echter meestal heftiger dan het verwachte hoofdeffect. Onderzoekers zouden dit kunnen ondervangen door in de onderzoeksopzet hieraan de nodige aandacht te schenken.
Wie goede voorbeelden op dit gebied kent, gelieve deze te melden.
Beleidsonderzoekers zijn verder vooral makke schapen, niet alleen de onderzoekers van bureaus die afhankelijk zijn van hun opdrachtgevers, maar ook interne onderzoekers van de overheid. Hun status binnen de overheidsorganisatie is laag, wat onder meer blijkt uit het geringe succes van de ‘chief scientists’, die inmiddels in veel gevallen weer het veld hebben geruimd (Derksen, 2015).
Wie tegenvoorbeelden weet, gelieve deze te melden.
In de jaren tachtig speelde zich de bloeiperiode af van de zogenoemde onderzoeksprogrammering (Van Hoesel, 1985). Hoewel de betreffende programmeringsorganen niet in alle opzichten succesvol opereerden, kan worden verondersteld dat zulke organen in deze tijd veel zouden kunnen verbeteren aan de relatie tussen onderzoek en beleid.
Er was indertijd in elk geval een duidelijke intentie om de benutting van beleidsonderzoek te vergroten, mede aangezet door het rapport van de commissie-Hoogerwerf (Verkenningscommissie Sociaal Onderzoek, 1975).
Die intentie blijkt onder meer uit de nota Meerjarenplan Sociaal Onderzoek en Beleid (Ministerie voor Wetenschapsbeleid, 1978) en uit een discussienota over onderzoeksprogrammering van het Interdepartementaal Stafoverleg Sociaal Wetenschappelijk Onderzoek (ISSWO, 1979).
De verschillende soorten activiteiten die door de diverse programmeringsorganen werden uitgevoerd, laten concreet zien hoe gepoogd werd de relatie tussen onderzoek en beleid te verbeteren: vullen van de kennisagenda op basis van informatiebehoeften in het veld en bij beleidsinstanties; bijhouden van de kennishuishouding met betrekking tot het betreffende beleidsterrein; aangeven van kennislacunes; verzorgen data-infrastructuur; beoordelen van onderzoeksvoorstellen, niet alleen op de wetenschappelijke kwaliteit maar ook op de praktijk- en beleidsrelevantie; begeleiden van lopend onderzoek; kennisverspreiding; organiseren van implementatietrajecten; uitbrengen van beleidsaanbevelingen.
Laat ik daarom afsluiten met het pleidooi om zulke organen, die op de meeste gebieden verdwenen zijn, opnieuw in het leven te roepen. Als goed functionerend modern voorbeeld zou ik willen wijzen op ZonMw, dat in opdracht van NWO en het ministerie van VWS onderzoek programmeert op het gebied van de gezondheidszorg.