Wie iets wil doen aan de vele grote problemen waar de wereld zich anno 2021 mee geconfronteerd weet, die heeft de best mogelijke antwoorden nodig op de vraag of een bepaalde interventie werkt of niet. In deze column wordt dan ook gepleit voor het hoog blíjven leggen van de lat voor zowel op effectiviteit gericht als responsief evaluatieonderzoek.

Hoeveel nieuwe methoden en technieken van sociaalwetenschappelijk onderzoek zijn er sinds de jaren zestig van de vorige eeuw bij gekomen? Moderne ICT heeft het allemaal wel sneller en makkelijker gemaakt, maar in wezen gaat het nog steeds om dezelfde methoden, wellicht op een enkele uitzondering na. Maar misschien levert deze column reacties op die dit tegenspreken.

De focus op effectiviteit en vooral ook efficiëntie in beleid leidt wellicht tot beleidsuitvoering die efficiënt is voor de overheid, maar of dat ook zo is voor andere stakeholders, wordt misschien uit het oog verloren. Dat laat de huidige coronacrisis zien, maar blijkt ook uit andere voorbeelden. Voor beleidsonderzoek is het relevant om beleid te evalueren binnen de bredere maatschappelijke context en met de vraag voor wie beleid efficiënt is.

Beleidsevaluatie richt zich steeds naar informatiebehoeften en technische mogelijkheden. Hierdoor is het gebruik van cijfermatige informatie toegenomen. Met name bestaande data worden, met steeds betere analysetechnieken, ingezet omdat ze beschikbaar zijn en relatief goedkoop. Dit gaat echter ten koste van de validiteit en diepgang van onderzoek. Dat is in zekere zin een regressie, een achteruitgang. We zien echter ook progressie in het beleidsonderzoek. In de eerste plaats komt er steeds meer belangstelling voor de zogenoemde mixed methods-benadering. Ten tweede is er een groeiende belangstelling voor participerende, interactieve en responsieve vormen van onderzoek. Er ontstaat weer meer oog voor de wereld achter de cijfers, het hoe en waarom van beleid, en vooral voor de mensen in die wereld.

Volgens de Marylandschaal is rct het best mogelijke type beleidsonderzoek. Rct is dan ook het boegbeeld van het evidence-based onderzoek. De kritiek op rct’s is echter in de loop van de jaren alleen maar groter geworden. Bovendien blijkt uit een recente meta-evaluatie dat de non-experimentele onderzoeken niet tot andere uitkomsten leidden dan de rct’s. Al met al wordt te veel geloof gehecht aan de evidence-based benadering in het algemeen en rct’s in het bijzonder. Vandaar de vraag: wordt het misschien tijd voor een Maryland Scientific Methods Scale 2.0?

In deze column reageert de auteur op de WODC-affaire: de conclusies van een onderzoek van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) van het ministerie van (toen nog) Veiligheid en Justitie naar de overlast van coffeeshops zouden op verzoek van beleidsambtenaren in de politiek gewenste richting zijn omgebogen. Dekker gaat na wat de aandacht voor dit voorval kan betekenen voor de relatie tussen opdrachtgever en opdrachtnemer.

Aan het eind van zijn column ‘Inkopen doen’ vraagt Jos Mevissen de lezer om te reageren (zie Beleidsonderzoek Online januari 2016). Zijn column gaat over negatieve ontwikkelingen op het gebied van inkoop voor beleidsonderzoek. Bevordering van een goede marktwerking in de markt voor beleidsonderzoek is een van de speerpunten van de Vereniging voor Beleidsonderzoek (VBO). In deze bijdrage reageert de vereniging op de column van Jos Mevissen.