Vijf misverstanden over ‘lerende evaluaties’
Peter van der Knaap
Iedereen wil leren en maar weinig mensen vinden verantwoording afleggen leuk. ‘Lerende evaluaties’ kennen dan ook een groeiende populariteit. Tegelijkertijd worden ze vaak verguisd vanwege hun gebrek aan objectiviteit, kwaliteit en zelfs relevantie. Maar is dat wel terecht? Deze column gaat in op de vijf grootste misverstanden.
Van vis naar vissen: duurzaamheid in beleidsevaluatie
Peter van der Knaap
Duurzaamheid wordt steeds belangrijker. Naast ‘goed voor de planeet’ moet beleid ook resultaten opleveren die blijvend zijn. Maar voor duurzame verandering zijn vaak ingewikkelde programma’s nodig. Hierdoor komen traditionele evaluatievragen als ‘Heeft beleid effect?’ in een ander daglicht te staan en zijn nieuwe onderzoeksmethoden nodig. Tegelijkertijd kunnen ook bescheiden maatregelen tot grote veranderingen leiden.
Nobelprijzen op de vulkaan
Peter van der Knaap
Wie iets wil doen aan de vele grote problemen waar de wereld zich anno 2021 mee geconfronteerd weet, die heeft de best mogelijke antwoorden nodig op de vraag of een bepaalde interventie werkt of niet. In deze column wordt dan ook gepleit voor het hoog blíjven leggen van de lat voor zowel op effectiviteit gericht als responsief evaluatieonderzoek.
Sociaalwetenschappelijke onderzoeksmethoden
Peter van Hoesel
Hoeveel nieuwe methoden en technieken van sociaalwetenschappelijk onderzoek zijn er sinds de jaren zestig van de vorige eeuw bij gekomen? Moderne ICT heeft het allemaal wel sneller en makkelijker gemaakt, maar in wezen gaat het nog steeds om dezelfde methoden, wellicht op een enkele uitzondering na. Maar misschien levert deze column reacties op die dit tegenspreken.
Wat leert corona ons over efficiëntie?
Jos Mevissen
De focus op effectiviteit en vooral ook efficiëntie in beleid leidt wellicht tot beleidsuitvoering die efficiënt is voor de overheid, maar of dat ook zo is voor andere stakeholders, wordt misschien uit het oog verloren. Dat laat de huidige coronacrisis zien, maar blijkt ook uit andere voorbeelden. Voor beleidsonderzoek is het relevant om beleid te evalueren binnen de bredere maatschappelijke context en met de vraag voor wie beleid efficiënt is.
Regressie en progressie in beleidsevaluatie
Jos Mevissen
Beleidsevaluatie richt zich steeds naar informatiebehoeften en technische mogelijkheden. Hierdoor is het gebruik van cijfermatige informatie toegenomen. Met name bestaande data worden, met steeds betere analysetechnieken, ingezet omdat ze beschikbaar zijn en relatief goedkoop. Dit gaat echter ten koste van de validiteit en diepgang van onderzoek. Dat is in zekere zin een regressie, een achteruitgang. We zien echter ook progressie in het beleidsonderzoek. In de eerste plaats komt er steeds meer belangstelling voor de zogenoemde mixed methods-benadering. Ten tweede is er een groeiende belangstelling voor participerende, interactieve en responsieve vormen van onderzoek. Er ontstaat weer meer oog voor de wereld achter de cijfers, het hoe en waarom van beleid, en vooral voor de mensen in die wereld.
Maryland 2.0: Evidence-based onderzoek en de Maryland-schaal
Jos Mevissen
Volgens de Marylandschaal is rct het best mogelijke type beleidsonderzoek. Rct is dan ook het boegbeeld van het evidence-based onderzoek. De kritiek op rct’s is echter in de loop van de jaren alleen maar groter geworden. Bovendien blijkt uit een recente meta-evaluatie dat de non-experimentele onderzoeken niet tot andere uitkomsten leidden dan de rct’s. Al met al wordt te veel geloof gehecht aan de evidence-based benadering in het algemeen en rct’s in het bijzonder. Vandaar de vraag: wordt het misschien tijd voor een Maryland Scientific Methods Scale 2.0?
Blij met de WODC-affaire?
Bart Dekker
In deze column reageert de auteur op de WODC-affaire: de conclusies van een onderzoek van het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) van het ministerie van (toen nog) Veiligheid en Justitie naar de overlast van coffeeshops zouden op verzoek van beleidsambtenaren in de politiek gewenste richting zijn omgebogen. Dekker gaat na wat de aandacht voor dit voorval kan betekenen voor de relatie tussen opdrachtgever en opdrachtnemer.
Beleidsevaluatie als ritueel
Peter van Hoesel
Voor de relatie tussen onderzoek en overheidsbeleid is nog steeds de ‘two communities theory’ van Caplan (1979) van toepassing, alsmede de ‘kloof tussen weten en willen’ van Schuyt (1984). Onderzoekers slagen er maar niet in serieus genomen te worden in de beleidswereld, ook niet wanneer het gaat om onderzoek dat specifiek gericht is op beleidsevaluatie.
Inkoop belemmert overheidsbeleid?!
Reactie op de column ‘Inkopen doen’ van Jos Mevissen
Bestuur van de Vereniging voor Beleidsonderzoek (VBO)
Aan het eind van zijn column ‘Inkopen doen’ vraagt Jos Mevissen de lezer om te reageren (zie Beleidsonderzoek Online januari 2016). Zijn column gaat over negatieve ontwikkelingen op het gebied van inkoop voor beleidsonderzoek. Bevordering van een goede marktwerking in de markt voor beleidsonderzoek is een van de speerpunten van de Vereniging voor Beleidsonderzoek (VBO). De VBO staat voor hoogwaardig professioneel onderzoek binnen een transparante markt waar eerlijke concurrentie tussen aanbieders plaatsvindt.
Inkopen doen
Jos Mevissen
Stel, u verkoopt vakantiereizen. Niet zomaar budgetvakanties, maar kwaliteitsreizen rond cultuur- of natuurhoogtepunten. U hebt een nieuwe klant en die boekt een reis, maar laat daarbij weten pas na afloop te betalen, en dan ook alleen maar als het een beetje is bevallen. U denkt: daar begin ik niet aan, want ik moet zelf wel alles vooruit aanbetalen of afrekenen: luchtvaartmaatschappij, lokale gidsen, eigen medewerkers, et cetera. Tot uw schrik ontdekt u echter dat deze klant niet op zich staat: een grote groep klanten, allen uit de regio Den Haag, willen pas na afloop en goedkeuring betalen.
Komt dit ‘vreemd’ op u over? Denkt u: die klanten wil ik liever niet hebben?
Van toezicht naar inzicht
Pierre Koning
Zolang als ik werkzaam ben in het beleidsgerichte onderzoek, vervult de Algemene Rekenkamer altijd heel consequent en vasthoudend haar rol als toezichthouder. Zo krijgen politici er jaarlijks van langs op ‘woensdag gehaktdag’, wanneer de Rekenkamer beziet wat er van geïnitieerde beleidsplannen van het kabinet terecht is gekomen. Ik kan me ook niet heugen dat er ooit een rapport is verschenen van de Rekenkamer dat beleid niet ‘kraakt’. Sinds het begin van deze eeuw is aan dat kraken nog een nieuwe dimensie toegevoegd: overheidsinstanties zouden hun uitgaven niet altijd kunnen verantwoorden, maar daar bovenop ook geen zicht hebben op de effectiviteit ervan ...
Een vleugje meer bestuurskunde
Fred Fleurke
De komende en deels al in gang gezette decentralisatieoperaties op het terrein van welzijn, zorg, sociale zekerheid en arbeidsmarkt leveren in principe een hoop werk op voor beleidsonderzoekers. Het gaat daarbij niet meer om enkele grote opdrachtgevers op centraal niveau waarmee snel de jaaromzet kan worden gehaald, maar om een groot aantal kleinere, gevarieerde onderzoekingen, waarmee informatie wordt vergaard over allerlei verschillende aspecten van beleidsvoering onder specifieke omstandigheden. De vraag is of het hier gaat om een nieuw type beleidsonderzoek, of dat het alleen maar gaat om oude wijn in nieuwe zakken.
Decentraal beleid vereist (betere) decentrale kennis
Jos Mevissen
De vraag ‘Voor wie moeten de uitkomsten van dit onderzoek straks bruikbaar zijn?’ wordt te weinig ter discussie gesteld. De onderzoeker richt zich vanzelfsprekend op zijn opdrachtgever en financier; die moet tevreden zijn met het eindresultaat. De opdrachtgever dient met het onderzoek doorgaans zijn of haar eigen doelen. Van beleidsonderzoek dat landelijk geëntameerd wordt, zijn de data vaak niet regionaal uit te splitsen en zijn uitkomsten niet zonder meer vertaalbaar naar of toepasbaar op lokaal of regionaal niveau. Dat is vooral een probleem wanneer het beleid waarop het onderzoek zich richt, juist op decentraal niveau geïmplementeerd en uitgevoerd moet worden.
‘Living-in’-the-web, digitaal beleid en evaluatieonderzoek; over wat er zo’n beetje is en wat (veel) beter kan
Frans Leeuw en Bastiaan Leeuw
In minder dan twintig jaar heeft digitalisering ons leven ingrijpend veranderd. Laatstelijk sprak Christian van ’t Hof in zijn boekje Check in Check Out over ‘living in the web’, een verschijnsel dat ook wel aangeduid wordt met de uitdrukking ‘the ubiquitous web’. Ontelbare aantallen apps (wie kende het woord 10 jaar geleden, afgezien van een enkeling die van ‘killer apps’ gehoord had), honderden digitale interventietherapieën om vetzucht, roken en depressies tegen te gaan, onderwijs via de elektronische leeromgeving, ‘augmented reality’ (waarbij de virtuele realiteit en de fysieke realiteit elkaar overlappen) en wiki’s zijn even zovele voorbeelden van de veranderingen. Het web is dus inderdaad alomtegenwoordig... Bob Dylan schreef het al ‘the times they are a-changin’...