Sociaalwetenschappelijke onderzoeksmethoden

De besprekingen in dit tijdschrift van Frans Leeuw van een recent boek over methoden van beleidsonderzoek en van Joost Fledderus van het recente boek over beleidsevaluatie riepen bij mij de vraag op hoeveel er de afgelopen halve eeuw eigenlijk is veranderd aan sociaalwetenschappelijke onderzoeksmethoden.
Beide boeken laten zien hoe je beleidsonderzoek kunt koppelen aan onderzoeksmethoden en -technieken en zijn daarom waardevol, maar voor zover ik kan overzien gaat het nog steeds om min of meer dezelfde methoden en technieken die decennia geleden al werden toegepast.

• Kwantitatief onderzoek

  Kijkend naar kwantitatief onderzoek zou je kunnen zeggen dat analyse van big data een nieuwe ontwikkeling is, maar bedenk dan wel dat datamining al zo’n dertig jaar bestaat.
  Ik zie trouwens maar weinig opvallende resultaten van zulke analyses. Dit nog los van de vraag hoe je uit dat soort analyses zinvolle resultaten kunt halen. Voordat je het weet, zit je te kijken naar een groot aantal spurieuze verbanden en dat kan behoorlijk misleidend zijn. Overigens is dit te vergelijken met de manier waarop in de jaren zeventig en tachtig SPSS werd gebruikt om hele stapels kruistabellen te produceren, waarvan op basis van toeval een flink aantal een ‘significant’ verband lieten zien.
  Als je zonder inhoudelijke basis (theorie, hypothese, plausibele veronderstelling) in data gaat zoeken, vind je van alles dat eigenlijk nergens op slaat. Bij big data heb je dan nog een extra probleem, namelijk dat de validiteit ervan voor jouw probleemstelling niet makkelijk is vast te stellen.
  Wat natuurlijk een verschil maakt, is de enorm gegroeide rekenkracht van computers, maar dat is als zodanig geen oplossing voor het probleem om zinvolle resultaten te vinden in een grote hoeveelheid data, misschien wordt dit probleem er zelfs mee vergroot.

  Wat me overigens opvalt, is dat er in de meeste onderzoeksprojecten geen gebruik wordt gemaakt van de schatkamer van het CBS. Die zit vol met klassieke data die voor veel beleidsonderzoek direct bruikbaar zijn. Niet dat in deze schatkamer alles te vinden is wat je nodig hebt, maar wel meer dan veel onderzoekers denken en bovendien zijn die data meestal behoorlijk gevalideerd.

  Die gegroeide rekenkracht kan ook worden gebruikt om tekstanalyses c.q. inhoudsanalyses uit te voeren op veel grotere hoeveelheden tekst dan vroeger, waardoor er meer verbanden kunnen worden gevonden. Maar het gaat in wezen nog steeds om dezelfde techniek.

  Op het gebied van enquêtes zou je kunnen wijzen op de ontwikkeling van het internet. Bijna alle schriftelijke en telefonische enquêtes zijn inmiddels vervangen door internet-enquêtes. Maar in de kern is deze onderzoekstechniek nog steeds hetzelfde, met alle problemen van dien. Ik vraag me regelmatig af of vragenlijsten die ik onder ogen krijg, wel adequaat gevalideerd zijn. En of de steekproefkaders via het internet voldoende duidelijk zijn om tot representatieve steekproeven te kunnen komen.

  Een interessante ontwikkeling lijkt me wel de methode die wordt aangeduid met ‘quantified self’. Dat zijn metingen die mensen gedurende langere tijd bij zichzelf uitvoeren, waaronder ook fysiologische metingen. Deze methode zou best interessant kunnen zijn voor beleidsonderzoekers, als het zou lukken om voldoende deelnemers eraan te laten meedoen.

• Kwalitatief onderzoek

  Kijkend naar kwalitatief onderzoek zou je kunnen zeggen dat ICT en internet voor enige nieuwe ontwikkelingen hebben gezorgd. Denk bijvoorbeeld aan ‘group decision rooms’, waarmee in een bijeenkomst sneller resultaten kunnen worden bereikt dan zonder dit hulpmiddel. Vroeger zou je meer dan één bijeenkomst nodig hebben om tot dezelfde resultaten te komen. Maar in wezen is de methode van groepsdiscussies, waarvan vele varianten bestaan, volgens mij niet veranderd.
  Een ander voorbeeld: dossieranalyses kunnen dankzij moderne datasystemen veel makkelijker worden uitgevoerd dan toen je nog papieren dossiers moest doorworstelen.

  Diepte-interviews, groepssessies, casestudies, dossieranalyses, veldobservaties, stuk voor stuk methoden die een halve eeuw geleden al in zwang waren, bestaan nog steeds en dat is maar goed ook. In de kern zijn ze niet anders dan vroeger.
  De kracht van kwalitatief onderzoek zit in de directe confrontatie tussen onderzoekers en respondenten. Je zou kunnen zeggen dat de onderzoekers zelf het belangrijkste onderdeel zijn van zulke methoden. Aangezien een enkele onderzoeker niet alles goed zal waarnemen en analyseren, is het verstandig om zulk soort onderzoek in teamverband uit te voeren.
  Dat was vroeger al een goed advies en dat is het nog steeds.

  De wat mij betreft meest krachtige methode van kwalitatief onderzoek, vergelijkende gevalsanalyse, wordt overigens maar weinig toegepast, waarschijnlijk om dit tamelijk tijdrovend is. Een te laag onderzoeksbudget kan daarbij natuurlijk ook een rol spelen, maar in dat geval is er nog wel een mouw aan te passen door het uit te voeren zoals visitatiecommissies in het hoger onderwijs dat doen. Iedere casus voert dan eerst een zelfevaluatie uit, die vervolgens wordt gecontroleerd door de onderzoekers.

• Experimenteel onderzoek

  Wat je volgens mij over experimenteel onderzoek kunt zeggen, is dat deze onderzoeksmethode ten behoeve van beleid (en praktijk) minder wordt toegepast dan vroeger. In de zorgsector worden er via ZonMw veel experimenten uitgevoerd, maar in andere sectoren komt het niet veel voor.

  Misschien heeft dit te maken met beperkingen die door bestaande regelgeving worden opgelegd. Toen in de vorige eeuw werd geëxperimenteerd met de basisschool en de middenschool, mochten experimenteerscholen de bestaande wetgeving tijdelijk negeren. Kijkend naar bijvoorbeeld recente experimenten met de bijstand in gemeenten zie je dat er nauwelijks ruimte wordt geboden om nieuwe beleidsmaatregelen uit te proberen.

  Wetenschappers wijzen er graag op dat goed opgezette experimenten in de vorm van RCT-designs het ultieme soort onderzoek is voor ex ante evaluatie. Aan de andere kant zijn zulke experimenten lastig te realiseren, zeker als het gaat om veldexperimenten, en bovendien zijn ze tijdrovend. Waarschijnlijk is dit de belangrijkste verklaring waarom experimenteel onderzoek voor beleid (en praktijk) weinig in zwang is.

• Afsluitend

  Kortom, er lijkt nieuws onder de zon. Maar ik kan me vergissen, want ik zie natuurlijk lang niet alles op het gebied van beleidsonderzoek. Ik houd mij dan ook aanbevolen voor tegenspraak, sterker nog, ik hoop daar eigenlijk op.