Citeerwijze van dit artikel:
Peter van Hoesel, ‘Sociaalwetenschappelijke onderzoeksmethoden’, 2020, oktober-december, DOI: 10.5553/BO/221335502020000012001

DOI: 10.5553/BO/221335502020000012001

Beleidsonderzoek OnlineAccess_open

Column

Sociaalwetenschappelijke onderzoeksmethoden

Auteurs
DOI
Toon PDF Toon volledige grootte
Samenvatting Auteursinformatie Statistiek Citeerwijze
Dit artikel is keer geraadpleegd.
Dit artikel is 0 keer gedownload.
Aanbevolen citeerwijze bij dit artikel
Peter van Hoesel, 'Sociaalwetenschappelijke onderzoeksmethoden', Beleidsonderzoek Online december 2020, DOI: 10.5553/BO/221335502020000012001

    Hoeveel nieuwe methoden en technieken van sociaalwetenschappelijk onderzoek zijn er sinds de jaren zestig van de vorige eeuw bij gekomen? Moderne ICT heeft het allemaal wel sneller en makkelijker gemaakt, maar in wezen gaat het nog steeds om dezelfde methoden, wellicht op een enkele uitzondering na. Maar misschien levert deze column reacties op die dit tegenspreken.

Dit artikel wordt geciteerd in

      De besprekingen in dit tijdschrift van Frans Leeuw van een recent boek over methoden van beleidsonderzoek en van Joost Fledderus van het recente boek over beleidsevaluatie riepen bij mij de vraag op hoeveel er de afgelopen halve eeuw eigenlijk is veranderd aan sociaalwetenschappelijke onderzoeksmethoden.
      Beide boeken laten zien hoe je beleidsonderzoek kunt koppelen aan onderzoeksmethoden en -technieken en zijn daarom waardevol, maar voor zover ik kan overzien gaat het nog steeds om min of meer dezelfde methoden en technieken die decennia geleden al werden toegepast.

    • Kwantitatief onderzoek

      Kijkend naar kwantitatief onderzoek zou je kunnen zeggen dat analyse van big data een nieuwe ontwikkeling is, maar bedenk dan wel dat datamining al zo’n dertig jaar bestaat.
      Ik zie trouwens maar weinig opvallende resultaten van zulke analyses. Dit nog los van de vraag hoe je uit dat soort analyses zinvolle resultaten kunt halen. Voordat je het weet, zit je te kijken naar een groot aantal spurieuze verbanden en dat kan behoorlijk misleidend zijn. Overigens is dit te vergelijken met de manier waarop in de jaren zeventig en tachtig SPSS werd gebruikt om hele stapels kruistabellen te produceren, waarvan op basis van toeval een flink aantal een ‘significant’ verband lieten zien.
      Als je zonder inhoudelijke basis (theorie, hypothese, plausibele veronderstelling) in data gaat zoeken, vind je van alles dat eigenlijk nergens op slaat. Bij big data heb je dan nog een extra probleem, namelijk dat de validiteit ervan voor jouw probleemstelling niet makkelijk is vast te stellen.
      Wat natuurlijk een verschil maakt, is de enorm gegroeide rekenkracht van computers, maar dat is als zodanig geen oplossing voor het probleem om zinvolle resultaten te vinden in een grote hoeveelheid data, misschien wordt dit probleem er zelfs mee vergroot.

      Wat me overigens opvalt, is dat er in de meeste onderzoeksprojecten geen gebruik wordt gemaakt van de schatkamer van het CBS. Die zit vol met klassieke data die voor veel beleidsonderzoek direct bruikbaar zijn. Niet dat in deze schatkamer alles te vinden is wat je nodig hebt, maar wel meer dan veel onderzoekers denken en bovendien zijn die data meestal behoorlijk gevalideerd.

      Die gegroeide rekenkracht kan ook worden gebruikt om tekstanalyses c.q. inhoudsanalyses uit te voeren op veel grotere hoeveelheden tekst dan vroeger, waardoor er meer verbanden kunnen worden gevonden. Maar het gaat in wezen nog steeds om dezelfde techniek.

      Op het gebied van enquêtes zou je kunnen wijzen op de ontwikkeling van het internet. Bijna alle schriftelijke en telefonische enquêtes zijn inmiddels vervangen door internet-enquêtes. Maar in de kern is deze onderzoekstechniek nog steeds hetzelfde, met alle problemen van dien. Ik vraag me regelmatig af of vragenlijsten die ik onder ogen krijg, wel adequaat gevalideerd zijn. En of de steekproefkaders via het internet voldoende duidelijk zijn om tot representatieve steekproeven te kunnen komen.

      Een interessante ontwikkeling lijkt me wel de methode die wordt aangeduid met ‘quantified self’. Dat zijn metingen die mensen gedurende langere tijd bij zichzelf uitvoeren, waaronder ook fysiologische metingen. Deze methode zou best interessant kunnen zijn voor beleidsonderzoekers, als het zou lukken om voldoende deelnemers eraan te laten meedoen.

    • Kwalitatief onderzoek

      Kijkend naar kwalitatief onderzoek zou je kunnen zeggen dat ICT en internet voor enige nieuwe ontwikkelingen hebben gezorgd. Denk bijvoorbeeld aan ‘group decision rooms’, waarmee in een bijeenkomst sneller resultaten kunnen worden bereikt dan zonder dit hulpmiddel. Vroeger zou je meer dan één bijeenkomst nodig hebben om tot dezelfde resultaten te komen. Maar in wezen is de methode van groepsdiscussies, waarvan vele varianten bestaan, volgens mij niet veranderd.
      Een ander voorbeeld: dossieranalyses kunnen dankzij moderne datasystemen veel makkelijker worden uitgevoerd dan toen je nog papieren dossiers moest doorworstelen.

      Diepte-interviews, groepssessies, casestudies, dossieranalyses, veldobservaties, stuk voor stuk methoden die een halve eeuw geleden al in zwang waren, bestaan nog steeds en dat is maar goed ook. In de kern zijn ze niet anders dan vroeger.
      De kracht van kwalitatief onderzoek zit in de directe confrontatie tussen onderzoekers en respondenten. Je zou kunnen zeggen dat de onderzoekers zelf het belangrijkste onderdeel zijn van zulke methoden. Aangezien een enkele onderzoeker niet alles goed zal waarnemen en analyseren, is het verstandig om zulk soort onderzoek in teamverband uit te voeren.
      Dat was vroeger al een goed advies en dat is het nog steeds.

      De wat mij betreft meest krachtige methode van kwalitatief onderzoek, vergelijkende gevalsanalyse, wordt overigens maar weinig toegepast, waarschijnlijk om dit tamelijk tijdrovend is. Een te laag onderzoeksbudget kan daarbij natuurlijk ook een rol spelen, maar in dat geval is er nog wel een mouw aan te passen door het uit te voeren zoals visitatiecommissies in het hoger onderwijs dat doen. Iedere casus voert dan eerst een zelfevaluatie uit, die vervolgens wordt gecontroleerd door de onderzoekers.

    • Experimenteel onderzoek

      Wat je volgens mij over experimenteel onderzoek kunt zeggen, is dat deze onderzoeksmethode ten behoeve van beleid (en praktijk) minder wordt toegepast dan vroeger. In de zorgsector worden er via ZonMw veel experimenten uitgevoerd, maar in andere sectoren komt het niet veel voor.

      Misschien heeft dit te maken met beperkingen die door bestaande regelgeving worden opgelegd. Toen in de vorige eeuw werd geëxperimenteerd met de basisschool en de middenschool, mochten experimenteerscholen de bestaande wetgeving tijdelijk negeren. Kijkend naar bijvoorbeeld recente experimenten met de bijstand in gemeenten zie je dat er nauwelijks ruimte wordt geboden om nieuwe beleidsmaatregelen uit te proberen.

      Wetenschappers wijzen er graag op dat goed opgezette experimenten in de vorm van RCT-designs het ultieme soort onderzoek is voor ex ante evaluatie. Aan de andere kant zijn zulke experimenten lastig te realiseren, zeker als het gaat om veldexperimenten, en bovendien zijn ze tijdrovend. Waarschijnlijk is dit de belangrijkste verklaring waarom experimenteel onderzoek voor beleid (en praktijk) weinig in zwang is.

    • Afsluitend

      Kortom, er lijkt nieuws onder de zon. Maar ik kan me vergissen, want ik zie natuurlijk lang niet alles op het gebied van beleidsonderzoek. Ik houd mij dan ook aanbevolen voor tegenspraak, sterker nog, ik hoop daar eigenlijk op.

Reacties op dit artikel

  • "Er is niets nieuws onder de zon, en zelfs dat is niet nieuw." Volgens mij was het Prediker die ons daar al op wees.
    Mooie beschouwing, waarde naamgenoot! Ik ben het - als auteur van het besproken 'Beleidsevaluatie in theorie en praktijk' - echter niet met je eens dat er niets nieuws is. In ons boek geven we daarom voorbeelden van de nieuwe mogelijkheden van technologiën, sensoren en andere databronnen en wat je er als onderzoeker mee kunt. Ik kan daar intussen onze evaluatie van de invoering van 130 km als limiet aan toevoegen: tientallen miljarden metingen, uit tesplitsen naar weersomstandigheden, tijdstippen, weginrichting - echt prachtig wat je allemaal kunt onderzoeken!
    Maar ik ben het deels ook met je eens. De verwachtingen zijn misschien net als 30 jaar geleden wel te overspannen. En hoewel ons boek een aantal voorbeelden van toepassingen in beleidsevaluatie en beleidsonderzoek geeft, houd ik mij voor de tweede druk zeker aanbevolen voor meer: het was echt zoeken, ook bij de grootste protagonisten van 'big data', AI, datascience etc.
    Ook eens ben ik het met je als je de 'schatkamer van CBS' noemt en het belang van hypothesen, waaronder beleidstheorieën. Vandaar dat wij beide in ons boek uitvoerig behandelen. Traditioneel? Jazeker! Onmisbaar voor goed beleidsonderzoek? Absoluut!

    Reactie geplaatst op 06 januari 2021 14:21 door Peter van der Knaap

Reageer

Tekst


Print dit artikel