Citeerwijze van dit artikel:
Valérie Smet, ‘Evidence-based policy en de doorwerking van sociaalwetenschappelijk onderzoek: are we there yet?’, 2013, oktober-december, DOI: 10.5553/Beleidsonderzoek.000031

DOI: 10.5553/Beleidsonderzoek.000031

Beleidsonderzoek OnlineAccess_open

Article

Evidence-based policy en de doorwerking van sociaalwetenschappelijk onderzoek: are we there yet?

Auteurs
DOI
Toon PDF Toon volledige grootte
Auteursinformatie Statistiek Citeerwijze
Dit artikel is keer geraadpleegd.
Dit artikel is 0 keer gedownload.
Aanbevolen citeerwijze bij dit artikel
Valérie Smet, 'Evidence-based policy en de doorwerking van sociaalwetenschappelijk onderzoek: are we there yet?', Beleidsonderzoek Online december 2013, DOI: 10.5553/Beleidsonderzoek.000031

Dit artikel wordt geciteerd in

    • Inleiding

      Internationaal zien we het laatste decennium een grotere vraag naar rationalisering en professionalisering van het beleidsproces ontstaan, een vraag die onder meer ingegeven wordt door de stijgende onzekerheid en complexiteit van de issues waarmee beleidsmakers te maken krijgen. De relatief recente trend van ‘evidence-based policy’ (en van evidence-based practice) ligt in het verlengde hiervan.
      De aandacht voor evidence-based policy neemt ook in België toe, waar ze vooral zichtbaar wordt op Vlaams niveau. Vanuit de Vlaamse overheid ontstond rond 2000 een grotere vraag naar een wetenschappelijke onderbouwing van het beleid (EWI, 2003), wat onder meer resulteerde in het oprichten van een Studiedienst van de Vlaamse Regering en van de Steunpunten voor Beleidsrelevant Onderzoek (waarbij de overheid een aantal brede thematische beleidsprioriteiten groepeert waarop universitaire onderzoeksequipes kunnen intekenen en die resulteren in vier jaar contractuele samenwerking). Verder zijn ook de sterkere coördinatie en het institutioneel verankeren van beleidsrelevant onderzoek opmerkelijk. In tegenstelling tot de situatie in Nederland wordt het beleidsondersteunend onderzoek in België bijna uitsluitend door overheidsinstellingen zoals universiteiten of hogescholen, dan wel intern binnen de overheid zelf, gevoerd. De praktijk van consultancybedrijven die zich richten op beleidsonderzoek is schaars en er is eerder sprake van een verambtelijking, waarbij de overheid zelf onderzoek gaat doen (zie ook Devroe, 2010), in plaats van een vermarkting (Hoppe, 2002) van het Belgische beleidsonderzoek. Initiatieven zoals de Steunpunten vormen het bewijs van een belangrijke inzet op mechanismen om de kloof tussen beleid en wetenschap te verminderen. De Steunpunten verrichten beleidsvoorbereidend onderzoek en zijn gebaseerd op een win-winsituatie. De wetenschappelijk onderzoekers hebben meer stabiliteit door een langduriger tewerkstelling (beleidsrelevant onderzoek is meestal van korte duur, wat resulteert in een outflow van capabele onderzoekers). De overheid kan door een langdurig samenwerkingsverband met een bepaalde onderzoeksgroep meer kennis consolideren alsook de te onderzoeken thema’s tijdens het proces verder afstemmen en differentiëren in functie van de zich ontwikkelende beleidsproblematieken. De Studiedienst van de Vlaamse regering doet aan onderzoek naar demografische, sociaal-maatschappelijke en macro-economische ontwikkelingen, regionale statistieken en adviseert andere overheidsdiensten met betrekking tot monitoring en beleidsevaluatie.

      Ondanks de toegenomen aandacht voor evidence-based policy blijft de kennis over kennisgebruik door beleidsmakers en de eigenlijke doorwerking van sociaalwetenschappelijk onderzoek (vanaf nu afgekort als SWO) tot nog toe tamelijk beperkt (Brans et al., 2004; Henry & Mark, 2003). Het merendeel van de literatuur is ook Anglo-Amerikaans en kan niet zomaar geëxtrapoleerd worden naar landen met een ander politiek systeem. Het ontbreekt vooral aan empirisch onderzoek.

    • Doelstelling en methode

      Dit artikel is gebaseerd op een doctoraatsonderzoek naar doorwerking en kennisgebruik van sociaalwetenschappelijk onderzoek (Smet, 2013). Centraal in het artikel staan volgende vragen:

      • Is er in Vlaanderen reeds sprake van een evidence-based policy en hoe wordt ‘evidence-based’ ingevuld door beleidsmakers?

      • Schept de toegenomen aandacht voor evidence-based policy betere voorwaarden voor de doorwerking van SWO?

      • Welke rol zien beleidsmakers voor SWO? Wat zijn voor beleidsmakers de belangrijkste gebruiksverhogende factoren en de belangrijkste obstakels? Komen de onderzoekers hieraan tegemoet en hoe?

      Er werd gebruikgemaakt van een multi-methodisch onderzoeksdesign, met name een combinatie van een literatuurstudie, een citaats- en inhoudsanalyse van Vlaamse parlementaire bronnen (1995-2010, N = 163) en een online bevraging (in 2010) van Vlaamse universitaire onderzoekers uit de sociale wetenschappen (N = 641) en Vlaamse beleidsmakers (N = 97).

      Gelet op de beperkte kennis inzake kennisgebruik op de verschillende beleidsniveaus en aangezien uit onderzoek bleek dat de beleidsvormingsrol van ambtenaren onderschat wordt (Van Coppenolle, 2009), werd beslist om alle groepen beleidsmakers/beleidsniveaus binnen de Vlaamse overheid te bevragen: in se de kabinetten, departementen en de agentschappen (de zgn. IVA’s en EVA’s) (tabel 1). De departementen dienen bij te dragen aan zowel de beleidsvoorbereiding als -evaluatie van de beleidsuitvoering. Ze dienen ook het beleidsgericht onderzoek aan te sturen en de resultaten ervan aan te wenden, wat ze een relevante groep maakt voor de vraag naar kennisgebruik. De agentschappen dienen beleidsrelevante informatie aan te leveren voor de beleidsevaluatie en staan verder in voor de beleidsuitvoering. Intern verzelfstandigde agentschappen (IVA’s) behoren tot een ministerie en worden van nabij door de minister aangestuurd. Samen met het departement vormen zij het Vlaams Ministerie van een beleidsdomein. Extern verzelfstandigde agentschappen (EVA’s) maken geen deel uit van het ministerie. Ze hebben een eigen raad van bestuur en een eigen rechtspersoonlijkheid. De grootste groep respondenten werkt voor het beleidsdomein Bestuurszaken, gevolgd door Onderwijs & Vorming en daarna Cultuur, Jeugd, Sport & Media. 61,4% werkt reeds meer dan vijf jaar in hetzelfde beleidsdomein, hetgeen toont dat de respondenten aanzienlijk vertrouwd zijn met hun domein.

      Tabel 1 Beleidsniveaus in respons beleidsmakers
      Vlaamse beleidsmakers%
      Kabinetten 37,9
      Departementen 16,1
      Agentschappen
      IVA 19,5
      EVA 20,7
      Overige 5,7

      Zowel onderzoekers die reeds onderzoek voor de overheid deden als onderzoekers die dit niet deden werden bevraagd, in functie van de identificatie van mogelijke verschillen tussen deze groepen, niet alleen op het niveau van onderzoeksthema’s, aantal onderzoeken en publicaties, maar ook op het vlak van de disseminatie van onderzoeksresultaten. De onderzoekers die reeds opdrachtonderzoek deden, kregen een aantal bijkomende vragen voorgelegd.

      De survey bestond uit meerkeuzevragen, rangschikkingsvragen en een aantal stellingen (5-punt Likertschaal) rond de topics kennisgebruik en doorwerking en de variabelen omtrent deze topics die in de literatuur werden geïdentificeerd. Deze topics vielen onder volgende categorieën:

      • kenmerken van de informatie (kwaliteit van het onderzoek, relevantie van het onderzoek in beleidskringen, adaptaties met het oog op een grotere doorwerking, enz.);

      • kenmerken van de onderzoeker/onderzoeksgroep (expertise, attitude ten aanzien van adaptatie, disseminatie, reputatie, enz.);

      • kenmerken van de interactie (linking mechanisms, gedeelde probleemdefinitie, hoeveelheid beschikbare wetenschappelijke informatie, enz.);

      • kenmerken van de gebruiker (betrokkenheid bij het onderzoeksproces, ontvankelijkheid ten aanzien van outside information en wetenschappelijk onderzoek, enz.);

      • politiek-ideologische context (welgevalligheid van onderzoeksresultaten, supportive policy environment, eigenheid van het besluitvormingsproces, enz.).

      Per topic werd de mogelijkheid gegeven om bijkomende opmerkingen te maken. Er werd met een vraaglogica gewerkt, waardoor respondenten voor wie bepaalde vragen niet van toepassing waren (bijvoorbeeld beleidsmakers die niet in contact komen met onderzoek of onderzoekers die geen opdrachtonderzoek doen), automatisch werden doorverwezen naar de verdere vragen.

    • 1 Evidence-based policy: what’s in a name?

      België en Vlaanderen lijken de internationale tendens naar een roep om meer evidence-based policy (hierna afgekort als EBP) te volgen (Devos & Verlet, 2010; Devroe et al., 2008; Devroe & Ponsaers, 2008). De term evidence-based policy komt regelmatig voor in het Vlaamse beleidsdiscours. Een belangrijke vraag die echter zelden wordt gesteld, is wat beleidsmakers precies verstaan onder evidence-based policy. EBP lijkt een begrip dat ‘supposé connu’ is, het blijkt moeilijk om een eenduidige definitie te vinden (zie ook Baum et al., 2013; Young et al., 2002).

      1.1 Definiëring van EBP

      In brede zin kunnen we evidence-based policy opvatten als ‘wetenschappelijk gefundeerd beleid’, wat inhoudt dat wetenschappelijke kennis input kan leveren in elke fase van het beleidsproces (Davies, 2004). Een belangrijke voorwaarde hierbij is het gebruik van verschillende en internationale wetenschappelijke studies (Pawson, 2006). Daarnaast bestaat er ook een engere definitie van EBP, namelijk beleid dat zich baseert op ‘what works’ (Hope, 2004). In deze visie op EBP zien we voornamelijk een grote rol voor evaluerend onderzoek weggelegd en wordt voornamelijk invloed verwacht in de fase van de beleidsevaluatie. Deze beleidsevaluatie manifesteert zich vaak in de vorm van monitoring en effectmetingen.

      Verder wordt soms ook een onderscheid gemaakt tussen evidence-based en evidence-informed (knowledge informed) policy (Devroe, 2010; Nevo & Slolim-Nevo, 2011), waarbij beleidsmakers zich bij het laatste wel laten informeren door ‘evidence’, maar de genomen beslissingen niet noodzakelijk voortvloeien uit deze bewijzen (cfr. het subtiele verschil tussen kennisgebruik en doorwerking, zie o.m. Kirkhart, 2000).

      Bovenstaande definities van EBP maken duidelijk dat de invulling van ‘evidence’ kan verschillen. Alvorens na te kunnen gaan of er sprake is van EBP, is het dan ook van belang om te weten welke specifieke invulling van ‘evidence-based policy’ beleidsmakers hanteren.

      1.2 Hoe vullen beleidsmakers evidence-based in?

      Aan de hand van een citaats- en inhoudsanalyse van de Vlaamse parlementaire documenten (documenten tussen 1995 en 2010, N = 163) werd het voorkomen en de invulling van de term ‘evidence-based’ (voortaan afgekort als EB) nagegaan. Bij alle bronnen waarin de term EB voorkwam, werd ook gecontroleerd of en welke studieverwijzingen aanwezig waren.

      In meer dan de helft van de bronnen waarin de term EB voorkwam, bleek EB niet gedefinieerd te worden (59,9%, N = 97). Wanneer EB wel ingevuld werd, wordt voornamelijk verwezen naar wetenschappelijk onderzoek (32,1%, N = 52). De term ‘wetenschappelijk onderzoek’ blijkt op beleidsniveau evenwel behoorlijk ruim te worden opgevat. Voorbeelden van wat als wetenschappelijk onderzoek wordt geclassificeerd, zijn de overheid die zelf aan onderzoek doet (het bevolkingsonderzoek, de veiligheidsmonitor, bevragingen door Kind & Gezin, enz.), werken met een instituut dat zegt wetenschappelijk te onderbouwen (bijv. Sensoa), of met een centrum dat internationale publicaties tegen betaling toegankelijk maakt (bijv. CEBAM). Ook praktijkkennis en kennis van ervaringsdeskundigen worden in de beleidsdocumenten beschouwd als wetenschappelijk bewijs.

      EB als het monitoren, het opstellen van indicatoren, het uitvoeren van effectmetingen en het evalueren van beleid scoort bijzonder laag in de geanalyseerde beleidsdocumenten (4,3%, N = 7). Dit doet ons besluiten dat de cultuur van EBP in termen van evaluatie en bijbehorende monitoring nog niet sterk is doorgedrongen op het Vlaamse beleidsniveau (zie ook De Peuter, 2008), en dat bij het bestuderen van Vlaams beleid in termen van EBP beter gebruik kan worden gemaakt van de ruime definitie van op (wetenschappelijk) bewijs gebaseerd beleid in plaats van EBP te gaan verengen tot louter ‘what works’.

      Ietwat verrassend bleek in 90,2% van de documenten waarin de term EB voorkwam (N = 147) géén verwijzing naar een (reeds afgewerkte) studie terug te vinden. In totaal vinden we slechts in 16 van de onderzochte documenten een verwijzing naar één of meerdere studies: 10 bronnen verwijzen naar één studie, 6 naar meerdere studies. Van de 16 documenten met een studieverwijzing wordt in de helft van de gevallen naar internationale studies verwezen. Het aantal studieverwijzingen blijkt niet toe te nemen over de tijd. Dit komt niet overeen met een belangrijke basisvoorwaarde om van EBP te kunnen spreken, namelijk het gebruik van meerdere én internationale studies (Pawson, 2006). Het lijkt er verder op dat onderzoek eerder lukraak wordt gekozen, in functie van legitimatie van het gevoerde beleid of een te nemen beleidsbeslissing (ook bekend als ‘symbolisch kennisgebruik’, zie het volgende punt), meer dan dat een systematische aanpak aan de basis van de keuze ligt. Ook blijft hetzelfde onderzoek over de jaren heen terugkeren als bron.

      De citaats- en inhoudsanalyse toonde verder aan dat de focus op EBP sterk afhankelijk is van wie Minister is en welke klemtonen die wil leggen, meer dan tot welke partij die behoort. Ministers uit eenzelfde partij kunnen zelfs binnen hetzelfde beleidsdomein een sterk verschillende aanpak hanteren wat betreft de wetenschappelijke onderbouwing van hun beleid (Smet, 2013).

      Uit onderzoek blijkt verder dat de evaluatiemotieven in de klassieke EBP-domeinen (gezondheid, welzijn, onderwijs) lager liggen dan verwacht en sterk fluctueren (De Peuter, 2008), alsook dat beleidsevaluatie in hoofdzaak een interne aangelegenheid is, die niet wordt uitbesteed aan wetenschappelijk onderzoekers (Devroe, 2010; Vande Walle et al., 2010). Wat de rol van SWO in de beleidsevaluatie betreft, zijn de bevraagde Vlaamse beleidsmakers verdeeld. De Vlaamse onderzoekers waarderen evaluatie als mogelijke functie van wetenschappelijk onderzoek eerder laag (zie verder) en blijken het minst vaak aan evaluatieonderzoek in opdracht van het beleid te doen (Smet, 2013). Al deze vaststellingen wijzen erop dat de rol die SWO en onderzoekers kunnen spelen op het niveau van de beleidsevaluatie, tamelijk beperkt is. De cultuur van de beleidsevaluatie is nog onvoldoende ingeburgerd. Als er al aan evaluatie wordt gedaan, is dit voornamelijk een intern proces waar in het beste geval wetenschappelijk onderzoekers de middelen voor de evaluatie (indicatoren, monitor) aanreiken (zie ook Vande Walle et al., 2010) en waarbij we voornamelijk een verambtelijking van de beleidsevaluatie zien (zie ook De Peuter, 2008).

      Het is van belang om dieper in te gaan op de mogelijke vormen van doorwerking en kennisgebruik en de mate waarin deze voorkomen binnen het beleidsproces.

    • 2 Doorwerking en kennisgebruik

      2.1 Vormen van kennisgebruik en prevalentie

      Traditioneel worden drie vormen van kennisgebruik onderscheiden (Cross et al., 2000; Huberman, 1992; Rich, 1991; Weiss, 1999; Weiss & Bucuvalas, 1980):

      • Instrumenteel kennisgebruik impliceert het direct gebruik/implementeren van kennis/gegevens bij het vormgeven van beleid, wat resulteert in een gedragswijziging of wijziging van de praxis (Huberman, 1992; NCCDR, 1996). De kennis wordt aangewend om een probleem op te lossen, of om een keuze te maken over de wijze waarop een issue moet worden aangepakt.

      • Conceptueel kennisgebruik beïnvloedt de wijze waarop over een bepaald thema wordt gedacht: er vindt een verandering in denkpatronen plaats en/of bepaalde concepten raken ingeburgerd. Deze vorm van gebruik wordt ook wel cognitief gebruik genoemd, of omschreven als ‘enlightenment’ (Weiss, 1977).

      • Symbolisch kennisgebruik kent vele benamingen (politiek/strategisch/persuasief/legitimerend/tactisch gebruik) en houdt in dat beleidsmakers kennis gebruiken voor een doel dat weinig van doen heeft met de inhoud van het onderzoek (zie o.m. Ponsaers, 1999). Beleidsmakers kunnen kennis gebruiken ter legitimatie voor hun beslissingen, handelen of niet-handelen, als ammunitie, om te beïnvloeden (persuasief), enzovoort. Politiek gebruik is, met andere woorden, erg selectief: onderzoek dat overeenkomt met specifieke behoeften of idealen wordt opgepikt; wat wringt of kritisch staat ten opzichte van de uitgangspunten of behoeften, wordt niet gebruikt (zie o.m. Peters & Walgrave, 2000). We merken op dat politiek kennisgebruik ondanks de negatieve connotatie daarom niet altijd met slechte bedoelingen gebeurt. Zo kan onderzoek emanciperend werken en gebruikt worden om een publiek of politiek gecontesteerde maatregel een groter draagvlak te geven (Coleman, 1978; Patterson & Redding, 1996). Ook kan het gebruikt worden om een urgente kwestie op de beleidsagenda te krijgen.

      Deze drie vormen van kennisgebruik sluiten elkaar niet uit; hetzelfde wetenschappelijk materiaal kan op verschillende manieren en tegelijkertijd gebruikt worden in het besluitvormingsproces. Er is ook de kritiek dat deze categorieën zodanig ruim worden gedefinieerd dat ze tot catch-all categorieën verworden (Rich, 1991), alsook dat kennisgebruik en doorwerking in plaats van als een uitkomstbenadering (input-output) eerder als een dynamisch niet-lineair proces moeten worden gezien (Rich, 1997). Verder werden er ook modellen ontworpen om de potentiële interacties tussen onderzoek en beleid te kaderen (zie o.a. Hoppe, 2002), waarbij onder meer gefocust wordt op het belang van linking mechanisms om de kloof tussen wetenschap en beleid te dichten (Chagnon et al., 2010; Lampinen, 1992; Liberatore, 2001; Young & Mendizabal, 2009). In de studie van de impact van evaluatieonderzoek werden de verschillende vormen van doorwerking verder gedifferentieerd, onder meer op het vlak van individuele, interpersoonlijke en collectieve doorwerking, waardoor ook de minder zichtbare doorwerking die niet resulteert in zichtbare beleidswijzigingen, kan worden geanalyseerd (Henry & Mark, 2003). Ons onderzoek focust echter op de algemene doorwerking van SWO, en daarbinnen specifiek op opdrachtonderzoek. Hoe evaluerend onderzoek doorwerkt op Belgisch niveau en in welke mate we reeds van beleidsleren kunnen spreken, is momenteel voornamelijk onontgonnen terrein, waarbij tot nog toe voornamelijk enkel de aanwezigheid van evaluatiemotieven werd bestudeerd (De Peuter, 2008; De Peuter et al., 2008; Devroe, 2010). Uit een analyse van criminologisch evaluatieonderzoek bleek wel dat een directe doorwerking ervan niet kon worden vastgesteld, ondanks de intentie daartoe, hetgeen door beleidsmakers geweten werd aan de verschillen tussen onderzoek en beleid en door de onderzoekers aan het gebrek aan data en de problematiek van het in beeld brengen van de bestaande problemen voor het beleid (Vande Walle et al., 2010).

      2.2 De eigenlijke doorwerking van onderzoek blijkt beperkt

      Internationaal wordt hoofdzakelijk een eerder incrementele doorwerking van onderzoek vastgesteld, waarbij conceptueel en politiek kennisgebruik het vaakst voorkomen (Bogenschneider et al., 2000). Instrumenteel kennisgebruik wordt zelden vastgesteld (Brans et al., 2004; Henke, 2001; Ritter & Lancaster, 2013).

      Over één punt bestaat in de literatuur consensus: SWO wordt veel te weinig benut door beleidsmakers, zelfs indien het specifiek opdrachtonderzoek betreft (zie o.m. Albaeck, 1995; Devroe & Ponsaers, 2008; Lampinen, 1992; Ritter & Lancaster, 2013). De verklaringen hiervoor situeren zich zowel op het niveau van politiek, beleid en besluitvorming, als op het niveau van wetenschappelijk onderzoek, waar een aantal pijnpunten het kennisgebruik en de doorwerking in de weg kunnen staan (zie o.m. Ritter et al., 2010). Hierna bespreken we kort wat de belangrijkste pijnpunten zijn in de interactie tussen sociaalwetenschappelijk onderzoek en beleid, alsook wat de belangrijkste obstakels en gebruiksverhogende factoren zijn voor de door ons bevraagde beleidsmakers. Eerst gaan we echter kort in op de resultaten van onze survey op het vlak van de doorwerking van SWO.

      De bevraagde beleidsmakers gaven aan dat SWO de grootste rol speelt in de beleidsvoorbereiding, over de rol ervan in beleidsevaluatie heerst er verdeeldheid. De rol is het kleinst in de fase van de beleidsformulering, -ontwikkeling en -uitwerking. Potentieel zien de bevraagde beleidsmakers de grootste rol weggelegd voor SWO in de fase van de beleidsevaluatie, hetgeen haaks staat op de ideeën van sociale wetenschappers daarover (zie verder onder 3). Wanneer beleidsmakers wordt gevraagd naar het gebruik van SWO in de belangrijkste beleidsdocumenten, blijkt echter voor geen enkel document vaak een beroep te worden gedaan op SWO; de antwoorden situeren zich alle rond ‘af en toe’, waarbij de jaarlijkse beleidsbrief (63,6%) en ministeriële speeches het hoogst scoren (55,1%). Van alle groepen rapporteren de departementen het vaakst gebruik van SWO voor beleidsdocumenten, gevolgd door de kabinetten. De functies die beleidsmakers als de belangrijkste functies van SWO markeren (zie tabel 4), komen alle overeen met instrumenteel kennisgebruik en zijn verdeeld over de verschillende fasen van het beleidsproces.

      Beleidsmakers blijken meer dan louter kennisgebruikers te zijn, en nemen af en toe rollen op zich zoals het analyseren van welk onderzoek er bestaat (66%) en het vertalen van onderzoek naar beleidsmaatregelen (56,3%). Ietwat verrassend blijkt onderzoek van de studiedienst van de eigen Minister slechts zelden opgevolgd te worden (11,9%).

      Het verdient aanbeveling om in verder onderzoek de rol van SWO in de verschillende beleidsfasen en beleidsdocumenten verder uit te diepen, opdat de specifieke rol die SWO speelt en de redenen waarom beleidsmakers er een beroep op doen, kunnen worden geanalyseerd. De kans bestaat namelijk dat kennisgebruik niet zichtbaar is en daardoor ook niet naar voren komt in beleidsdocumenten, hetgeen verklaart waarom het aantal studieverwijzingen in de door ons geanalyseerde beleidsdocumenten zo laag ligt. Het blijkt in de praktijk ook moeilijk om (causale) verbanden te vinden tussen beleidswijzigingen en onderzoek (Leeuw & Van Gils, 2010, conform ook de eerder incrementele doorwerking van onderzoek).

      2.3 Belangrijkste pijnpunten in de interactie tussen beleid en SWO

      De belangrijkste pijnpunten op het vlak van politiek-bestuurlijke organisatie situeren zich op het niveau van input, bestuurslogica, tijdshorizon en de beperkte wendbaarheid van het beleid (conform ‘path-dependency’, Pierson, 2000). Op het niveau van wetenschappelijk onderzoek zijn vooral het gebrek aan neutraliteit (De Melo-Martín & Intemann, 2012; Hewa, 1993), fragmentarische kennis, onzekerheid, de afwezigheid van consensus, de beperkte hoeveelheid ‘bewezen kennis’ en de soms sterke tegenspraak tussen verschillende onderzoeken problematisch (Slob, 2011).

      Besluitvorming is geen cognitief rationeel keuzeproces waarbij op basis van de best mogelijke informatie beslissingen worden genomen (Abma & In ’t Veld, 2001; Hafner-Burton et al., 2013). De beleidsagenda verandert niet zo snel, beleid blijft een traag proces van kleine bijsturingen, institutionalisering en een sterke neiging tot behoudsgezindheid (Pierson, 2000). Zelden volgt er een directe beleidsmaatregel uit onderzoek (Ritter & Lancaster, 2013). De kans dat onderzoek voor grote beleidsomwentelingen zorgt, is bijgevolg zeer klein, iets wat vaak over het hoofd wordt gezien door onderzoekers, net zoals dat het geval is met de realiteit van multi-level governance (het ontbreken van een centrale actor) en de implicaties daarvan voor potentiële beleidswijzigingen. Onderzoekers lijken de rationaliteit en beweeglijkheid van het beleidsniveau regelmatig te overschatten. De politiek-bestuurlijke logica en organisatie, waarbij consensus en onderhandelbaarheid van groot belang zijn, strookt niet met de wetenschappelijk-analytische logica. Het tevreden stellen van de achterban, te winnen achterbannen, het voortbestaan van coalities en vriendschappelijke betrekkingen spelen een belangrijke rol, hetgeen de rationele (wetenschappelijke) kennis kan ‘overrulen’. In een pluralistische consensusdemocratie, die zich kenmerkt door overleg en compromissen, blijkt de onderhandelbaarheid van een voorstel veeleer dan de inhoud ervan veelal van doorslaggevend belang (Herbots, 2006; Majone, 1989; Martens, 2006). Wetenschappelijke informatie moet door dit kluwen aan input, relevante actoren, organisatie, patronen en gewoontes heen zien te geraken en al de bovengenoemde factoren kunnen de doorwerking van onderzoek in de weg staan. Een gebrekkige kennis van beleid en besluitvorming bij de betrokken onderzoekers scoort ook relatief hoog qua obstakels voor kennisgebruik bij de door ons bevraagde beleidsmakers (zie tabel 1).

      Beleidsmakers worden geconfronteerd met een overaanbod aan informatie (Sorian & Baugh, 2002), slechts een klein deel ervan bestaat uit wetenschappelijke kennis. De hoeveelheid binnenkomende informatie die beleidsmakers te verwerken krijgen, wordt vaak onderschat. Dit overaanbod impliceert dat er automatisch een informatie-filteringsproces plaatsvindt (Nelen, 2010; Weiss, 1999; Weiss & Bucuvalas, 1980). Deze filtering gebeurt niet volledig bewust (Heywood, 2002) en extrarationele elementen zoals onderliggende beliefs en voorkeuren kunnen bij de selectie van doorslaggevend belang zijn. ‘Tacit knowledge’ (zijnde de ervaringen van de betrokken beleidsmakers, hun expertise en oordeel) heeft een belangrijk maar moeilijk te detecteren aandeel in dit proces (zie o.m. Banting, 1986; Bulmer, 1986; Eraut, 2000; Richardson, 2013). Om het obstakel van het overaanbod aan informatie en het tijdsgebrek van beleidsmakers te omzeilen zetten organisaties zoals de Campbell Collaboration met het oog op de ontwikkeling van een meer evidence-informed beleid in op Systematic Reviews, waarbij in hoofdzaak evaluatieonderzoek (veelal effectmetingen) wordt gevoerd naar bepaalde afgelijnde sociale interventiemethoden. Deze praktijk lijkt nog niet erg ingeburgerd onder Vlaamse beleidsmakers, al kan de taal (systematic reviews zijn bijna uitsluitend in het Engels) een belangrijke barrière vormen. In onze survey werden de beleidsmakers niet gevraagd naar het gebruik van systematic reviews; er werd in hoofdzaak gefocust op het gebruik van binnenlands onderzoek (met name van Steunpuntonderzoek, de Studiedienst van de Vlaamse Regering, de studiedienst van de minister, de media en onderzoek van universiteiten of hogescholen). De laatstgenoemde werden het vaakst gebruikt (41,2%), gevolgd door steunpuntonderzoek (34%). Ook de media scoren relatief hoog: 76,5% van de bevraagde beleidsmakers maakt af en toe gebruik van de media als onderzoeksleveranciers, wat meteen het belang van een kwalitatieve disseminatie van onderzoeksresultaten naar de pers aantoont, die waarschijnlijk de snelste weg vormt voor onderzoek dat niet in opdracht van de overheid gebeurde om op beleidsniveau alsnog in the picture te komen. Slechts 15,2% van de bevraagde onderzoekers geeft aan hun niet-besteld onderzoek te communiceren naar de pers, slechts 12,4% verspreidt de resultaten van dit type onderzoek vaak naar beleidsmakers. Dit kan deels liggen aan de onderwerpen van deze onderzoeken. Niettemin blijkt slechts de helft van de onderzoekers (50,2%) zelden zijn opdrachtonderzoeken te verspreiden naar de pers; iets meer dan een vierde van de onderzoekers (28,4%) geeft aan dat ze de resultaten van opdrachtonderzoek vaak naar de pers te verspreiden. De academische verspreiding van opdrachtonderzoek ligt wel hoog: 83,3% van de onderzoekers verspreidt zijn onderzoeksresultaten naar de academische wereld. Dit gaat in tegen het heersend idee dat opdrachtonderzoek niet resulteert in academische output (of ten koste gaat van de academische output) en zich bijgevolg onvoldoende laat controleren op wetenschappelijke kwaliteit. Het aandeel van wetenschappelijk onderzoek in de ‘incoming information’ speelt ook een rol in het kennisgebruik: hoe kleiner het aandeel hoe lager de kans op kennisgebruik (Sorian & Baugh, 2002). De grootste groep van de door ons bevraagde beleidsmakers vond het aandeel van SWO in het totaal aan binnenkomende informatie eerder klein (57,9%, N = 33). Het aandeel ligt het hoogst bij de kabinetten, gevolgd door de departementen, en het laagst bij de EVA’s. De rangschikking van gebruiksverhogende factoren door beleidsmakers (zie tabel 3) komt overeen met de door Weiss en Bucuvalas (1980) geïdentificeerde stapsgewijze informatiefiltering, waarbij de relevantie van het onderzoek voor het beleidsdomein het belangrijkste criterium voor kennisgebruik is (zie ook de ‘vraagzijde’ bij Leeuw & Van Gils, 2010), gevolgd door de betrouwbaarheid van het onderzoek (de zgn. ‘truth-test’, die bestaat uit het aftoetsen van de wetenschappelijke kwaliteit van het onderzoek alsook de geloofwaardigheid van de resultaten, meer bepaald de conformiteit met de eigen, eerder intuïtieve ervaringen in het veld).

      2.4 Gebruiksverhogende factoren en obstakels volgens beleidsmakers

      Met het oog op het bepalen van de mogelijkheden tot doorwerking van SWO op beleidsniveau is het noodzakelijk om na te gaan wat de grootste obstakels volgens beleidsmakers zijn. Op basis van de literatuurstudie konden zeven belangrijke obstakels geïdentificeerd worden. Tabel 2 toont de rangschikking die de bevraagde beleidsmakers geven aan deze obstakels. Verder werden ook de zeven belangrijkste gebruiksverhogende factoren die uit de literatuur naar voren komen bevraagd (tabel 3). De respondenten werd gevraagd om het belangrijkste en tweede belangrijkste item te markeren.

      Tabel 2 Obstakels voor kennisgebruik en doorwerking volgens Vlaamse beleidsmakers (in aflopend belang)
      ObstakelsN
      Afwezigheid van beleidsaanbevelingen 25
      Tegenspraak tussen verschillende onderzoeken 24
      Onderzoekers hebben te beperkte kennis van beleid en besluitvorming 24
      Te weinig tijd voor het analyseren en bestuderen van onderzoek 20
      Onderzoek is te weinig domeinspecifiek 19
      Resultaten zijn politiek onacceptabel 5
      Het aanbod is te groot 3

      Zowel qua gebruiksverhogende factoren als qua mogelijke obstakels voor kennisgebruik lijken politiek-ideologische factoren minder belang te hebben dan de kenmerken van de informatie en de kenmerken van de gebruiker. Aangepastheid aan de noden van de gebruiker en relevantie voor het beleidsdomein werken gebruiksverhogend, de afwezigheid van beleidsaanbevelingen, het gebrek aan eenduidigheid, de beperkte kennis van het beleidsproces en het gebrek aan tijd staan doorwerking in de weg. Beleidsmakers prefereren duidelijk een werkklaar, eenduidig en aangepast product, en de belangrijkste obstakels voor doorwerking situeren zich op het vlak van de spanningsvelden tussen wetenschap en beleid. Naarmate onderzoekers meer rekening houden met deze factoren, kan het kennisgebruik mogelijk verhogen. Anderzijds neemt onderzoek dat zich aanpast aan de noden van de gebruiker, de inherente kenmerken van beleid en onderzoek die een obstakel vormen voor doorwerking en kennisgebruik niet weg. Onderzoekers die aan opdrachtonderzoek doen of deden, bleken echter in te zetten op een aantal relevante adaptaties van hun onderzoek. Het vaakst wordt gefocust op de leesbaarheid en begrijpelijkheid (95,8%), het gebruik van operationele doelgerichte conclusies of aanbevelingen (88,4%) en vertaling van het onderzoek naar beleidsmaatregelen (80,1%). Minder werd gelet op de focus op variabelen die beleidsmakers kunnen controleren (39,4%) of op een aantrekkelijke vormgeving (die soms de leesbaarheid en aantrekkelijkheid ten goede komt) (53,7%). Met de gevoeligheden van beleidsmakers werd het minst vaak rekening gehouden (34,4%). Iets minder dan twee derde van de onderzoekers meent dat hun opdrachtonderzoek overeenkomt met de verwachtingen van de gebruiker.

      Tabel 3 Gebruiksverhogende factoren volgens beleidsmakers (in aflopend belang)
      Gebruiksverhogende factorenN
      Relevantie voor beleidsdomein 34
      Kwaliteit van het onderzoek 32
      Aangepastheid aan het beleidsdomein en de gebruiker 25
      Geloofwaardigheid van de onderzoeksresultaten 14
      Betreft kwantitatief onderzoek 9
      Ideologische oriëntatie onderzoeker 2
      Aanwezigheid juiste politieke en mediaklimaat 3

    • 3 Welke functies zien beleidsmakers en onderzoekers voor SWO?

      Tot slot werd ook nagegaan welke van de in de literatuur geïdentificeerde mogelijke functies van SWO beleidsmakers het belangrijkste achten (tabel 4). Daarbij lijken vooral functies die overeenkomen met conceptueel (nagaan van mogelijke verklaringen voor een probleem) en instrumenteel (keuze uit mogelijke beleidsalternatieven, evalueren van beleidsmaatregelen) kennisgebruik te domineren. Politiek kennisgebruik lijkt laag te scoren, al kan de respons mogelijk vertekend zijn door sociaal wenselijke antwoorden, gelet op de negatieve bijklank die deze vorm van kennisgebruik heeft. De belangrijkste functies lijken zich te situeren op het niveau van de beleidsvoorbereiding, al zien de bevraagde beleidsmakers ook een belangrijke rol weggelegd voor het evalueren van beleidsmaatregelen. In de bevraging werd evenwel niet gespecificeerd hoe de evaluatie dient te geschieden, mogelijk komt deze functie voornamelijk overeen met het aanleveren van de tools voor de evaluatie, waarna deze verder intern, op het beleidsniveau, gebeurt. De agenderende functie van SWO scoort opmerkelijk laag bij de beleidsmakers, hoewel de bevraagde onderzoekers hier een belangrijke rol voor SWO zien weggelegd. Onderzoekers blijken minder belang te hechten aan de mogelijke rol van SWO naarmate deze dichter bij de beleidsverantwoordelijkheid komt te liggen, de respondenten lijken SWO eerder als een aanzet en een richtinggevend hulpmiddel op te vatten, waarbij de bewustmakingsfunctie in tegenstelling tot resultaten van de beleidsmakers hoog scoort, net zoals de agenderende functie (tabel 4). Evaluatie scoort het laagst als functie van SWO bij de onderzoekers, hetgeen een potentieel probleem vormt voor EBP opgevat als evaluatie en in de lijn ligt met de verambtelijking van de beleidsevaluatie op Vlaams niveau.

      Tabel 4 Functies van SWO voor beleidsmakers en onderzoekers (in aflopend belang)
      BeleidsmakersOnderzoekers
      Functie N Functie %
      Nagaan van mogelijke verklaringen voor een probleem 25 Een andere denkrichting geven 23,7
      Keuze maken uit mogelijke beleidsalternatieven 22 Mogelijke determinanten voor problemen geven 22,2
      Evalueren beleidsmaatregelen 21 Beleidsmakers bewust maken van nieuwe of bestaande problemen zodat deze op de agenda komen 18,7
      Overzicht van de mogelijke beleidsalternatieven 17 Beleidsaanbevelingen doen 15,4
      Legitimatie gebruikte beleid 14 Helpen bij het definiëren van problemen 9
      Pleidooi voor beleidsverandering 14 Helpen bij het ontwerpen van beleid 6,2
      Aandacht vragen voor een bepaalde kwestie 4 Evalueren van beleid 4,8

    • 4 Discussie en conclusie

      Allereerst dienen we op enkele beperkingen van het onderzoek te wijzen. Het ontbreken van een geijkte methode om de invloed van onderzoek te meten bemoeilijkt het antwoord op vragen naar kennisgebruik/doorwerking en hoe evidence-based het huidige beleid is. Een tweede punt dat hierbij aansluit: de invloed van onderzoek in de fase van de beleidsvoorbereiding is vaak niet zichtbaar in beleidsdocumenten, hetgeen mogelijk de sterke discrepantie verklaart die werd vastgesteld tussen het in de survey gerapporteerde en het zichtbare kennisgebruik in de geanalyseerde beleidsdocumenten (zie ook Ritter & Lancaster, 2013). Dit illustreert eens te meer dat kennisgebruik als proces dient te worden benaderd en niet enkel als een uitkomst (Bekkers et al., 2004; Brans et al., 2004; Rich, 1997; Ritter & Lancaster, 2013; Weiss, 1999).

      Verder geeft de analyse van parlementaire bronnen geen volledig uitsluitsel wat het gevoerde beleid betreft: of de beleidsintenties effectief omgezet worden in beleid, kan niet worden gecontroleerd aan de hand van deze bronnen. Door het bevragen van beleidsmakers werd gepoogd dit euvel ietwat te ondervangen, al blijft de vraag of beleidsmakers zich wel bewust zijn van welke informatie er binnenkomt, hoe deze wordt verwerkt en of ze hen al dan niet beïnvloedt in hun keuzes (conform beleidsmakers rapporteren SWO slechts af en toe te gebruiken voor beleidsdocumenten). Ook valt de praktijk die men zegt te volgen niet altijd samen met de eigenlijke praktijk (‘action theory of contingent repertoire’) en zijn de motieven die men aangeeft (‘espoused theory of rationalistic repertoire’) niet altijd degene die effectief spelen (Hoppe, 2002; Schön, 1994).

      Een aantal vragen blijft onbeantwoord in ons onderzoek (Hoe wordt kennis gebruikt door beleidsmakers? Wat zijn de selectiecriteria? Resulteert onderzoek dat zich meer aanpast aan de noden van beleidsmakers automatisch in meer doorwerking?) en een deel van de bevindingen uit de bevraging komt niet overeen met de gangbare inzichten van de literatuur over kennisgebruik, namelijk het belang dat beleidsmakers hechten aan functies die aansluiten bij instrumenteel kennisgebruik en de rol die SWO kan spelen in de beleidsevaluatie, die echter als de minst belangrijke rol van SWO wordt gemarkeerd door de bevraagde onderzoekers.

      Bovenstaande bevindingen maken duidelijk dat er nog werk aan de winkel is op het vlak van de studie van kennisgebruik en doorwerking. Hierbij dienen gestandaardiseerde manieren te worden gezocht om te controleren welke functies onderzoek vervult in de verschillende beleidsfasen en -documenten alsook wat het kennisgebruik precies inhoudt (in plaats van louter te vragen naar gebruik). Verder onderzoek is ook nodig naar de specifieke kennisverwerving van beleidsmakers (ook naar de rol van de media als onderzoeksleverancier en de vraag of Vlaamse beleidsmakers gebruikmaken van systematic reviews en meta-analyses), de bijhorende informatiefiltering en het kennistransformatieproces, waarbij beleidsmakers ook als medekennisproducent opgevat dienen te worden (analyse, interpretatie, samenvatting en vertaling). Idealiter wordt hiervoor multi-methodisch gewerkt, met een combinatie van casestudies van opdrachtonderzoek (het Steunpuntonderzoek zou zich hiertoe goed lenen), interviews met alle betrokkenen en beleidsdocumentanalyse. Meer aandacht is verder nodig voor de praktijk van de beleidsevaluatie en de impact ervan (is er in Vlaanderen sprake van beleidsgericht leren?).

      Samenvattend lijkt de EBP-gedachte haaks te staan op de bevindingen in de literatuur wat doorwerking, kennisgebruik en besluitvorming betreft. EBP lijkt een verhoogde rationalisering van het besluitvormingsproces te veronderstellen en grijpt terug naar een rational choice-model van besluitvorming, met bijbehorend instrumenteel kennisgebruik. Onderzoek toonde evenwel aan dat de rational choice-benadering een weinig realistisch besluitvormingsmodel is (Saurugger, 2013; Hafner-Burton et al., 2013) en dat instrumenteel kennisgebruik relatief weinig voorkomt (Bogenschneider et al., 2000; Brans et al., 2004; Henke, 2001; Ritter & Lancaster, 2013). Ook de praktijk van multi-level governance kan de doorwerking van onderzoek in de weg staan. Belgische ambtenaren zijn veelal eerder specialistisch en brengen het merendeel van hun carrière door binnen dezelfde organisatie (Hoet & Brans, 2003). Bijgevolg dient rekening te worden gehouden met het bestaan van veel interne kennis, die de doorwerkingsmogelijkheden van wetenschappelijk onderzoek sterk kan beperken.

      Momenteel zien we nog onvoldoende aanwijzingen dat op Vlaams niveau aan EBP wordt gedaan. Het discours is wel aanwezig en komt vaker voor in beleidsdomeinen waar internationaal veel aandacht gaat naar EBP (zoals gezondheid, welzijn en onderwijs; De Peuter, 2008; Smet, 2013), maar van een echte EBP-praktijk blijkt nog geen sprake. Vaststellingen zoals het gebrek aan studieverwijzingen en het feit dat EB in meer dan de helft van de gevallen niet wordt ingevuld, dan wel verschillende invullingen kent die door elkaar worden gebruikt, bevestigen dit. Hoogstens kunnen sommige beleidselementen als evidence-informed policy worden geclassificeerd. Vlaamse beleidsmakers hanteren geen eenduidige invulling van het begrip evidence-based, al domineert de invulling gebaseerd op wetenschappelijk onderzoek (dat eerder ruim wordt opgevat door beleidsmakers) en lijkt de enge definitie van EBP als ‘what works’ (beleidsevaluatie) aanzienlijk minder vaak voor te komen. De potentiële rol van SWO is het grootste op het niveau van de beleidsvoorbereiding. De evaluatiemotieven zijn beperkter aanwezig dan werd verwacht in de terreinen waar internationaal een EBP-trend werd gezien (De Peuter, 2008) en beleidsevaluatie lijkt meer te worden geïnternaliseerd, waarbij wetenschappelijk onderzoekers in het beste geval de meetsystemen ervoor ontwikkelen. Het gevaar bestaat dat het proces hier stopt; men heeft data (bijvoorbeeld op basis van indicatoren), maar de dieperliggende aspecten van fenomenen waar het beleid op wil inspelen, blijven onderbelicht (zie ook Korsten, 2013). Kennis en een beleid gebaseerd op ‘evidence’ kan daardoor gereduceerd worden tot het hebben van cijfers en data, zonder dat over de ‘bigger picture’ en achterliggende verklaringen, die veelal fundamenteler onderzoek behoeven, wordt nagedacht. Onderzoekers zelf lijken weinig belang te hechten aan de rol van beleidsevaluator en zien dit als de minst belangrijke taak voor SWO.

      Het hoofdargument tegen een verhoogde doorwerking van SWO naar aanleiding van een toenemend EBP-discours is de vaststelling dat de bevraagde beleidsmakers de pijnpunten en spanningsvelden tussen SWO en beleid als belangrijkste obstakels voor kennisgebruik en doorwerking markeren. Een bijkomende vraag die kan worden gesteld, is of (sociaalwetenschappelijk) onderzoek in se wel kan voldoen aan de eisen van beleidsmakers. De aanzienlijke verschillen tussen wetenschap en beleid blijven immers de belangrijkste pijnpunten in de interactie van SWO en beleid. In het enthousiasme met betrekking tot de mogelijkheden van EBP lijkt voorbij te worden gegaan aan de essentiële kenmerken van beleid en SWO, waarbij de bestaande onzekerheid en het gebrek aan kennis wordt vergeten en de rationaliteit van besluitvorming en het instrumenteel kennisgebruik overschat worden. Er is hoe dan ook behoefte aan meer empirisch onderzoek naar deze thematiek. Verder zal de toekomst moeten uitwijzen hoe de EBP-gedachte zich verder manifesteert in het beleidsproces, en of deze al dan niet resulteert in een verhoogde doorwerking van wetenschappelijk onderzoek, dan wel in een toenemende internalisering en verambtelijking van zowel kennisvergaring als beleidsevaluatie.

    • Literatuur
    • Abma, T., &. In ’t Veld, R. (2001). Handboek beleidswetenschap. Perspectieven, thema’s, praktijkvoorbeelden. Amsterdam: Boom.

    • Albaeck, E. (1995). Between knowledge and power: utilization of social science in public policy making. Policy Sciences, 28(1), 79-100.

    • Banting, K. (1986). The social policy process. In M. Bulmer (Ed.), Social science and policy (pp. 41-59). London: Allen & Unwin.

    • Baum, K., Blakeslee, K.M., Lloyd, J., & Petrosino, A. (2013). Violence prevention: moving from evidence to implementation. Discussion Paper. Institute of Medicine of the National Academies.

    • Bekkers, V., Fenger, M., Homburg, V., & Putters, K. (2004). Doorwerking van strategische beleidsadvisering. Erasmus Universiteit Rotterdam & Universiteit van Tilburg.

    • Bogenschneider, K., Olson, J.R., Linney, K.D., & Mills, J. (2000). Connecting Research and Policymaking: Implications for Theory and Practice from the Family Impact Seminars. Family Relations, 49, 327-339.

    • Brans, M., Eric, F., Jacobs, D., Martiniello, M., Rea, A., Swyngedouw, M., & Van der Straeten, T. (2004). Onderzoek en beleid: de gevalstudie van immigratie in België. Gent: Academia Press.

    • Bulmer, M. (1986). Social science and social policy. London: Allen & Unwin.

    • Chagnon, F. et al. (2010). Comparison of determinants of research knowledge utilization by practitioners and administrators in the field of child and family social services. Implementation Science, 5, 41.

    • Coleman, D.A. (1991). Policy Research- Who Needs It? Governance: an international journal of policy and administration, 4, 420-450.

    • Coleman, J.S. (1978). The use of social science research in the development of public policy. The urban review, 10, 197-202.

    • Cross, M., Henke, R., Oberknezev, P., & Pouliasi, K. (2000). Building bridges. Towards effective means of linking scientific research and public policy: migrants in European cities. An exploratory survey in 10 European countries by Metropolis International (European arm) for the European Commission. Utrecht: Netherlands School for Social and Economic Policy Research (AWSB).

    • Davies, P. (2004). Is evidence-based government possible? Jerry Lee Lecture, 4th Annual Campbell Collaboration Colloqium, Washington, February 19th.

    • De Peuter, B. (2008). Towards a mature evaluation culture in Belgium and Flanders? A search of drivers, recent developments and challenges. Symposium Policy and programme evaluation in Europe: cultures and prospects. Frankrijk: Strasbourg. 3-4 juli 2008.

    • De Peuter, B., Pattyn, V., & Brans, M. (2008). Perverse effecten bij beleidsevaluatie? Een risicoanalyse van de praktijk in Vlaanderen in het licht van mogelijke evaluatiemotieven. Politicologen-etmaal. Workshop ‘Beleidsevaluatie: doel of middel?’. Nijmegen, 29-30 mei 2008.

    • Devos, C., & Verlet, D. (2010). Efficiëntie en effectiviteit van de publieke sector in de weegschaal. Sint-Niklaas: Room.

    • Devroe, E., & Ponsaers, P. (2008). Veel beleidsinformatie, weinig gebruik: over het informatiedeficit van verborgen tendensen. Orde van de dag. Criminaliteit en samenleving, 41, 161-174.

    • Devroe, E. (2010). Wetenschap voor beleid of beleid voor wetenschap? Een analyse van 15 jaar politie en justitie onderzoek in België. Panopticon, 31, 11-39.

    • Devroe, E., Deschamps, L., & Hannes, K. (2008). Evidence-based beleidsvoering in de kijker. Twee Belgische initiatieven. Panopticon, 6, 59-66.

    • De Melo- Martín, I., & Intemann, K. (2012). Interpreting evidence: why values can matter as much as science. Perspectives in Biology and Medicine, 55(1), 59-70.

    • Eraut, M. (2000). Non-formal learning and tacit knowledge in professional work. British Journal of Educational Psychology, 70, 113-136.

    • EWI (2003). Wetenschap, technologie en innovatie speurgids. Brussel: Departement Economie, Wetenschap en Innovatie.

    • Hafner-Burton, E.M., Hughes, D.A., & Victor, D.G. (2013). The cognitive revolution and the political psychology of elite decision making. Perspective on politics, 11(2), 368-386.

    • Henke, R. (2001). A framework for understanding cross-national differences in the relationship between research and policy. Journal of International Migration and Integration, 2, 581-611.

    • Henry, G.T., & Mark, M.M. (2003). Beyond use: understanding evaluation’s influence on attitudes and actions. American Journal of Evaluation, 24(3), 293-314.

    • Herbots, K. (2006). Stilte, hier denkt schoon volk. De Morgen, 18 maart.

    • Heywood, A. (2002). Politics. New York: Palgrave Foundations.

    • Hewa, S. (1993). Sociology and public policy: the debate on value-free social science. International Journal of Sociology and Social Policy, 13, 64-82.

    • Hoet, D., & Brans, M. (2003). Politiek-ambtelijke verhoudingen: Over aversie, chemie en samenwerking tussen ambtenaren en politici in België en Nederland. Burger, bestuur en beleid, 1, 3.

    • Hope, T. (2004). Pretend it works: evidence and governance in the evaluation of the Reducing Burglary Initiative. Criminal Justice, 4, 287-307.

    • Hoppe, R. (2002). Van flipperkast naar grensverkeer, veranderende visies op de relatie tussen wetenschap en beleid. Den Haag: AWT.

    • Huberman, M. (1992). Linking the Practitioner and Research Communities for School Improvement. Address to the International Congress for School Effectiveness and Improvement, National Research Council, U.S.A. Washington, D.C.: ERIC Clearinghouse.

    • Kirkhart, K.E. (2000). Reconceptualizing evaluation use: An integrated theory of influence. New Directions for Evaluation, 2000(88), 5-23.

    • Korsten, A.F.A. (2013). De evaluatoren: wat ze kunnen leren van kritiek. 3 april. http://www.arnokorsten.nl/PDF/Onderzoek/Wat%20evaluatoren%20van%20kritiek%20kunnen%20leren.pdf

    • Lampinen, O. (1992). Utilization of social science research in public policy. Helsinki: VAPK Publishing.

    • Leeuw, F., & Van Gils, G. (2010). Over benutting van beleidsevaluaties bij het Ministerie van Buitenlandse zaken. In H. Aardema, W. Derksen, M. Herweijer & P. de Jong (red.), Meerwaarde van de bestuurskunde. Liber amicorum voor prof. dr. Arno F.A. Korsten (pp. 165-174). Den Haag: Boom Lemma uitgevers.

    • Liberatore, A. (2001). From science/policy interface to science/policy/society dialogue. In OECD (Ed.), Social sciences for knowledge and decision-making (pp. 117-128). Paris.

    • Lindblom, C. (1980). The policy-making process. Englewood Cliffs, NJ: Prentice Hall.

    • Majone, G. (1989). Evidence, argument and persuasion in the policy process. New Haven and London: Yale University Press.

    • Martens, A. (2006). Wetenschap en beleid. Betoog voor een LAT-relatie. Ethiek & Maatschappij, 9(2), 92-102.

    • NCCDR (1996). A review of the literature on dissemination and knowledge utilization. http://www.researchutilization.org/matrix/resources/review/

    • Nelen, H. (2010). Verstrikt in het evidence based web. Panopticon, 31, 72-83.

    • Nevo, I., & Slolim-Nevo, V. (2011). The Myth of Evidence-Based Practice: Towards Evidence-Informed Practice. British Journal of Social Work, 41(6), 1176-1197.

    • Patterson, C.J., & Redding, R.E. (1996). Lesbian and gay families with children: implications of social science research for policy. Journal of social issues, 52, 29-50.

    • Pawson, R. (2006). Evidence-based policy. A realist perspective. London: Sage.

    • Peters, T., & Walgrave, L. (2000). Criminologie op een kruispunt van wegen? Tussen beleidsdienende techniek of wetenschappelijke ontplooiing. In J. Vanderborght (red.), Criminologie: de wetenschap, de mens (pp. 29-43). Brussel: Politeia.

    • Pierson, P. (2000). Increasing Returns, Path Dependence, and the Study of Politics. The American Political Science Review, 94, 251-267.

    • Ponsaers, P. (1999). Gezocht: onderkomen voor verweesd Belgisch beleidsondersteunend onderzoek- een pleidooi van een rationeel informatiebeleid. Tijdschrift voor Criminologie, 41, 409-418.

    • Rich, R.F. (1991). Measuring knowledge utilization process and outcomes. Knowledge and Policy: The International Journal of Knowledge Transfer and Utilization, 10, 3-10.

    • Rich, R.F. (1997). Measuring knowledge utilization: processes and outcomes. Knowledge, technology & policy, 10, 11-23.

    • Richardson, l. (2013). Putting the research boot on the policymakers' foot: can participatory approaches change the relationship between policymakers and evaluation? Social Policy & Administration, 47(4), 483-500.

    • Ritter, A., & Lancaster, K. (2013). Measuring research influence on drug policy: a case example of two epidemiological monitoring systems. International Journal of Drug Policy, 24(1), 30-37.

    • Ritter, A., Bammer, G., Hamilton, M., & Mazerolle, L. (2010). Effective drug policy: a new approach demonstrated in the Drug Policy Modelling Program. Drug and Alcohol Review, 26(3), 265-271.

    • Saurugger, S. (2013). Constructivism and public policy approaches in the EU: from ideas to power games. Journal of European Public Policy, 20(6), 888-906.

    • Schön, D.A. (1994). Frame refelection: toward the resolution of intractable policy controversies. New York: Basic Books.

    • Slob, M. (2011). Afscheid nemen van het vertrouwde verlichtingsmodel. Daniel Sarewitz over politiek en wetenschap. Flux. Magazine Rathenau Instituut, april, 25-31.

    • Smet, V. (2013). Sociaalwetenschappelijk onderzoek en beleid. Een analyse van de interactie, kennisgebruik en doorwerking in België en Vlaanderen. Het Groene Gras. Den Haag: Boom Lemma uitgevers.

    • Sorian, R., &. Baugh, T. (2002). Power of information: closing the gap between research and policy. Health Affairs, 21, 264-273.

    • Van Coppenolle, D. (2009). Beleidswerk door ambtenaren en kabinetsmedewerkers: feiten achter de stereotypes. Een verkenning in de Vlaamse Overheid. Brugge: Vanden Broele.

    • Vande Walle, G., Wayenberg, E., Dormaels, A., & Easton, M. (2010). De plaats en betekenis van evaluatieonderzoek in de interbestuurlijke veiligheids- en preventieplannen. Panopticon, 31, 40-57.

    • Weiss, C.H., & Bucuvalas, M.J. (1980). Social science research and decision-making. New York: Columbia University Press.

    • Weiss, C.H. (1977). The challenge of social research to decision-making. In C. Weiss (Ed.), Using social research in public policymaking (pp. 213-233). Lexington, MA: Lexington Books.

    • Weiss, C.H. (1999). Research-policy linkages: how much influence does social science research have. In UNESCO (Ed.), World social science report 1999 (pp. 194-205). Paris: Elsevier.

    • Young, K., Ashby, D., Boaz, A., & Grayson, L. (2002). Social Science and the Evidence-based Policy Movement. Social Policy and Society, 1, 215-224.

    • Young, J., & Mendizabal, E. (2009). Helping researchers become policy entrepreneurs: How to develop strategies for evidence-based policy-making. ODI Briefing Papers 53. London.

Reageer

Tekst


Print dit artikel