-
1 In de uitkomstevaluatie zijn de ontwikkelingen van de SNTR-deelnemers door de tijd heen vergeleken met statushouders uit de gemeentelijke aanpak. Hierbij gaat het om bevindingen op beschrijvend niveau. Dit wil zeggen dat er nog geen conclusies zijn getrokken over de effectiviteit van het SNTR-programma, aangezien de groep SNTR-deelnemers wezenlijk verschilt van de statushouders in de gemeentelijke aanpak. In de effectevaluatie is vervolgens een deel van de SNTR-deelnemers gekoppeld aan statushouders met gelijksoortige profielen uit de gemeentelijke aanpak door middel van een statistische methode (coarsened exact matching).
‘Zoek het in de combinatie van procesevaluatie en uitkomstevaluatie. Daar word je wijzer van.’
De Nederlandse Sociologische Vereniging (NSV) en de Vereniging voor Beleidsonderzoek (VBO) reiken tweejaarlijks de Prijs voor Beleidsonderzoek uit. De prijs beoogt het vele interessante praktijkonderzoek dat in Nederland plaatsvindt, beter voor het voetlicht te brengen. Het beleidsonderzoek en/of advies waarin de wisselwerking tussen wetenschap en toegepast onderzoek het duidelijkst naar voren komt, wint de prijs. Dit jaar werden voor het eerst twee prijzen uitgereikt. Het winnende rapport in de prijscategorie boven de 80.000 euro werd: ‘Met alles opnieuw starten’: Een onderzoek naar de werking van het programma van Stichting Nieuw Thuis Rotterdam. Het onderzoek werd in opdracht van Stichting De Verre Bergen uitgevoerd door het EUR Bridge-onderzoeksteam: Jaco Dagevos, Barbara van der Ent, Jolien Klok, Meta van der Linden, Adriaan Oostveen en Meghan Rens. Voor het onderzoek is samengewerkt met onderzoeksbureau Labyrinth, dat het veldwerk heeft uitgevoerd voor de panelsurveys. Onderzoekers van Regioplan hebben een belangrijke bijdrage geleverd aan de procesevaluatie en de rapportage daarover.
Wij spraken met Jaco Dagevos, de projectleider van het Bridge-onderzoek, over de prijs, het belang van het onderzoek, methodologische uitdagingen en benutting. Jaco Dagevos is bijzonder hoogleraar Integratie en Migratie aan de Erasmus Universiteit Rotterdam (EUR) en is als senior onderzoeker verbonden aan het Sociaal en Cultureel Planbureau (SCP). Dagevos publiceerde onder meer over de positie van vluchtelingengroepen, integratie van migrantengroepen, de positie van EU-arbeidsmigranten en discriminatie. Het Bridge-onderzoek naar het programma van SNTR (Stichting Nieuw Thuis Rotterdam) is uitgevoerd in het kader van zijn leerstoel.
Van harte gefeliciteerd met het winnen van de NSV-VBO-prijs. Waarom is het van belang dat evaluaties zoals deze gewaardeerd worden?
Dank je. Wat ik heel mooi vind aan het project, is dat we een proces- en uitkomstevaluatie gecombineerd hebben. Wat ik zie, is dat er, ook met de komst van de nieuwe inburgeringswet, veel procesevaluaties zijn gedaan binnen het evaluatieterrein van inburgering, maar weinig uitkomstevaluaties. Een combinatie is ook zeldzaam. Wat ik van dit project heb geleerd, is dat je beide vormen van evaluatie moet combineren. Ik denk namelijk dat wij het SNTR-programma heel erg positief zouden hebben beoordeeld, als wij voor dit onderzoek alleen de procesevaluatie zouden hebben uitgevoerd. Qua structuur en inrichtingskeuzes is het SNTR namelijk een heel goed programma, maar we hebben gezien dat zaken misgaan in de uitvoering of dat bepaalde veronderstellingen, bijvoorbeeld ten aanzien van intensief beleid, in de praktijk toch anders uitpakken. Dat zie je pas als je een vergelijking kunt maken met een vergelijkingsgroep. Aan de andere kant heb je een evaluatie waarbij je vooral naar de uitkomsten kijkt, werken met RCT bijvoorbeeld. Dat is allemaal prachtig, maar als je dan geen procesevaluatie doet, dan begrijp je de uitkomsten weer niet. Je moet dit allebei doen. De prijs is leuk en is een bekroning op het werk van het team. Het laat de waarde zien van onze aanpak. Als we iets moeten leren van dit project over onderzoek naar beleidseffectiviteit, dan zou ik zeggen: zoek het in de combinatie van procesevaluatie en uitkomstevaluatie. Daar word je wijzer van.
Het SNTR-programma dat in het Bridge-project is geëvalueerd, had tot doel om Syrische gezinnen met verblijfsstatus te helpen om snel te integreren. De aanpak bestond uit een meer structurele kant alsook een sociaal-culturele kant. Wat was in het kort de onderliggende beleidstheorie van het programma en hoe verschilde deze van de reguliere aanpak van de gemeente?
Bij het SNTR-project was veel meer sprake van ondersteuning van de statushouder, zowel in termen van het leren van de Nederlandse taal als bij de maatschappelijke begeleiding. SNTR heeft zelf taalscholen geselecteerd met het idee dat er op de reguliere markt van taalaanbieders veel misging. In feite was de algemene veronderstelling achter het programma: we zien dat er in het reguliere inburgeringsbeleid veel misgaat omdat er wordt uitgegaan van zelfredzaamheid; zelfredzaamheid op een markt van taalaanbieders die eigenlijk ongecontroleerd is en waar kwaliteit niet altijd wordt geleverd. Dit zou het programma beter aanpakken, in combinatie met intensieve ondersteuning op het terrein van maatschappelijke begeleiding. Hier zit dus een ander mensbeeld achter: meer ondersteuning versus het (oude) inburgeringsbeleid, dat toen erg gericht was op eigen verantwoordelijkheid, weinig ondersteuning en geen of nauwelijks controle op de markt van taalaanbieders. Dat zijn, heel in het kort, de verschillen.
Stichting De Verre Bergen staat er in Rotterdam om bekend dat zij onderzoek doet en onderzoek uitbesteedt om te bepalen welk maatschappelijk rendement zij met programma’s behaalt. Kun je meer vertellen over de wijze waarop dit onderzoeksproject tot stand is gekomen?
Stichting De Verre Bergen laat voor haar projecten in Rotterdam altijd evaluatieonderzoek doen met het idee: wat kunnen wij en ook anderen leren van de gekozen aanpak? Dat is voor hen de belangrijkste reden om dit soort type onderzoek te laten uitvoeren en daarom is De Verre Bergen naar mij toe gekomen met het verzoek of ik dit onderzoek wilde doen.
De effectevaluatie1x In de uitkomstevaluatie zijn de ontwikkelingen van de SNTR-deelnemers door de tijd heen vergeleken met statushouders uit de gemeentelijke aanpak. Hierbij gaat het om bevindingen op beschrijvend niveau. Dit wil zeggen dat er nog geen conclusies zijn getrokken over de effectiviteit van het SNTR-programma, aangezien de groep SNTR-deelnemers wezenlijk verschilt van de statushouders in de gemeentelijke aanpak. In de effectevaluatie is vervolgens een deel van de SNTR-deelnemers gekoppeld aan statushouders met gelijksoortige profielen uit de gemeentelijke aanpak door middel van een statistische methode (coarsened exact matching). die jullie hebben uitgevoerd, zegt voornamelijk iets over de relatieve effectiviteit van het SNTR-programma. Deze is namelijk vergeleken met de effectiviteit van het programma van de gemeente. Een van de meest opvallende conclusies is dan ook dat de intensieve aanpak van het programma van SNTR niet beter werkt dan de aanpak van de gemeente, die minder intensief is. Tegelijkertijd stelde de stichting zich op als een lerende organisatie en werden gedurende het onderzoek interventiestrategieën ontwikkeld of aangepast. In hoeverre heeft dit gegeven volgens jou invloed gehad op de resultaten? Verwacht je dat er op de lange termijn wellicht wel verschillen in effecten meetbaar zouden kunnen zijn?
Het meten van effecten terwijl de interventiestrategieën worden aangepast, is lastig, maar dat geldt voor beide partijen die onderzocht zijn. Ook bij de gemeente zijn er best veel veranderingen geweest. Dus het is heel lastig om dat precies te isoleren, zowel bij de gemeente als bij de SNTR. In feite kijk je naar de totale output van het beleid en de veranderingen in het beleid ten aanzien van de integratie van de deelnemers.
De langetermijneffecten vind ik ook best spannend. Het SNTR-project heeft een soort settle-first-aanpak gehanteerd: eerst investeren in taal en in netwerken. Het zou best kunnen dat dit op de langere termijn meer gaat opleveren. We hebben inmiddels een derde meting gedaan; daar zagen we dat eigenlijk niet, maar dit soort processen duren lang. Binnen dit veld is er niet heel veel bekend over de langetermijneffecten van dit soort interventies. Je hebt projecten in Amerika op het terrein van onderwijsvoorrangsbeleid, waar je best langetermijneffecten ziet. Het kan dus wel. Het blijft een open vraag.
De derde meting is na het Bridge-onderzoek uitgevoerd, begrijp ik. Wat waren de resultaten?
De derde meting is van 2020-2021. We zien eigenlijk dezelfde ontwikkelingen, dezelfde lijn. Op de meeste indicatoren gaat het vooruit, maar bij de ontwikkelingslijnen trekken we nagenoeg dezelfde conclusies. Hiervoor geldt wel: dit is nog geen langetermijnmeting. De totale meting gaat over een periode van vijf jaar. Dat is voor integratieprocessen betrekkelijk kort, maar voor vroege integratieprocessen betrekkelijk lang. In die zin kun je er best iets over zeggen, maar het zou interessant zijn om over vijf jaar opnieuw te bekijken hoe beide groepen zich hebben ontwikkeld.
De resultaten moeten toch even slikken zijn geweest voor degenen die zich enorm hebben ingezet bij SNTR. Hoe werd er vanuit de stichting gereageerd op de uitkomsten?
Daar is professioneel op gereageerd. Ze hadden het natuurlijk graag anders gezien en ook anders bedacht. We hebben een begeleidingscommissie voor dit onderzoek ingesteld, waar ook de opdrachtgever deel van uitmaakte. De begeleidingscommissie heeft een belangrijke taak gehad in de begeleiding van het onderzoek. Zij had uiteindelijk de finale stem bij het vaststellen van het onderzoek. In de begeleidingscommissie hebben we goede discussies gehad over hoe het onderzoek is opgezet, hoe stevig de resultaten waren, de reikwijdte van de resultaten, en welke uitspraken we konden doen. Dat hebben we zo goed mogelijk proberen op te schrijven. Het is bijzonder dat we het project zo intensief hebben kunnen onderzoeken. Dat heeft Stichting de Verre Bergen wel mogelijk gemaakt. Met een combinatie van kwalitatief en kwantitatief onderzoek en we hadden de gelegenheid om de groepen lang te volgen. Misschien is dat ook wel een reden waarom we deze prijs hebben gewonnen. Als je dit soort onderzoek doet, doe het dan in hemelsnaam goed. Het sluit aan bij wat ik al eerder zei: er is best veel evaluatieonderzoek rondom de nieuwe inburgeringswet gedaan, maar ik vind dat vaak toch niet goed omdat het zo aan de oppervlakte blijft.
Het Bridge-project bestaat onder meer uit een procesevaluatie, een uitkomstevaluatie en een effectevaluatie, het heeft een longitudinale opzet en we kunnen ook stellen dat er in het onderzoek sprake is van ruime triangulatie van onderzoeksmethoden, zowel kwantitatief als kwalitatief. Hoe zijn jullie omgegaan met het integreren van de verschillende methoden in de analyse?
Daar hebben we best lang over nagedacht. We hebben op een gegeven moment een belangrijke stap gezet door onszelf te dwingen om de methoden bij elkaar te zetten in de structuur van het rapport. We hadden een structuur kunnen kiezen waarbij het kwantitatieve onderzoek en kwalitatieve onderzoek gescheiden werden, maar dat hebben we niet gedaan. We hadden heel veel materiaal. De uitkomsten van de enquête, de uitkomsten van de effectevaluatie en de uitkomsten van het kwalitatieve materiaal hebben we in een hoofdstuk gezet. Dat heeft ons heel erg geholpen. Dan word je gedwongen te trianguleren. Het was niet makkelijk, maar het is, denk ik, een hele goede keuze geweest. Nu word je gedwongen dit in samenhang te analyseren. Je kunt je materiaal er recht mee doen.
Hoe hebben jullie methoden gemixt in de fase voorafgaand aan het schrijven?
We hebben in het surveymateriaal behoorlijk veel vragen opgenomen over de ervaringen van de deelnemers en dat soort informatie hebben we weer teruggelegd in de gesprekken die we in de uitvoering hebben gehouden, en omgekeerd. Dat kan altijd strakker, maar we hebben wel een goede poging gewaagd om het onderzoek echt mixed methods te laten zijn. Daar ben ik echt niet ontevreden over. Dit is soms lastig en dat heeft vaak met fasering te maken. Het kwantitatief onderzoek bijvoorbeeld hebben we twee keer uitgevoerd, maar het kwalitatief onderzoek liep vrij continu door.
Jullie hebben individuele interviews gehouden met Syrische statushouders, geïnspireerd door de outcome harvesting-methode. Wat zijn de ervaringen met het bestuderen van en ervaringen ophalen (via de outcome harvesting-methode) van een groep die in een relatief kwetsbare positie zit?
Daar hebben we ook lang over nagedacht. Het is een vrij abstracte manier van mensen bevragen. Onze ervaringen zijn heel erg goed geweest. De interviews zijn uitgevoerd door Jolien Klok, dus de credits zijn volledig voor haar. Het is voor respondenten een hele fijne manier om op een gestructureerde manier terug te kijken op wat ze tot nu toe in Nederland hebben gedaan. Daar staat men niet dagelijks bij stil, maar het werkt goed om dat gesprek op die manier te voeren. Wat ik erg interessant vond, is dat respondenten teruggaven: ‘Ja, ik ga dan wel naar een taalschool, maar ik heb ook Nederlands geleerd door met mijn buurman te spreken, door andere activiteiten te doen.’ Mensen zijn bezig met allerlei activiteiten en slechts een daarvan is deelname aan het SNTR-programma. Op deze manier relativeerden ze het belang van de factor beleid. Dat was een mooi inzicht.
Dit idee brengen jullie ook naar voren in de conclusies: de impact van beleid mag niet worden overschat.
Dat blijkt uit uitkomsten en respondenten gaven dat ook terug. Niet met die woorden, maar wel door te wijzen op vele invloeden die van betekenis zijn voor het leren van een taal, het leggen van contacten, het zoeken van werk. Soms werd beleid daar niet eens in genoemd. Je moet deze respondenten niet onderschatten. Natuurlijk zitten ze in een kwetsbare positie, maar wat ik heel erg heb geleerd van dit onderzoek en ook van andere onderzoeken onder vluchtelingen: mensen willen vaak niet als vluchteling worden aangesproken. Zij nemen een hele geschiedenis mee. Syriërs hebben vaak middenklasse-levens geleid in Syrië, met interessante banen. Zij komen met behoorlijk veel bagage. Spreek dat ook aan in je onderzoek en ook in het beleid.
Meer in het algemeen: dat je met beide partijen spreekt, is enorm belangrijk. Dat is ook wel mijn advies voor beleidsevaluatie. Ga ook met je deelnemers diepgaand in gesprek. Ga in gesprek met beleidsmakers en uitvoerders, maar relateer dat ook altijd aan mensen op wie het beleid zich richt.
In de effectevaluatie is gebruikgemaakt van ‘matching’, het samenstellen van gelijkwaardige groepen. Zou je hier iets meer over kunnen vertellen en kun je daarbij kort vertellen welke keuzes er zijn gemaakt ten aanzien van de onderliggende assumpties die nodig zijn om de groep na te bootsen?
De assumptie is dat je op kenmerken gaat matchen waarvan je uit de literatuur weet dat die ertoe doen voor bijvoorbeeld integratie en participatie. Wij hebben in elk geval gekeken naar verschil in huishoudenssamenstelling, opleidingsniveau, gezondheid en nog een aantal kenmerken waarvan we uit onderzoek weten dat die een rol spelen. Het achterliggende idee is dat je invloed van beleid wilt isoleren, dus je probeert zo goed mogelijk om de invloed van andere factoren weg te halen. Onze onderzoeksgroepen waren niet helemaal hetzelfde, dus dan is het van belang dat je ze zo gelijkaardig mogelijk maakt. Dat doe je niet op alle kenmerken, je kiest de kenmerken waarvan je weet dat ze relevant zijn. Je kunt matchen op alles wat in je bestand staat, maar dat is niet verstandig omdat je dan kleine groepen overhoudt. Het is dus voortdurend een afweging tussen zo goed mogelijk matchen en een zo groot mogelijke onderzoeksgroep overhouden die je kan matchen. Het is heel fijn dat we het op die manier hebben kunnen doen, natuurlijk wel met allemaal mitsen en maren, maar wij hadden een goede basis om uitspraken te doen over verschillen in relatieve effectiviteit van die twee verschillende vormen van beleid.
Welke uitdagingen werden ervaren in het onderzoek en welke strategieën werden gehanteerd om deze aan te pakken?
Omdat we heel ruim onderzoek hebben kunnen doen, was de uitdaging om al het materiaal in samenhang te analyseren. De dataverzameling, zowel bij de deelnemers als mensen in de uitvoering, is vrij goed gegaan: we hadden weinig lage respons, zowel bij het kwantitatieve als kwalitatieve onderzoek.
Is het werken met tolken goed verlopen?
Dat is natuurlijk wel een uitdaging, maar tegelijkertijd hebben de focusgroepen, waarbij we gewerkt hebben met Syrische onderzoekers en interviewers, geweldige gesprekken opgeleverd. We hebben ook wel individuele interviews in het Nederlands gedaan, soms op verzoek van de deelnemer zelf. Mijn beeld is dat je dan toch wat minder de diepte in gaat. De taalbarrière bij de deelnemers is dan toch net wat te groot om tot een voldragen gesprek te komen. Dat zou je een uitdaging kunnen noemen, maar de uitdaging in onderzoek zit vaak in: kun je mensen voldoende benaderen, lopen gesprekken goed, krijg je een zo volledig mogelijk beeld? Er heeft veel tijd in gezeten, maar dit waren geen knelpunten. Dat zat meer in de hoeveelheid van het materiaal. Hoe ga je het analyseren en met name de samenhang in de schrijffase? Hoe kunnen we het materiaal op een goede, gestructureerde manier op een rij zetten?
Eind vorig jaar is meegedeeld dat SNTR stopt met het intensieve programma en verder gaat als aanbieder van de zelfredzaamheidsroute in opdracht van de gemeente Rotterdam. Wat is de impact van jullie project hierin geweest? Hoe zou je de benutting van het onderzoeksproject beschrijven?
Dat durf ik niet te zeggen. Wat wel een belangrijke rol heeft gespeeld, is dat de instroom sterk was teruggelopen in de periode waarin men heeft besloten het programma stop te zetten. Inmiddels, met de komst van de Oekraïners en de toename van asielmigratie, zou je een andere afweging kunnen maken. Daarnaast is de nieuwe inburgeringswet op 1 januari 2022 in werking getreden en die is veel meer in lijn met het idee van ondersteuning. De rol van de gemeente is terug, de gemeente selecteert taalscholen en er is veel betere begeleiding. Ten aanzien van benutting: het SNTR-project is op papier echt een goed project en de mensbeelden uit het SNTR-programma zie je op onderdelen ook terug in de nieuwe inburgeringswet, maar reken je niet rijk, want we gaan het pas meemaken in de uitvoering. Je kan nog zulke goede plannen bedenken, maar het wordt messy in de uitvoering, daar gaan dingen mis.
Het onderzoek was een samenwerking binnen een consortium. Zou je daar nog iets meer over kunnen vertellen? Hoe verliep deze samenwerking?
Wij hebben met Regioplan samengewerkt, met name in de procesevaluatie. Dat is heel goed verlopen. Zij zitten goed in het veld, kennen de beleidsdetails en dat is voor zo’n procesevaluatie erg belangrijk. De onderzoekers van Regioplan hebben ook meegewerkt aan de rapportage. Verder hebben we met Labyrinth samengewerkt. Zij deden het veldwerk voor de panelsurveys en voor een paar onderdelen van het kwalitatief onderzoek. Zij zijn heel professioneel in het werven van mensen met een migratieachtergrond. Zij hebben goed werk verricht. Het is fijn dat dit allemaal kon. De Verre Bergen had de uitkomsten graag anders gezien, maar ze mogen trots zijn op het feit dat ze op deze manier onderzoek hebben laten doen. Ze hebben zich kwetsbaar opgesteld en mogelijk gemaakt dat het onderzoek heel diepgaand en goed uitgevoerd kon worden. Daar zou de gemeente een voorbeeld aan kunnen nemen. Dat maakt het onderzoek wel erg bijzonder.
Tot slot, wat levert dit alles op voor toekomstig beleid en in het bijzonder voor gemeenten die met dit vraagstuk bezig zijn?
Wat we van het SNTR-programma kunnen leren, is dat je voortdurend tegen zaken aanloopt die anders gaan dan verwacht. Probeer daar alert op te zijn en probeer je aan te passen. Gemeenten die het vermogen hebben om hun beleid goed uit te voeren en tijdig aan te passen aan zaken die minder goed lopen, die zijn succesvol. Dat is voor mij de belangrijkste les.
Dank aan Jaco Dagevos voor het boeiende gesprek. Alle rapporten van het onderzoek zijn te vinden op de website van de Erasmus Universiteit Rotterdam . Het juryrapport van de NSV-VBO-prijs voor beleidsonderzoek 2022 is te vinden via https://www.eur.nl/media/104025 .