Evalueren is onderdeel van elk project

Onderzoekers van de afdeling Onderzoek & Statistiek van de gemeente Amersfoort leren beleidsmedewerkers hoe zij zelf hun projecten met inwoners kunnen evalueren. Dit doen de onderzoekers door workshops te geven. Het gaat in het bijzonder om projecten waarbij inwoners betrokken zijn, omdat de drempel om onder deze groep te evalueren vaak hoog is. In de workshop leert de beleidsmaker wat er komt kijken bij het evalueren van een project en hoe je dat zelf kunt doen. De gedachte hierachter is dat evalueren een onlosmakelijk onderdeel van elk project is. Het is de projectleider die gedurende het hele proces alle contacten met de betrokken inwoners onderhoudt (en niet een onderzoeker).

We hebben ervaren dat projectleiders soms opzien tegen evaluaties omdat het veel werk is en het ingewikkeld zou zijn. Het is echter lang niet altijd nodig om ingewikkelde onderzoeksopzetten te formuleren en uitgebreide rapportages te maken. Het belangrijkste is dat er vaker geëvalueerd wordt en dat we leren van onze ervaringen. De beleidsmedewerkers hebben daarbij wel kennis en vaardigheden nodig om dit te kunnen doen. In de workshop die wij geven, staat de ontwikkeling van deze kennis en vaardigheden centraal. Hiermee kunnen projectleiders zelf de leerpunten en het succes van een project bepalen.

Uiteraard zijn er ook situaties waarin je beter niet zelf kunt evalueren, bijvoorbeeld als het om hele gevoelige of complexe onderwerpen gaat.

Waarom een workshop evalueren van projecten?

Efficiëntie

De aanleiding voor de workshop was een evaluatieonderzoek naar drie grote participatietrajecten dat de afdeling Onderzoek en Statistiek (O&S) in 2010 uitvoerde. Hieruit kwamen veel belangrijke leerpunten naar voren, zoals het belang van goed verwachtingenmanagement en van een goede terugkoppeling. Het was dus wenselijk om alle gemeentelijke participatietrajecten te evalueren. O&S heeft daar echter geen capaciteit voor en het is dus efficiënter om handvatten te formuleren over hoe beleidsmedewerkers in het vervolg zelf hun participatietrajecten kunnen evalueren. Dit heeft uiteindelijk geresulteerd in de workshop en het boekje Evalueren van participatietrajecten.

Meer interactie

De workshop sluit aan bij het feit dat bewoners meer en meer betrokken zijn bij de gemeentelijke beleidsvorming. De mening, kennis en kunde van Amersfoorters wordt steeds belangrijker. Zo vraagt de gemeente hun om op bijeenkomsten mee te denken over de inrichting van straten en parken, keuzes bij gemeentelijke bezuinigingen of de locatie van een daklozenopvang. Maar ook via internet kunnen bewoners hun voorkeuren aangeven over de herinrichting van een park of het nieuwe verkeers- en vervoersplan. De burger staat centraal. Toch merken wij dat de drempel om onder deze groep te evalueren vaak nog hoog is. Men is er nog niet aan gewend om inwoners te vragen hoe een project is verlopen. Dit terwijl evaluatie onder bewoners juist leerzaam is. Zij zijn vanuit een andere rol en soms met andere verwachtingen betrokken geweest dan bijvoorbeeld interne collega’s. Daardoor hebben zij vaak ook andere ervaringen. Ervaringen waarvan de gemeente weer kan leren. Wij denken dat we met deze workshop de kloof tussen overheid en burger niet dichten, maar wel een stap in die richting zetten.

Leren door evalueren

De workshop is ook nuttig om de aandacht te vestigen op het belang van evaluatie. Evaluatie zou altijd een vanzelfsprekend onderdeel van een project moeten zijn. Want alleen als de projectleider goed inzicht heeft in de succesfactoren en verbeterpunten van zijn of haar project, kan hij hier optimaal zijn voordeel mee doen in toekomstige projecten. Hierbij is een cultuur van willen leren – de lerende organisatie – erg belangrijk. Voor gemeentelijke onderzoekers is de workshop een goede gelegenheid om dit belang binnen de eigen organisatie uit te dragen.

Opzet van de workshop

Het doel van de workshop is beleidsmakers het belang van evaluatie in te laten zien en ‘koudwatervrees’ weg te nemen om inwoners te bevragen over hun ervaringen met het project. Deelnemers aan de workshop krijgen praktische handvatten om zelf (kort) te evalueren hoe projecten met bewoners zijn verlopen. Aan het eind van de workshop geven we het boekje Evalueren van participatietrajecten mee.

De workshop is interactief opgezet. We vragen de deelnemers vooraf in welke projecten zij samenwerken of hebben samengewerkt met inwoners en/of organisaties. Op die manier hebben we het in de workshop over concrete projecten waarbij iedereen zich iets kan voorstellen en waarop de lessen ook toepasbaar zijn. Verder is het interactief doordat we filmpjes laten zien en hierover in gesprek gaan. In deze filmpjes acteren we zelf. Daarmee willen we laten zien dat het evalueren ook een kwestie is van doen en je kwetsbaar durven opstellen.

Inhoud van de workshop

Afwegingen vooraf én wat ga je evalueren?

In de workshop benadrukken we dat het bij het begin van een project al belangrijk is om na te denken over hoe een project geëvalueerd wordt. Verschillende zaken zijn hierbij van belang. Wat is het doel van het project? Hoe wordt dat doel bereikt? Wanneer noem je het een succes? Hoe stel je dat vast? Het stellen van deze vragen helpt om het project van het begin tot het eind goed te doordenken.

In de voorbereiding moeten beleidsmakers/projectleiders als ze zelf evalueren, ook nadenken over de vraag of de tijd en inspanning die een evaluatie kost, in verhouding staan met een project. Bij een klein project met bijvoorbeeld één bewonersbijeenkomst van een avond ga je in principe niet een aparte evaluatiebijeenkomst organiseren. Je kunt in plaats daarvan na afloop een paar mensen wat vragen stellen. Bij een uitgebreider traject met inwoners is het raadzaam een evaluatie wel groter op te zetten, door bijvoorbeeld een aparte evaluatiebijeenkomst te organiseren.

In de workshop behandelen we ook de vraag: welke onderwerpen evalueer je? Wil je bijvoorbeeld alle mogelijke aspecten van een project doorlichten of alleen een paar essentiële punten behandelen? De verwachtingen van de inwoners bij een project vormen een belangrijk onderwerp voor evaluatie. Zijn deze verwachtingen tijdens het project waargemaakt? Dit blijkt namelijk een belangrijk leerpunt uit evaluaties: teleurgestelde bewoners hadden vaak van tevoren andere verwachtingen van de bijeenkomsten. Er valt veel te winnen door verkeerde verwachtingen te voorkomen en daarvoor is het belangrijk heel duidelijk te zijn over wat er verwacht mag worden.

Hoe ga je evalueren?

De workshop besteedt ook ruim aandacht aan de methode bij een evaluatie. Pak je een evaluatie bijvoorbeeld kwalitatief of kwantitatief aan? We vinden het belangrijk dat de methode goed aansluit bij het contact dat je tijdens het project hebt met de betrokkenen. Wanneer het contact met bewoners vooral via internet is gegaan, dan is bijvoorbeeld een chatgesprek op internet of – nog simpeler – een paar open vragen per e-mail passend. Bij de gemeente Amersfoort bestaat de samenwerking met bewoners vaak uit een aantal bijeenkomsten. In de workshop leggen we daarom de nadruk op kwalitatief onderzoek: evalueren door middel van (groeps)interviews. Met deze methode krijg je veel informatie boven tafel doordat je kunt doorvragen. Ook kunnen mensen een toelichting geven op hun mening.

Uiteraard is het bij interviews belangrijk om zo veel mogelijk verschillende mensen te interviewen. Mensen van wie je weet dat ze zeer kritisch waren en mensen die meer vanuit de zijlijn of juist vanuit hun werk betrokken waren.

Verder besteden we aandacht aan interviewtechnieken. Wat is de juiste houding en wat zijn valkuilen? Behalve aandacht voor het belang van goede open vragen is hier ook aandacht voor zaken als: ‘In welke volgorde stel je de vragen?’ en ‘Houd je groeps- of individuele interviews?’

Natuurlijk zijn er ook situaties waarin er behoefte is aan cijfers over hoeveel mensen bijvoorbeeld positief waren over het project. Deze cijfers krijg je niet boven tafel met (groeps)interviews. De workshop gaat daarom ook over wanneer kwantitatief onderzoek met bijvoorbeeld (digitale) evaluatieformulieren nodig is, al dan niet in combinatie met kwalitatieve informatie.

Juiste houding bij evaluaties

Een ander belangrijk onderdeel van de workshop is de juiste houding tijdens zo’n evaluatie. Een onafhankelijke, niet vooringenomen houding is essentieel. Echt willen weten wat de inwoner ergens van vindt, goed luisteren en iemand daadwerkelijk willen begrijpen. Met een oprecht open houding nodig je zelfs de meest kritische betrokkene uit om op een eerlijke en opbouwende manier mee te denken over de vraag hoe het een volgende keer beter kan.

Positieve aspecten van het leren evalueren

Betere interactie met burgers

Een belangrijke meerwaarde van het leren evalueren is dat ambtenaren hiermee de interactie met inwoners verbeteren. Zelf evalueren betekent voor beleidsmedewerkers dat ze zich kwetsbaar opstellen. Door in gesprek te gaan met inwoners en te vragen naar wat er wel en niet goed ging, stel je je open voor kritiek en laat je zien dat je bereid bent te leren. Daardoor merken inwoners ook aan het einde van het project dat hun mening belangrijk is en wordt meegenomen in het werk van de gemeente.

Betere informatie over kwaliteit van projecten

Uit de evaluatie van de workshop komt naar voren dat projectleiders en beleidsmakers het heel normaal vinden dat zij in principe zelf hun projecten evalueren. Ze zien zelf evaluatie ook als een onderdeel en een logisch sluitstuk van een project. Het belang van evalueren en meer in het algemeen het zijn van een lerende organisatie wordt in de organisatie breed gedeeld. Desondanks is de drempel om het te gaan doen soms groot. De workshop kan beleidsmedewerkers helpen om daadwerkelijk te gaan evalueren. En met de informatie die dit oplevert, kunnen zij beter hun werk doen. Ze hebben meer informatie over wat een project heeft opgeleverd en wat er de volgende keer anders en beter kan. De informatie uit de evaluatie is weer input voor de voorbereiding van een volgend project of beleidsthema. De beleidscyclus is rond.

Goedkoper

Zelf evalueren kan ook goedkoper zijn dan het inhuren van een (externe) onderzoeker. Dit is een niet onbelangrijk voordeel van zelf evalueren in deze tijd van bezuinigingen.

Positief voor de onderzoeksafdeling

Bijkomend voordeel van de workshop is dat de afdeling Onderzoek & Statistiek in goed contact blijft met alle collega’s. We krijgen veel positieve reacties van de deelnemers aan de workshop. De workshops sluiten nauw aan bij de vragen die deelnemers hebben en er komen interessante discussies op gang. Ook uit het aantal aanmeldingen blijkt dat er interesse is en blijft voor de workshop. We zijn in 2010 begonnen en hebben de workshop toen twee keer gegeven. In 2011 hebben we dat weer twee keer gedaan en gevraagd is of de workshop in 2012 weer gegeven wordt. De deelnemers geven aan dat de workshop praktisch en toepasbaar is.

Verder is de workshop voor de afdeling Onderzoek & Statistiek een belangrijk moment om te laten zien waar we voor zijn: niet alleen voor het uitvoeren van onderzoek, maar ook voor advies. Zo merken we dat deelnemers vaker en vooral ook eerder naar ons toe komen met onderzoeks- of adviesvragen.

Kanttekeningen

Behalve de meerwaarde van het leren evalueren zijn er natuurlijk ook nadelen, valkuilen en vragen.

Evaluatie blijft nog steeds liggen

Ten eerste is het de vraag of projectleiders na het volgen van de workshop nu vaker en beter projecten evalueren. Bij navraag blijkt dat de evaluatie toch nog steeds vaak blijft liggen. Als reden noemt men tijdgebrek en dat men hier vanuit de organisatie niet op wordt afgerekend.

Wél bleek dat er op informele wijze wordt geluisterd naar ervaringen van bewoners bij projecten. En dat deze ervaringen wel serieus worden genomen. Hoewel we niet kunnen spreken van echte evaluatie, zien we deze luisterende en lerende houding als een positief teken. Deze houding is een belangrijke voorwaarde voor een goede evaluatie. Maar liever nog zien we meer gestructureerde evaluaties. Dit voorkomt dat belangrijke onderwerpen buiten beeld blijven of dat ervaringen van een paar mensen de boventoon voeren.

Slager keurt eigen vlees

Het leren zelf te evalueren roept ook de vraag op of iedereen kan evalueren. Is bijvoorbeeld interviewen niet een vak waarvoor onafhankelijkheid en gedegen vakkennis nodig is? En is evaluatie door projectleiders en beleidsmedewerkers wel betrouwbaar? Het doen van onderzoek is een vak en onafhankelijkheid is een van de grondbeginselen ervan. En dus, als een projectleider zijn eigen project evalueert, is dan niet de uitdrukking ‘de slager die zijn eigen vlees keurt’ van toepassing? Voor een deel kan dit worden ondervangen door bijvoorbeeld een collega van buiten de projectgroep als gespreksleider te laten optreden. Ook zijn er tussenvormen denkbaar tussen het zelf uitvoeren van een evaluatie en extern uitgevoerde evaluaties. Het Rijk kent bijvoorbeeld de zogenoemde ‘beleidsdoorlichting’, waarbij een ministerie (bijvoorbeeld een beleidsmaker) zelf evalueert. Er is dan een onafhankelijk extern deskundige bij betrokken die dit beoordeelt. Deze beoordeling wordt samen met het rapport naar de Tweede Kamer gestuurd. Een dergelijke tussenvorm zou ook bij gemeenten een oplossing voor het waarborgen van kwaliteit kunnen zijn als een evaluatie bijvoorbeeld ook dient om verantwoording af te leggen.

Verantwoorden versus ‘willen leren’

Als een evaluatie dient als verantwoording naar management of gemeenteraad, kan een onafhankelijke opstelling van de betrokken beleidsmedewerker die zelf de evaluatie uitvoert lastig zijn. Dit is bijvoorbeeld het geval wanneer het voortbestaan van een project van een evaluatie afhangt. Het ‘willen leren’ raakt ondergeschikt aan het moeten verantwoorden. Meer in het algemeen lijkt een cultuur van afrekenen zich lastig te verhouden met een cultuur van ‘willen leren’. Dus bij deze evaluaties moet kritisch worden bekeken of het zelf evalueren mogelijk is.

Discussie

Er zijn meer vragen en kanttekeningen te noemen. Wij stellen die ook aan onszelf. We zouden graag zien dat dit artikel bijdraagt aan een open discussie hierover. Ondertussen gaan wij door met het geven van onze workshop. En we blijven aandacht vragen voor de mogelijkheid om het evalueren van projecten meer te verankeren in de cultuur van de organisatie. De meerwaarde van evalueren staat voor ons buiten kijf.