Evaluaties 2011
2011: Beleidsevaluatie, standaarden en meta-evaluatie
2011 was een piekjaar voor evaluaties: elf evaluatiedossiers werden afgerond, terwijl er een achttal andere werden voorbereid en opgestart, waarvan de uitvoering is voorzien in 2012.
De ontwikkeling van standaarden voor beleidsevaluatie doorliep een eerste fase in 2010 (cf. jaarverslag 2010). De toepassing ervan liet nog even op zich wachten; dit was te wijten aan het ontbreken van een “case”. In afwachting zijn de standaarden verder verfijnd. Ze geven aanleiding tot een degelijk uitgewerkt evaluatieluik, dat voortaan deel zal uitmaken van elke nieuwe afgesloten overeenkomst.
Evaluatie van de evaluatie
In 2011 heeft het evaluatieteam verdere stappen ondernomen om de evaluaties en het verloop ervan zelf ook te evalueren: een “evaluatie van de evaluatie (of meta-evaluatie)" dus. Het is de bedoeling om uit zowel de eigen ervaringen als uit die van alle betrokkenen - en in het bijzonder deze die het voorwerp van de evaluatie uitmaken – lessen te trekken.
Dit “natraject” van elke evaluatie wordt vanaf 2012 geïnstitutionaliseerd.
Evaluaties in 2011
Een aantal omvangrijke evaluaties werd afgerond.
Als uitloper van 2010 werd begin 2011 de evaluatie van LRM afgewerkt. Verder volgden deze van de Steunpunten Beleidsrelevant Onderzoek en van drie van de vier strategische onderzoekscentra (IMEC, VIB en IBBT), die allemaal in de eerste helft van 2011 werden afgewerkt.
Voor IMEC en VIB werd geopteerd voor een evaluatie in de breedte eerder dan in de diepte. Deze instellingen bestaan immers al enige tijd (respectievelijk sinds 1984 en 1991) en werden al verschillende keren grondig doorgelicht. Door een langere periode te onderzoeken, konden zowel de beleidsmatige als wetenschappelijke en maatschappelijk-economische impact van deze instrumenten diepgaander onder de loep worden genomen. Voor IBBT, dat recenter werd opgericht en nog niet eerder een institutionele evaluatie had ondergaan, kon de “gewone” weg worden bewandeld.
Voorts werden in het voorjaar van 2011 ook geëvalueerd: de Koninklijke Vlaamse Academie van België voor Wetenschappen en Kunsten (KVAB), de wetenschappelijke opdracht van de Koninklijk Maatschappij voor Dierkunde Antwerpen (KMDA) (zoals uitgevoerd door het Centre for Research and Conservation (CRC) van deze instelling), het project “De wereld aan je voeten!”, de volkssterrenwachten, de Dag van de Klant en tot slot de Open Bedrijvendag.
In de tweede helft van het jaar werden de evaluatie van de expertisecellen wetenschapscommunicatie van de universitaire associaties aangepakt, alsook de (tussentijdse) evaluatie van het project “International Industrial Biotechnology Network”, een project dat Vlaanderen financiert en dat is opgezet in samenwerking met en in het kader van de doelstellingen van UNIDO (United Nations Industrial Development Organisation).
Vooruitblik naar 2012
Op het menu in 2012 staan de evaluaties van VITO, ITG, Vlerick, Orpheus, F.T.I vzw, Herculesstichting, ECOOM, VABB-SHW (het Vlaams Academisch Bibliografisch Bestand - Sociale en Humane Wetenschappen) en PMV.
Voor VITO zal net zoals voor IMEC en VIB een meta-evaluatie worden opgezet.
Waardering voor de expertise van de evaluatiecel
Tot slot merken wij op dat de expertise die de evaluatiecel ondertussen heeft opgebouwd, meer en meer bekend raakt en gewaardeerd wordt - ook bij en door externen. Zo heeft de cel op een internationaal seminarie rond evaluatie van overheidsbeleid een aantal cases gepresenteerd, die betrekking hebben op knelpunten en problemen in het evaluatieproces. De eigen ervaring kon worden gedeeld met de andere deelnemers. Dit heeft geleid tot een aantal inzichten die bijdragen tot een optimalisatie van het evaluatieproces dat het departement hanteert.
Daarnaast heeft Sabine Borrey in oktober, op vraag van het Instituut van de Overheid en als onderdeel van de opleiding Beleidsevaluatie die dit Instituut organiseert, de evaluatiepraktijk van het departement toegelicht. Zowel de deelnemers aan de opleiding als de organisatoren vonden de toelichting erg interessant en verhelderend. Het departement werd gewaardeerd voor de transparante aanpak die in dit kader wordt gehanteerd. Collega's van RWO hebben de evaluatiecel gevraagd om deze toelichting ook te krijgen, wat ondertussen is gebeurd. Ook deze presentatie kon op veel bijval rekenen.