Toetsing van hbo-onderzoek moet geen nattevingerwerk zijn vindt Sarah Coombs; ze promoveerde op onderzoek van hogescholen

Ze vond maar geen literatuur waarin onderzocht was hoe hogescholen kunnen toetsen of ze hun doelstellingen voor toegepast onderzoek halen. “Ik ben geen blinde regelvolger hoor, maar ik vind dat we in ieder geval moeten weten op hogescholen waarom we én hoe we dingen moeten onderzoeken.’’ Nu een leidraad ontbrak stelde ze er eentje voor alle hogescholen samen in een studie.

Collega-onderzoekers roemen je, ze schrijven dat je na lange tijd de broodnodige ‘waardevolle inzichten over impact van praktijkgericht hbo-onderzoek’ hebt samengesteld. Waarom was dit broodnodig?
Coombs: “Sorry, ik moet met een wat saaie term beginnen, maar hogescholen hebben allemaal te maken met het zogenoemde Brancheprotocol Kwaliteitszorg Onderzoek (het toetst of de kwantitatieve en kwalitatieve normen gehaald worden van hbo-onderzoek, red.). Daar willen en moéten hbo-onderzoekers zelfs aan voldoen.

In mijn functie moest ik adviseren hoe je die normen kon halen. Dus mensen vroegen aan mij welke specifieke methode (frameworks, indicatoren, klanttevredenheid enquêtes, red.) zij binnen hun onderwerp het beste konden gebruiken om de impact van hun hbo-onderzoek zichtbaar te maken. Ik vond heel vaak geen overzichten van tools, methodes en aanpak.’’

Hoe komt dat?
“Publiceren over je onderzoek of experiment heeft niet de prioriteit in praktijk-onderzoek. Zoals het bij wetenschappelijk onderwijs wel is, waar publiceren simpelweg noodzaak is om te slagen. Een artikel schrijven is leuk bij hbo-onderzoek, maar evengoed is als je enkel iets produceert of experimenteert, zonder het in een journal of studie te publiceren. Zo is er relatief weinig vastlegging en impactevaluatie van hogeschool-onderzoek.”

Hoe erg is dat?
“Nou, we hebben vanuit praktijkgericht onderzoek een wettelijke plicht, voor de overheid en samenleving, om maatschappelijke impact te creëren met onze onderzoeken. Dat is één van onze bestaansrechten. Dan moet er ook enige verantwoording plaatsvinden, toch?’’

Dat is nu nattevingerwerk?
“Zeker niet altijd. Maar er is te weinig aan structuur en instrumenten, tools en methoden om het te evalueren voor lectoraten.’’

Komt dat misschien door het abstracte, bijna onmeetbare woord impact? Je deed onderzoek naar het tonen van de maatschappelijke impact van hbo-onderzoek. Het woord impact is best een ongrijpbaar hol begrip, toch?
“Impact, we worstelen al jaren met wat dat betekent, terwijl dat is wat we moeten bereiken als hbo. Als je het letterlijk vertaalt is het effect en effect is niet numeriek. Het is een proces en dát is hbo-onderzoek, het is abstracter.

Dan kan je niet zeggen: ik heb zoveel kilometer impact gecreëerd, of zoveel kilo. Je kan het evalueren én een advies schrijven: wie bereikte ik met mijn product en hoe kan ik het verbeteren voor de toekomst, zodat ik meer groepen in de maatschappij bereik. Daarvoor is hbo-onderzoek. Dat effect moeten we bij hogescholenonderzoek in studie beter zichtbaar maken.’’

Zoals in wetenschappelijke artikelen?
“Nee. Wetenschappelijke artikelen zijn voor kennistransfers tussen wetenschappers. De kennistransfer van hbo-onderzoekers is een heel andere. Die gaat van onderzoeker naar de maatschappij. De maatschappij leest niet snel een wetenschappelijk artikel.

Wij hebben zo een andere tak van sport. Het betekent dat wij in ons onderzoek een of andere maatschappelijke impact moeten creëren. Die impact moeten we evalueren en beschrijven.’’

Wat ontdekte je, wat kan echt beter?
“Een vereiste is dat de evaluatie gebaseerd is op een duidelijk startpunt en, het mooiste: in coproductie met belanghebbenden wordt uitgevoerd, zoals organisaties of bedrijven. Dan zit je impact al in de maatschappij.

Heel veel mensen denken dat je impact moet evalueren aan het einde en zetten die instrumenten als narratieve beschrijving, interviews, enquête of focusgroep dan in. Alleen je impact wordt gecreëerd vanaf het begin van je onderzoek. Heel dat traject moet je meenemen en beschrijven.’’

Ze gaat staan. “Dit is een bolletje, het startpunt onderzoek.’’ Ze tekent 'm uiterst links op een whiteboard. Uiterst rechts komt weer een bolletje. “Dit het einde. Geef nou eens een voorbeeld van Saxion-onderzoek, als je wil.’’

Mmm. Het experiment van de eerste honderd procent gerecyclede spijkerbroek, dat nu gaande is.
“Mooi voorbeeld. Je kan denken: alleen die eerste gerecyclede is resultaat, is mijn output. Enkel dat product, die broek, is mijn impact op de maatschappij. Maar ondertussen heb je ook report acts gedaan. Er is vast een broekentest geweest, daar is data uitgekomen en dat is ook onderdeel van je impact. Je hebt processen bijgesteld, want onderzoek is nooit een lineaire lijn.’’ Ze tekent van bol naar bol een zigzaglijn. “Nee, die schommelt, sommige keuzes stel je bij. Er zijn wellicht samenwerkingen geweest met bedrijven die mislukten.’’

Wat Coombs zegt klopt in dit geval. Er was een textielketen die de ‘Saxion-broeken’ wellicht mainstream als duurzaamheidsproduct wilde verkopen. Angst was dat de mainstream-consument de broek nog niet wilde. Er werd gekozen om de zogenoemde early adopters, consumenten die nieuwe producten al vroeg in de levenscyclus adopteren, te bereiken met een duurzaam merk. In samenwerking daarmee lijkt nu die honderd procent gerecyclede spijkerbroek er straks te komen.

"Bij hbo-onderzoek zijn we genegen om alleen die ene broek te beschrijven, maar al hetgeen daarvoor is gebeurd is ook je impact. Is ook iets dat in de maatschappelijke praktijk processen in gang zette. Misschien is die grote textielketen wel bezig gebleven op het gebied van energiezuiniger jeansvervaardiging, door jouw onderzoek. Niet voltooide impact is ook impact.’’

Was de ideale wereld niet geweest dat jij zelf een totale methode of tool had ontwikkeld per kennisgebied, waarmee je voor ieder type onderzoek de juiste toolbox qua toetsing op maatschappelijke impact kon geven?
“Diep van binnen zit dat in mij, maar dat is een proces van jaren. Maar er zijn vijf lectoraten binnen heel hbo Nederland die zich bezighouden met impact. Die zitten bij elkaar. Daarmee zijn we in gesprek om voor alle lectoraten (onderzoeksgroepen en kenniskring van hbo red.) een methode te ontwikkelen om impact te evalueren. Een toolbox met interviews, focusgroepen, observaties, documentanalyse, om onze impact als hbo-onderzoekers te evalueren.’’