Meet met mate
by Arjo Klamer
Bulletin, uitgeverij Unie voor Christelijk Onderwijs, jg. 32, nr. 5, pp. 12-14, October 2003, 28 November 2003
cat: knowledge
Meten is weten. Met dat devies meten we links en rechts en alles dat los en vast zit. Om te weten wat te doen en wat gedaan is. Maar de meetbaarheid der dingen blijft beperkt. Ondanks alle inspanningen. Meten is ook zweten. Daarbij komt dat de activiteit van meten de situatie beïnvloedt. Dat is ook de bedoeling. Maar de invloed kan ongewenst zijn en averechtse effecten hebben.
Vroeger werd gemeten met steenworpen, armlengtes, en de gewichten van stenen. Het luisterde niet zo nauw in een samenleving die gebaseerd was op traditie, status en gemeenschap. De menselijke maat was goed genoeg. Eerst in de negentiende eeuw nam de behoefte aan beheersing van natuurlijke en menselijke processen sterk toe, en daarmee de drang om te meten. De spoorwegen liepen niet goed zonder een gestandaardiseerde meting van de tijd. Om te weten hoe goed het een bedrijf verging, was het nodig om haar winst, eigen vermogen en meer van dergelijke factoren te meten. Om te weten of het wel goed ging met een economie, moesten we haar groei, productiviteit, werkloosheid en meer van haar zaken kunnen meten. Rationalisatie van management en beleidsprocessen zou ondenkbaar geweest zijn zonder een meetinstrumentarium.
Een dergelijk proces zien we nu ook in het onderwijs. Met de toenemende behoefte om het onderwijsproces te beheersen en managen neemt de behoefte aan metingen toe. Men wil van alles en nog wat weten over studieprestaties, de effectiviteit van de lesprogramma's, de prestaties van de docenten, de kwaliteit van scholen en faculteiten. Niet alleen de managers willen meten om te weten. Ook als docent wil ik graag weten hoe mijn studenten de stof die ik aanreik verwerken. Mijn studenten willen weten hoe goed ze het doen in vergelijking met anderen. Zij en hun ouders willen weten hoe goed het ene programma is in vergelijking met gelijksoortige programma's. De leiding van scholen en universiteiten wil weten hoe goed hun docenten en de verschillende afdelingen het doen. En de politici willen weten of ze waar voor hun geld krijgen. De behoefte aan al die informatie is begrijpelijk. De inspanningen om de metingen steeds maar weer te verbeteren zijn dat ook.
Dat rekenen en meten werd intensiever toen ik hier in Nederland ging werken. In de VS was ik gewend aan de menselijke maat. In de intensieve en kritische omgang, door elkanders werk te lezen, wist je wel wat je collega's waard waren. In de sfeer van de overheid past die menselijke maat niet. Want die is te subjectief. Hier moeten we dossiers opbouwen met objectieve informatie. De steeds sterker wordende management cultuur wil steeds meer cijfers want op grond van cijfers kan je sturen. Het beoordelen van studenten overlaten aan individuele docenten kan eigenlijk niet. Dat is te subjectief. Examens moeten daarom gestandaardiseerd worden zodat de beoordeling zo objectief mogelijk is. Maar daarmee wordt het onderwijs niet beter. En het doel blijft toch beter onderwijs zou je zeggen.
Het moet de managers frustreren dat kennisprocessen zo moeilijk te becijferen zijn. Hoe bepalen ze dat ik een goede wetenschapper ben of niet, als ze niet vertrouwd zijn met mijn vakgebied? Door het aantal artikelen te tellen dat ik heb gepubliceerd in top tijdschriften? Of het aantal verwijzingen naar mijn werk? Ieder cijfer is voor meerdere uitleg vatbaar. Wordt mijn werk weinig geciteerd dan zou dat kunnen zijn omdat het te vernieuwend is, omdat het een incubatie periode nodig heeft alvorens het zal aanslaan. Is dat het geval is het sneu wanneer mijn onderzoeksbudget gekort wordt vanwege het uitblijven van citaten.
Gemeten wordt ook om budgetten toe te delen. Dus tellen we het aantal studenten dat aankomt en het aantal studenten dat we afleveren. Die aantallen doen er alles toe. Ons voorbestaan hangt ervan af. Het wordt dan wel erg verleidelijk om iedere loslopende student mee te tellen, zoals de hoge scholen gewend waren te doen. En wat denkt u wat wij doen, wanneer we dubben over het al dan niet laten slagen van een student? De geldmeter hangt boven ons hoofd.
Een meting is daarom nooit objectief. Het Heisenberg effect in de natuurkunde duidt op het effect dat de meting van de snelheid van een electron die snelheid verandert. Iets dergelijks doet zich voor bij metingen van kennisprocessen. Tellen we het aantal afgeleverde studenten, dan gaan scholen zich toeleggen of het afleveren van studenten. Tellen we de scores op bepaalde toetsen, dan zie je in de korts mogelijke tijd speciale lessen gericht op de trucs om die toetsen goed te doen. Tellen we citaten, dan zorgen wij wetenschappers dat we onze vriendjes meer gaan citeren.
Daarmee wil ik niet beweren dat we niet willen meten. Zoals gezegd, we willen metingen om te weten hoe goed we het doen, om prestaties te kunnen vergelijken, en uiteindelijk om te kunnen beoordelen. De vraag is dan wat we willen meten en hoe precies. In het Amerikaans onderwijs is de reputatie van een instelling doorslaggevend. Daar gaat het gesprek dan ook over. Cijfers spelen daarbij een beperkte rol. Zeker zo belangrijk zijn de ervaringen van studenten, de bekendheid van de docenten, de kwaliteit van de extra-curriculaire activiteiten en dat soort zaken. Zou bekend worden dat een school of universiteit haar studenten laat slagen om financiele redenen, of slechte studenten toelaat omdat hun ouders het volle pond willen betalen, dan betaalt zo'n instituut daar zwaar voor.
In Nederland zijn we momenteel gevangen in een management cultuur. Dus ligt de nadruk op objectieve metingen. Deze cultuur dreigt het vermogen om kwaliteit op haar waarde te beoordelen te ondermijnen. Gesprekken van inhoudelijke aard zijn zeldzaam, is mijn ervaring. Ik weet best hoe goed mijn naaste collega's onderzoeken en doceren, maar hoe het er toegaat in andere faculteiten weet ik niet goed. Er komen cijfers langs maar die vertellen maar een deel van het verhaal. Daarbij verdenk ik bestuurders ervan de zaken zo gunstig mogelijk voor te spiegelen, of juist onrealistisch slecht wanneer ze maatregelen moeten nemen. Reputaties doen er te weinig toe.
Daarom mijn devies: meet met mate en houdt de oren en ogen open.
