Ethische dilemma's voor onderzoekers (VK 6/2011)

Bert van Wee, TU Delft

In Verkeerskunde 6/2011 is het artikel verschenen 'De klant, de samenleving en de onderzoeker'. Het originele artikel vindt u hieronder.

Als onderdeel van een uitgebreidere studie naar transport en ethiek (Van Wee, te verschijnen) is onderzoek gedaan naar ethische dilemma’s van onderzoekers. Dit artikel gaat in op de belangrijkste resultaten.

Achtergrond
Er zijn veel publicaties over de inhoudelijke kwaliteit van onderzoek, maar over de vraag hoe je onderzoek moet doen, veel minder. Toch is die vraag zeer relevant. Hoe ga je als onderzoeker bijvoorbeeld om met de belangen van de klant? Hoe ver mag of moet je gaan in het respecteren van wensen van klanten? Maakt het wat uit of onderzoek door een universiteit of door een consultant is uitgevoerd? Mag, of moet je zelfs maatschappelijk relevante resultaten beschikbaar stellen aan journalisten, ook al wil de klant het niet? Dit artikel geeft inzicht in dilemma’s waarmee Nederlandse onderzoekers geconfronteerd worden, met name wanneer ze Kosten-Baten Analyses opstellen, of onderzoek doen dat daaraan gerelateerd is, zoals modelstudies voor verkeersprognoses of Milieu-effectrapportages. 

Opzet onderzoek
Acht toonaangevende Nederlandse onderzoekers zijn geïnterviewd over dilemma’s waar ze zelf tegenaan zijn gelopen, of die ze kennen van anderen, en over zogenoemde gedragscodes. Gedragscodes zijn er voor vele beroepsgroepen, ook voor (academische) onderzoekers. Ze geven aan, aan welke gedragsregels men zich moet houden. De gedragscode van de VSNU, de Vereniging van Universiteiten is daarbij als basis gebruikt. Alle onderzoekers op één na waren goede bekenden van de auteur van dit artikel; één onderzoeker was aanbevolen door een goede bekende. Het voordeel van het interviewen van goede bekenden is wellicht dat die meer open en eerlijk zijn over hun dilemma’s; het risico op sociaal wenselijke antwoorden is erg groot als een onbekende interviews over dergelijke zaken afneemt.

Vier geïnterviewden werken voor consultants, twee eveneens, maar die hadden langdurig voor een universiteit gewerkt, één werkt voor zowel een universiteit als in de consultancy, en één uitsluitend voor een universiteit. De acht zijn gesplitst in ‘consultants’ (de vier eerstgnoemde) en ‘universitaire achtergrond’ (geheel, of deels; nu of in verleden - de andere vier). De opgestelde interviewverslagen zijn zo nodig door de geïnterviewden gecorrigeerd. Op basis van de interviews zijn 54 stellingen geformuleerd. De stellingen zelf zijn het belangrijkste resultaat van het onderzoek. Vervolgens hebben de geïnterviewden de stellingen gescoord op een 7-puntsschaal, zodat duidelijk is hoeveel het er mee (on)eens zijn. Dit artikel geeft een vereenvoudigde weergave van de scores.

Spanning tussen wensen klant en onafhankelijkheid
Een eerste categorie dilemma’s vloeit voort uit de spanning die bestaat tussen de belangen van de klant en de onafhankelijkheid van de onderzoeker. Soms wil de klant de resultaten beïnvloeden. In het geval van KBA’s van infrastructuurprojecten ziet de opdrachtgever graag dat een positief besluit wordt genomen. Alle acht respondenten onderschrijven de stelling ‘In geval van infrastructuurprojecten wil de opdrachtgever van onderzoek vaak graag zien dat het project wordt gerealiseerd’. Zeven van de acht respondenten scoren positief op de stelling ‘In geval van infrastructuurprojecten wil de opdrachtgever van onderzoek vaak de resultaten beïnvloeden’. Zes van de acht respondenten onderschrijven de stelling ‘Regio’s hebben nog wel eens de neiging om aan onderzoekers te positieve scenario’s voor te schrijven indien het gaat om ex ante evaluaties van infrastructuurontwikkelingen’.

De wat algemenere stelling ‘Overheden willen in geval van ex ante onderzoek (bv KBA’s) soms de resultaten beïnvloeden door het gebruik van bepaalde scenario’s voor te schrijven’ wordt door zeven van de acht onderzoekers onderschreven. Door bijvoorbeeld uit te gaan van een optimistisch economisch scenario scoren wegenprojecten beter. Zes van de acht respondenten onderschrijven de stelling ‘Sommige KBA's worden door de opdrachtgever bewust ‘low profile’ gehouden omdat ze geen belang hebben bij grotere ruchtbaarheid, vanwege de resultaten’. Alle acht respondenten onderschrijven de stelling ‘Opdrachtgevers willen vaak het stempel van onafhankelijkheid van de onderzoekende instantie, maar proberen toch de resultaten in hun voordeel te beïnvloeden’.

Hoe ga je als onderzoeker met dergelijke spanningen om? Zes van de acht respondenten scoren positief op de stelling ‘De opdrachtnemer mag meegaan in uitgangspunten die de klant wil, ook al zou je zelf liever andere keuzen maken, mits je dat expliciet maakt in je rapportage’. Zes van de acht respondenten onderschrijven de stelling ‘Bij het ex ante evalueren van beleidsopties mag de klant iedere optie aanleveren’. Het beeld is dat de opdrachtgever de uitgangspunten mag bepalen, ook al zou de onderzoeker liever andere zien, maar de onderzoeker voert vervolgens wel redelijk onafhankelijk het onderzoek uit. De respondenten voelen niet veel commerciële druk om al te zeer mee te gaan met de klant: slechts twee respondenten onderschrijven de stelling ‘Een grotere mate van onafhankelijkheid leidt tot minder opdrachten’.

Spanning onderzoek en beleid
Een tweede categorie dilemma’s hangt samen met spanningen tussen onderzoek en beleid. Als onderzoek zeer beleidsgevoelig is, is de druk erop vaak groter. Zeven van de acht respondenten onderschrijven de stelling ‘Hoe groter de relatie tussen onderzoek en beleid, hoe moeilijker het is volledig neutraal te blijven’. Scores op de stelling ‘Soms worden onderzoeksresultaten aangepast aan voor beleid gewenste uitkomsten’ zijn meer verdeeld: drie onderschrijven de stelling, vier niet (1 persoon heeft de stelling niet gescoord). 

Spanning onderzoek en maatschappij
Een derde categorie dilemma’s betreft de spagaat tussen de belangen van de klant en die van de maatschappij. De stelling ‘De belangen van een klant gaan voor maatschappelijke belangen (zoals inzichten aan media kenbaar maken); opdrachtnemers moeten die respecteren, ook al zou je vanuit een maatschappelijke optiek soms anders willen handelen’ wordt door drie respondenten verworpen, en door vier onderschreven (1 is neutraal). Drie respondenten onderschrijven de stelling ‘Als een opdrachtnemer een niet-vertrouwelijke opdracht voor een overheid doet, en de media vragen om de bevindingen, mag de opdrachtnemer die kenbaar maken, ook al is de opdrachtgever daarmee niet blij’, vijf niet. Als we het woord ‘mag’  in deze stelling vervangen door ‘moet’, onderschrijft nog  één respondent de stelling. 

OEI-leidraad doet veel goeds
Mede vanwege de slechte ervaringen met stapels onderzoek voor de HSL-zuid en de Betuweroute in de jaren 90, is in 2000 de OEI-leidraad verschenen (Eijgenraam et al., 2000). Die geeft aan dat grote nationale infrastructuurprojecten met een KBA moeten worden beoordeeld, en hoe dat moet gebeuren. Die lijkt volgens de respondenten goed werk te doen: zeven van de acht onderschrijven de stelling ‘De OEI-leidraad en aanvullingen daarop hebben de ethische kwaliteit van daarop gebaseerde KBA's verbeterd’, en zes van de acht de stelling ‘Er is in KBA's minder discussie over zaken waarover de OEI-leidraad (en de aanvullingen daarop) zich uitlaat, dan over zaken waarover de leidraad (en aanvullingen) zich niet uitlaat’. Volgens de OEI-leidraad moet hetzij de KBA worden uitgevoerd door het Centraal Planbureau (CPB), hetzij door een andere instelling, maar dan moet het CPB een second opinion geven.

En vaak ziet een commissie van onafhankelijken (los van het CPB) toe op de wetenschappelijke kwaliteit van KBA’s van grote infrastructuurprojecten. Alle acht respondenten onderschrijven de heilzame werking van zo’n second opinion door de stelling ‘Als er Second Opinions op KBA's komen, leidt dit in het algemeen tot kwaliteitsverhoging van de KBA’s’ te onderschrijven. Een respondent gaf in het interview aan wel eens tegen een klant die resultaten beïnvloeden, te hebben gezegd dat die dat alleen al niet zou moeten willen omdat er problemen zouden ontstaan bij de second opinion. De klant ging daarin mee, en zag er van af de onderzoeker verder onder druk te zetten. 

De rol van de onderzoeker
Doet de rol van de onderzoeker er toe? Maakt het bijvoorbeeld uit of onderzoek door een consultant of universiteit wordt uitgevoerd? Kennelijk wel: zes van de acht 8 respondenten onderschrijven de algemene stelling ‘De vraag wat ethische dilemma’s zijn, hangt af van de rol die je als onderzoeker hebt (bv universiteit versus management consultant)’. Ook is het beeld dat de randvoorwaarden (tijd, geld, doorlooptijd) bij consultants belangrijker is dan bij universiteiten. Alle acht respondenten onderschrijven de stelling ‘Onderzoek bij consultants vindt welhaast altijd plaats binnen randvoorwaarden van geld, tijd en/of doorlooptijd’, maar slechts drie de stelling dat dit het geval is bij onderzoek bij universiteiten. De stelling ‘Het is erger als een universiteit in een studie niet onafhankelijk blijkt te zijn, dan een consultant’ wordt door drie respondenten wel, en door drie niet onderschrijven (2 zijn neutraal).

Persoonlijke meningen
Hierboven ging het om algemene stellingen. Andere stellingen gingen over persoonlijke meningen. Zes van de acht respondenten gaan pragmatisch om met randvoorwaarden: ze onderschrijven de stelling ‘Als het budget voor onderzoek bij nader inzien te laag blijkt te zijn, maar het is er wel voor aangenomen, dan pas ik het kwaliteitsniveau aan, aan de beschikbare tijd’. Zes van de acht respondenten hebben wel eens opdrachten geweigerd omdat ze ethische bezwaren hadden tegen de uitvoering daarvan. Zelfs zeven van de acht onderschrijven de stelling ‘Ik heb liever minder opdrachten dan het prijsgeven van de onafhankelijke positie’. Men is dus bereid een prijs te betalen voor onafhankelijkheid. Vier respondenten hebben wel eens gedreigd een lopende opdracht terug te geven om ethische redenen, waarna de opdrachtgever zijn standpunt aanpaste.

Op basis van opmerkingen gemaakt door twee geïnterviewden is de stelling ‘Ik ervaar wel eens een spanning tussen het binnen halen van opdrachten zodat personeel voldoende werk heeft, en onafhankelijkheid’. Die twee waren de enigen; voor de zes anderen geldt dat niet. Zeven van de acht respondenten onderschrijven de stelling ‘Ik kijk beter naar uitkomsten die voor de opdrachtgever onwelgevallig zijn’, zes de stelling ‘Ik pas soms formuleringen aan aan de wensen van de opdrachtgever’. Het gaat dan om formuleringen van het type ‘het glas is half vol’ versus ‘het glas is half leeg’. Vijf respondenten onderschrijven de stelling ‘Mijn onderzoeksresultaten (die vaak context-afhankelijk zijn), worden soms door anderen misbruikt in ander onderzoek’.  

Verschillen consultants – universiteiten
Het belangrijkste verschil tussen de twee groepen geïnterviewden (consultants versus respondenten die bij een universiteit werk(t)en) betreft de prioriteit voor onafhankelijkheid versus de belangen van de klant. Tabel 1 toont de verschillen, door de scores op vijf stellingen gerelateerde te combineren.

Tabel 1: prioriteit voor onafhankelijkheid versus de klant: consultants versus onderzoekers met een universitaire achtergrond

Chi2 = 16.47, significantie < 0.01

Respondenten met een universitaire achtergrond geven gemiddeld een hogere prioriteit aan hun onafhankelijke positie, desnoods ten koste van de belangen van de klant, voor consultants geldt het omgekeerde.

Gedragscodes: weinig bekend
Slechts vier respondenten hadden ooit gehoord van gedragscodes, in drie gevallen omdat hun eigen organisatie zo’n code had. Vijf respondenten onderschrijven de stelling ‘Gedragscodes leven niet echt in de praktijk’. Voor respondenten die werken bij een organisatie met een gedragscode geldt dat men die dan wel eens (vluchtig) doorgenomen, maar de code zit niet echt ‘tussen de oren’. Dat betekent uiteraard niet dat men er niet naar handelt. Slechts één respondent had ooit van de gedragscode van de VSNU gehoord. Dit verbaast me niets: ook ik had er voorafgaand aan het onderzoek nooit van gehoord, en navraag op de werkvloer leerde me dat ik geen uitzondering was… De gedragscodes gaan over de onderwerpen zorgvuldigheid, betrouwbaarheid, controleerbaarheid, onpartijdigheid, en onafhankelijkheid (zie http://www.vsnu.nl/Media-item/Nederlandse-Gedragscode-Wetenschapsbeoefening.htm). Een respondent was vrij kritisch over de gedragscodes; die zouden nogal utopisch zijn; ‘de praktijk is veel weerbarstiger’. De andere zeven waren positiever. Hieronder volgt het beeld van die zeven respondenten.

De respondenten sympathiseren met de code voor zorgvuldigheid, maar geven aan dat dit niet altijd mogelijk is: er gelden vaak beperkingen ten aanzien van (doorloop)tijd, zelfs voor promotieonderzoek aan universiteiten. Ook was men redelijk positief over de codes voor betrouwbaarheid en controleerbaarheid, al spelen ook hier praktische grenzen rond tijd en geld. Meer gemengd zijn de meningen over onpartijdigheid en onafhankelijkheid: in beide gevallen onderschrijven drie de code, en denken dat die uitvoerbaar is. De anderen maken meer voorbehoud, of geven aan dat dit niet haalbaar is. In wetenschappelijk onderzoek is een belangrijk uitgangspunt dat resultaten reproduceerbaar moeten zijn. Alle acht respondenten onderschrijven dit. Reproduceerbaarheid wordt vaak gezien als een onderdeel van controleerbaarheid.

Al met al is het beeld dat gedragscodes niet echt leven, maar er is wel enige sympathie voor. Wel is de praktijk soms weerbarstiger dan de codes veronderstellen of zelfs ‘eisen’. 

Conclusies
Conclusies kunnen niet meer dan indicatief zijn, want er zijn slechts acht respondenten geïnterviewd. Toch lijkt deze methode me meer inzicht te geven, dan bijvoorbeeld een enquête-onderzoek onder enkele honderden onderzoekers. In dat geval zou het risico van het geven van sociaal wenselijke of politiek correcte antwoorden erg groot zijn.

Een eerste conclusie is dat opdrachtgevers van onderzoek de resultaten vaak proberen te beïnvloeden. Ten tweede: de respondenten vinden dat de klant wel mag vragen ‘wat’ er onderzocht moet worden, en eventueel wat uitgangspunten zijn, maar niet ‘hoe’  het onderzoek moet worden uitgevoerd. Ten derde: dilemma’s komen vaak voor als gevolg van spanningen tussen de belangen van de klant, die van de maatschappij, en onafhankelijkheid van de onderzoeker. Ten vierde: de OEI-leidraad heeft volgens de respondenten veel goed gedaan. Tenslotte blijkt dat de rol van de onderzoeker er toe doet: respondenten met een universitaire achtergrond kiezen gemiddeld vaker voor onafhankelijkheid, consultants voor belangen van de klant. 

Discussie
Wat zeggen deze resultaten nu? Wat moeten we ermee? Mijn indruk is dat het met de ethische kwaliteit van de onderzoekers in Nederland vrij goed gesteld is. De geïnterviewden hadden vaak duidelijke standpunten en meningen, en realiseerden zich de spanningen tussen de diverse belangen goed. En ze hadden duidelijk over het onderwerp nagedacht. Mogelijk speelt mee dat het onderwerp van het interview van tevoren bekend was. Als ik de huidige situatie in Nederland vergelijk met wat ik vaak hoor van onderzoekers in sommige andere landen (zoals België, Griekenland, Portugal, Italië), dan is de (ethische) kwaliteit in Nederland naar mijn indruk beter. Toch is verdere verbetering zeker mogelijk. Op de eerste plaats gaat het om het feit dat de opdrachtgever van onderzoek tevens een groot belang heeft: men ziet graag een bepaald positief besluit over infrastructuuruitbreiding. Deze belangenverstrengeling is inherent problematisch; het zou de kwaliteit van onderzoek ten goede komen als de opdrachtgever een onafhankelijke partij zou zijn. Dat geldt op nationaal, regionaal en wellicht ook gemeentelijk niveau.

De parlementaire democratie werkt alleen goed als degenen die uiteindelijk moeten stemmen / beslissen (zoals leden van de Tweede Kamer), neutraal geïnformeerd worden. Op de tweede plaats zou het mooi zijn als er niet alleen gedragscodes voor onderzoekers zijn, maar ook voor opdrachtgevers, zeker zo lang zij een belang hebben. Dit op de eerste plaats als een overheid de opdrachtgever is. Ten derde valt het te overwegen de OEI-leidraad van toepassing te verklaren op ook niet-nationale projecten, en kleinere projecten. Waar precies de grens moet liggen, moet nader worden vastgesteld, maar naar mijn mening valt het te overwegen standaard een KBA uit te voeren voor regionale projecten van enkele tientallen of honderden miljoenen. Ten opzichte van de kosten van de projecten zijn de kosten van goed onderzoek een druppel op de gloeiende plaat. En ten vierde zou het goed zijn voor alle projecten waarvoor een KBA (liefst dus volgens de OEI-leidraad) wordt uitgevoerd, een second opinion te vragen, en/of een onafhankelijke commissie op de kwaliteit van het onderzoek te laten toezien. En de resultaten daarvan zouden standaard als bijsluiter bij de onderzoeksrapporten (KBA en andere) moeten worden toegevoegd; nu gebeurt het soms dat er wel kritische opmerkingen worden gemaakt, maar dat daar niets mee wordt gedaan. 

Literatuur

1. Eijgenraam, C.C.J., C.C. Koopmans, P.J.G. Tang, A.C.P. Verster (2000), Evaluatie van infrastructuurprojecten. Leidraad voor kosten-batenanalyse. Deel I: Hoofdrapport.

2. Onderzoeksprogramma Economische Effecten Infrastructuur. Den Haag, Ministerie van V&W en EZ.

3. Van Wee, B. (te verschijnen, 2011), Transport and Ethics. Ethics and the ex ante Evaluation of Transport Policies and Projects. Cheltenham, UK, Northhampton, MA, USA: Edward Elgar.
   

 
Auteur: Margriet Verhoog