Ik focus hier op één vraag: wat kunnen wij met behulp van de vrijgekomen documenten leren met betrekking tot het proces van peer review?

Wetenschappelijke onderzoekers publiceren hun bevindingen doorgaans in gespecialiseerde ‘wetenschappelijke tijdschriften’. Zo’n tijdschrift stuurt een aangeboden artikel eerst voor beoordeling en commentaar naar andere deskundigen in het betrokken domein. Indien deze laatsten oordelen dat het artikel van slechte of twijfelachtige kwaliteit is, zal het tijdschrift de tekst niet publiceren. Niet zelden suggereren de reviewers tekstwijzigingen, aanvullingen of weglatingen als voorwaarde tot publicatie. Met andere woorden: wetenschappelijke onderzoekers worden voortdurend gecontroleerd door hun collega’s, en wie uit de pas loopt wordt gesanctioneerd in de zin dat het werk van de betrokkene niet meer wordt gepubliceerd. Afwezigheid van publicaties leidt op termijn tot verlies van prestige, uitblijvende uitnodigingen voor congressen, en stopzetting van financiering.

Dit systeem wordt geacht de kwaliteit van het onderzoek te bevorderen. Evenwel bestaat er geen principiële reden om te geloven dat peer review ipso facto zal leiden tot onderzoek van betere kwaliteit. De werkwijze voert wel tot uniformisering. Indien in het betrokken onderzoeksveld vruchtbaar ideeënwerk en nauwgezetheid de norm zijn, dan zal een zwart schaap dat er met de pet naar gooit, uit de wei worden gezet. Doch het omgekeerde kan net zo goed gebeuren. Indien een bepaald onderzoeksveld wordt gedomineerd door een stel knoeiers, of (meer waarschijnlijk) door een netwerk van onderzoekers die samen een verkeerde of foutieve theorie hebben opgebouwd, zodat hun prestige en subsidies afhangen van het overeind blijven van die theorie, dan zal peer review juist iedere corrigerende beweging afremmen, omdat critici hun opvattingen niet kwijtkunnen in de peer-reviewed tijdschriften die geacht worden toonaangevend te zijn voor het onderzoeksdomein.

Bepaalde factoren werken een negatieve impact van peer review in de hand. Bruno Frey (in: “Publishing as prostitution?” 2002, 2003) [pdf] neemt geen blad voor de mond. Hij definieert [pdf] intellectuele of academische prostitutie als het handelen tegen de eigen overtuiging met het oog op een beloning, en beschouwt de aanpassing van wetenschappelijke auteurs aan de wensen van de anonieme ‘peer reviewers’ als een voorbeeld van zo’n prostitutie.

De academische onderzoeker leeft van publicatie. Zijn status en inkomen hangt af van het aantal artikels dat hij gepubliceerd krijgt, in tijdschriften met zo hoog mogelijke ranking. De auteur van een ingediend artikel staat hierdoor onder druk om toe te geven aan de eisen van de reviewer:

“Most journals get many more papers than they can possibly accept (rejection rates of over 95 percent are quite common) and therefore grant each referee veto power. Thus, an author must conform so much to the demands that acceptance by all referees is guaranteed (...) Normally, the referees want to see substantial changes basically altering the paper. Often, an almost completely new paper is demanded. At the very least, the author is asked to write things he or she would not otherwise have written”.

Het mechanisme leidt bij auteurs tot internalisatie van deze toestand van intellectuele onderworpenheid:

“Some of the born or learned academic prostitutes have reached a high level of competence. In particular, they are masters at predicting what the referees and editors want to see, and from the very beginning introduce it into their papers. The extent of prostitution can then no longer be identified by looking at the changes undertaken in the course of the publication process. The more perfectly the authors are able to anticipate the demands, the less they need to change. Due to the lower cost of meeting the demands for revision, born and learned intellectual prostitutes are more likely to engage in the publication game and to stay in academia”.

Tsang en Frey (2006) schrijven [pdf]:

“...the developmental review process has evolved to the state where authors are ‘forced’ to develop their manuscripts along the lines dictated by editors and referees if they want their manuscripts be accepted for publication (...) Theoretically, authors have the right not to accept some of the referees’ suggestions when they work on their revisions, or even to withdraw their submissions if they think that the suggested changes are unreasonable. Notwithstanding, they are fully aware of the fact that they only have a chance of getting their paper accepted if they almost slavishly follow the demands formulated. The existing system of journal editing virtually forces academics to become what Frey (2003) metaphorically dubbed ‘prostitutes’: they sell themselves for money (and fame). Authors not prepared to prostitute themselves are thrown out of academia because they fail to publish. Their integrity may survive, but the authors disappear as academics”.

Peer review kan gaan functioneren als een mechanisme dat de wetenschappelijke trein langer dan normaal op een verkeerd spoor houdt, en omdat het een werkwijze is die sowieso intellectuele onderworpenheid bevordert, kan men over het algemeen eerder een negatieve dan een positieve impact verwachten. Wanneer peer review opereert in een ideale omgeving met een grote meerderheid aan zeer bekwame en integere onderzoekers, kan het mechanisme vruchten afwerpen. Doch in minder ideale situaties kan de praktijk destructief werken, de persistentie van verkeerde ideeën in de hand werken en corrigerende impulsen in de kiem smoren.

De CRU- mails in verband met peer review

Hoe staat het met de impact van peer review in de klimaatwetenschappen? Als buitenstaander is het moeilijk om zich hierover een beeld te vormen, doch de gelekte CRU-mails doen het ergste vermoeden.

In het geval van de zogezegde klimaatwetenschappen is de situatie sowieso meer toegespitst dan elders, omdat op dit domein gigantische economische en maatschappelijke gevolgen kunnen optreden. De politieke kaste is vanzelfsprekend het idee van een catastrofale en door de mens geïnduceerde opwarming van de aarde spontaan genegen omdat dit de mogelijkheid biedt tot de invoering van extra wetgeving, belastingen en bureaucratieën. Over het algemeen zullen politici spontaan op de AGW-trein springen.

Een karikaturaal voorbeeld werd geleverd in 2005 meegemaakt toen Margaretha Guidone, een alternatieve genezeres die meent dat men op basis van quantummechanica kan communiceren met waterdruppels, erin slaagde om de top van de Vlaamse politieke kaste achter zich te scharen ter gelegenheid van de première van Al Gore’s flutfilm “An Inconvenient Truth”. De hoogbegaafde minister van onderwijs Frank Vandenbroucke liet weten dat deze film naar alle scholen zou worden gestuurd (hoewel in Groot-Brittanië een rechter heeft bepaald dat de film in het onderwijs enkel mag worden gebruikt mits voor de leerlingen worden gewaarschuwd voor een reeks absurditeiten die erin voorkomen). Guidone werd lid van de SP.a, mocht aan de zijde van minister Tobback jr. mee naar Naïrobi om daar namens België het klimaatprofitariaat één minuut toe te spreken, bood in het vliegtuig aan om de voeten van de passagiers met heilzame olieën te masseren (niemand ging in op het aanbod), werd bijna verkozen in de Kamer, publiceerde een boek bij Lannoo en emigreerde vervolgens naar Canada, maar toch niet.

Hier is een interessante passage uit een e-mail (8 juli 2004) van Jones (die nu ‘een stap opzij’ heeft gedaan als hoofd van de CRU) naar Mann (de producent van valse hockeystick-curves):

“NCEP does many odd things also around sea ice and over snow and ice. The other paper by MM is just garbage – as you knew. De Freitas again. Pielke is also losing all credibility as well by replying to the mad Finn as well – frequently as I see it. I can't see either of these papers being in the next IPCC report. Kevin and I will keep them out somehow – even if we have to redefine what the peer-review literature is!”

Deze mail werpt direct licht op het corrupte proces van peer review, dat leidde tot het IPCC-rapport. Het peer review-proces wordt hier letterlijk gedefinieerd als een mechanisme van uitsluiting van datgene, wat ingaat tegen de opvattingen van de kliek die het proces in handen heeft. De uitgesloten paper van MM (McIntyre en McKitrick) betreft een artikel waarin de valse hockeystick van Mann wordt ontmanteld. Diezelfde Mann bespreekt in een andere e-mail (11 maart 2003) wat men moet aanvangen met een peer-reviewed blad (Climate Research) dat dissidente artikelen publiceert. Volgens hem moet men dan ophouden met zo’n tijdschrift als een peer-reviewed blad te beschouwen:

The Soon & Baliunas paper couldn't have cleared a 'legitimate' peer review process anywhere. That leaves only one possibility--that the peer-review process at Climate Research has been hijacked by a few skeptics on the editorial board. And it isn't just De Frietas, unfortunately I think this group also includes a member of my own department (...)

This was the danger of always criticising the skeptics for not publishing in the "peer-reviewed literature". Obviously, they found a solution to that--take over a journal! So what do we do about this? I think we have to stop considering "Climate Research" as a legitimate peer-reviewed journal. Perhaps we should encourage our colleagues in the climate research community to no longer submit to, or cite papers in, this journal. We would also need to consider what we tell or request of our more reasonable colleagues who currently sit on the editorial board...

What do others think?

Mike

Dat is opnieuw de door Jones expliciet geformuleerde theorie: peer-reviewed literature is per definitie litteratuur die de thesen van mensen als Jones en Mann ondersteunt, en artikelen die deze thesen tegenspreken, worden gedefinieerd als zijnde geen peer-reviewed litterature. Bladen die in deze zin ophouden met peer-reviewed te zijn, moeten blijkens de mail hierboven zo mogelijk opnieuw peer-reviewed worden gemaakt door de editorial board van het blad te vervangen. In de volgende e-mail wordt één van de taktieken besproken die men kan volgen om een blad dat naast het spoor loopt weer in de pas te krijgen (Tom Wigley, 24 april 2003). Uit de mail blijkt dat Mann een aantal leden van de editorial board wilde wippen; Wigley schat dat zoiets niet zal lukken en stelt als alternatief groepdruk voor op de uitgever:

PS Re CR, I do not know the best way to handle the specifics of the
editoring. Hans von Storch is partly to blame -- he encourages the
publication of crap science 'in order to stimulate debate'. One approach
is to go direct to the publishers and point out the fact that their
journal is perceived as being a medium for disseminating misinformation
under the guise of refereed work. I use the word 'perceived' here, since
whether it is true or not is not what the publishers care about -- it is
how the journal is seen by the community that counts.

I think we could get a large group of highly credentialed scientists to
sign such a letter -- 50+ people.

Note that I am copying this view only to Mike Hulme and Phil Jones.
Mike's idea to get editorial board members to resign will probably not
work -- must get rid of von Storch too, otherwise holes will eventually
fill up with people like Legates, Balling, Lindzen, Michaels, Singer,
etc. I have heard that the publishers are not happy with von Storch, so
the above approach might remove that hurdle too.

De controle over het proces van ‘peer review’ ligt overigens ingebed in een ruimer systeem, waarbij ook gepoogd wordt om zoveel mogelijk de pers in de pas te laten lopen. Een voorbeeld is een recente mail van Mann, de vader van de infame ‘hockeystick’, waarin die zijn voornemen uitdrukt om de BBC te contacteren in verband met een enigszins klimaatskeptisch artikel, dat door een BBC-journalist was geschreven:

extremely disappointing to see something like this appear on BBC. its particularly odd, since climate is usually Richard Black's beat at BBC (and he does a great job). From what I can tell, this guy was formerly a weather person at the Met Office.

We may do something about this on RealClimate, but meanwhile it might be appropriate for the Met Office to have a say about this, I might ask Richard Black what's up here?

mike

Uit de mails blijkt wat ‘peer review’ in werkelijkheid is. Het gaat om een systeem dat dissidentie uitsluit en demoniseert, en conformiteit en ‘consensus’ bevordert. ‘Wetenschappelijke consensus’ is dan ook een toverterm die door de aanhangers van de AGW-leer voortdurend wordt gebruikt. In werkelijkheid zou men iedereen, die zich op ‘wetenschappelijke consensus’ beroept om een stelling kracht bij te zetten, alleen al om die reden diep moeten wantrouwen. ‘Consensus’ is immers absoluut geen criterium voor waarheid. Nieuwe wetenschappelijke inzichten berusten per definitie niet op een consensus (zoniet zouden ze niet nieuw zijn) en anderzijds bestond en bestaat er ruime consensus over allerlei beweringen die manifest onwaar zijn. De waarheid of onwaarheid van een stelling kan alleen maar getoetst worden door in te gaan op de argumenten; er is geen binnenweg die sneller tot het doel voert. Peer review fungeert als een soort politiek instrument waarbij men probeert om een debat via machtsgrepen op een niet-inhoudelijke wijze te beslechten. Op wetenschappelijke domeinen waar er niet direct grote politieke belangen en gigantische bedragen aan onderzoeksgeld op het spel staan, zullen de negatieve effecten van peer review vermoedelijk binnen de perken blijven. Maar wanneer op grote schaal macht, prestige en geld de inzet is geworden, wordt de kans op ontsporing levensgroot.

Geen samenzweringen, wel misplaatst conformisme

Al te vaak wordt gedacht dat collusie van gedachten en streven op grote schaal het bestaan van een brede doelbewuste samenzwering impliceert, en dat het bestaan van zo’n collusie op het vlak van klimaattheorie moet worden afgewezen omdat een grootschalige samenzwering ondenkbaar is. In werkelijkheid kunnen hooggeorganiseerde systemen gemakkelijk ontstaan zonder enige vorm van centrale planning. Een samenzwering is overbodig: de diffuse werking van enkele simpele krachten volstaat. Om in de sfeer te blijven: een orkaan is een zeer georganiseerd en gecentraliseerd systeem, dat evenwel niet ontstaat door enige centrale planning, doch op basis van enige simpele en lokaal opererende fysische principes.

Analoog kan de huidige klimaathysterie begrepen worden door enkele elementaire en per individu opererende menselijke gebreken in rekening te brengen, zoals hebzucht, de hang tot prestige en aanzien, de neiging tot groepsgedrag, ongepast ontzag voor autoriteit, of het waardeloze genoegen dat men kan putten uit de illusie tot één of andere ‘morele voorhoede’ te behoren. Heel de geschiedenis wordt getekend door het opduiken van alle mogelijke soorten memes, waarrond zich dan op basis van genoemde gebreken mensen gaan organiseren. In de twintigste eeuw heeft men heel wat memetische complexen zien opduiken (ook in verband met weer en klimaat, bijvoorbeeld rond de global cooling in de jaren ’70 of de zure regen in de jaren ’80). De kwaliteit van de meme, tezamen met allerlei toevallige omstandigheden, bepaalt de omvang van de maatschappelijke storm die rond de meme gestalte aanneemt. De huidige klimaathysterie is niets anders dan een memetisch orkaan dat zich heeft gevormd rond een bijzonder levenskrachtige en besmettelijke meme.

Het denkbeeld dat de toename van de koolzuurgasconcentratie in de dampkring op korte termijn gaat leiden tot apocalyptische taferelen eindigend in een onbewoonbare planeet, is in politiek opzicht zeer interessant. Omdat koolzuurgas een essentieel onderdeel is van de levenscyclus, en vrijwel alle industriële activiteiten wel op één of andere manier met koolzuurgasproductie gepaard gaan, krijgt de heersende kaste met de AGW-leer een ideaal instrument in handen om op alle levensdomeinen drastische machtsuitbreiding te verantwoorden. Klimaatwetenschappers zien een interessante mogelijkheid tot lucratieve symbiose met de politieke kaste: zij leveren rampscenario’s in ruil voor een vermenigvuldiging van prestige en onderzoeksmiddelen. Niet te verwonderen dus, dat binnen de climate community een systeem van informele interne disciplinering ontstaat, om bijvoorbeeld Rob Van Dorland in de problemen te brengen, wanneer die twijfels durft uit te drukken in verband met Mann’s hockeystickcurve. Niet te verwonderen dan men AGW-skeptici gaat bestempelen als criminelen die zich schuldig maken aan misdaden tegen de menselijkheid (zoals Peter Tom Jones stelt in De Standaard van 8 december 2009). Het inkomen en intellectueel aanzien van een wereldwijd vertakte ideologische industrie staat op het spel, en de protagonisten van de theorie zijn geen onthechte waarnemers, maar directe belanghebbenden. Ook de multinationals hebben ondertussen begrepen, dat via AGW winst te rapen valt (uit de CRU-mails blijkt trouwens, dat de olie-industrie – BP, Shell, ... – betrokken is bij de financiering van het klimaatonderzoek). Hun deelname geeft nog eens extra momentum aan de memetische storm. Diverse ontwikkelingslanden hebben ondertussen begrepen dat grove munt uit het ‘probleem’ kan worden geslagen. De Maladiven bijvoorbeeld organiseren als stunt een onderwater regeringsbijeenkomst, want zij dreigen zogezegd weggespoeld te worden. Naarmate de beweging versterkt, zien meer en meer actoren brood in de zaak, zodat een soort runaway-effect ontstaat, niet betreffende de opwarming van de dampkring, maar wel betreffende de verhitting van de geesten. [pdf]

Voor de media, die overwegend zijn bemand door vooruitstrevend, tot moraliseren geneigd en wetenschappelijk halfgeletterd tot ongeletterd personeel, zijn verhalen over onderlopende eilanden, instortende poolkappen en brandende methaanballen in de dampkring, voorverpakt en op maat gesneden brood. Waarom vertelt De Morgen in 2004 dat Den Haag in 2007 ten gevolge van ‘global warming’ onder water zal staan? Waarom publiceert diezelfde krant, tegen alle evidentie in, dat de uitgelekte CRU-mails vervalsingen zijn (“Hackers knoeiden zelf met klimaatmails (...) de meeste mails zijn veranderd”, De Morgen 23 november 2009)? Alweer niet omdat de redactie van deze kwaliteitskrant deel uitmaakt van enige samenzwering, maar wel omdat haar kantoren bemand blijken door middelmatige meelopers met de macht, die hier een mooie kans zien om zonder veel werk sappige manuscripten te publiceren en zich daarbij nog morele pionier te voelen ook.

De klimaathysterie confronteert de mensheid met haar eigen kleine kanten, en met de dringende noodzaak om bewuster met bepaalde mentale gebreken om te gaan. De mensheid staat in deze tijden van globalisering en mediatisering voor de dringende taak om zelfbewustzijn te ontwikkelen met betrekking tot ontstaan en werking van ideologische memen.

Het is in deze brede context dat het effect van peer review moet worden bekeken. In geval van een memetische besmetting gaat peer review functioneren als een mechanisme van demonisering en uitsluiting dat correctie afblokt en het maatschappelijk genezingsproces vertraagt. Het hele systeem van gedrukte wetenschappelijke bladen (die eigenlijk melkkoeien zijn voor de uitgevers) heeft zijn tijd gehad. Een meer open publicatiesysteem, online en met algemene toegankelijkheid van de ruwe data (een ander oud zeer in de klimaatwetenschappen) bv. naar het voorbeeld van het Cornell archief zou moeten ingevoerd worden. Er dient een systeem te komen, dat niet kan gekaapt worden door figuren als Jones en Mann, en waarin onderzoekers vrij kunnen publiceren wat zijzelf denken, zonder enige vorm van uniformisering of intellectuele onderwerping.