Gisteren schreef ik over de onderzoeksaffaire rondom het tragisch afgelopen pro-biotica experiment. Ik ging in op de vraag of de onderzoekers hadden kunnen weten of er iets mis ging, voordat het onderzoek beëindigd werd. Wat dat betreft kwam ik tot de conclusie, dat op basis van eenvoudige statistiek blijkt dat de onderzoekers geen blaam treft: ze hadden geen enkele informatie op basis waarvan ze konden vermoeden dat er iets (vreselijk) mis ging.

Maar daarmee is het verhaal natuurlijk niet afgelopen. Hieronder zal ik beschrijven wat de onderzoekers zagen toen ze eenmaal alle informatie beschikbaar hadden. Dat wil dus zeggen, toen hen bekend werd gemaakt welke patiënten in de experimentele groep zaten en welke in de controlegroep.

Om duidelijk te maken wat er precies gebeurde, haal ik eerst de tabel terug uit het vorige stukje:

  Patiënt niet overleden Patiënt overleden Totaal
Controlegroep     150
Experimentele groep     150
Totaal 267 33 300

Dit waren de gegevens die de onderzoekers hadden voordat zij wisten welke patiënten in welke groep zaten. Met andere woorden: ze kenden alleen de tabel-marginalen. Toen ze eenmaal wisten wie wel het experimentele middel had gekregen en wie niet, konden ook de cellen van de tabel gevuld worden. Zou dit zuiver op toeval gebeurd zijn, dus wanneer er geen enkele relatie bestond tussen het middel en de kans te overlijden, dan zou de tabel er als volgt uit hebben gezien:

  Patiënt niet overleden Patiënt overleden Totaal
Controlegroep 133,5 16,5 150
Experimentele groep 133,5 16,5 150
Totaal 267 33 300

Er bestaan natuurlijk geen halve mensen, maar voor dit doeleinde maakt dat hier weinig uit. We zouden ook alles af kunnen ronden, maar dan zouden we nauwkeurigheid verliezen. Op basis van het persbericht van het UMC kon ik de tabel ook invullen, zoals deze in werkelijkheid eruit heeft gezien:

  Patiënt niet overleden Patiënt overleden Totaal
Controlegroep 126 24 150
Experimentele groep 141 9 150
Totaal 267 33 300

We zien duidelijke verschillen! De kans om te overlijden is voor mensen uit de experimentele groep vele malen groter dan voor mensen uit de controlegroep. Maar, dat kan natuurlijk ook op toeval berusten en dat is waar de statistiek om de hoek komt kijken. We kunnen namelijk betrekkelijk eenvoudig berekenen hoe groot de kans is, dat deze (werkelijke) verdeling tot stand komt, onder conditie dat er in werkelijkheid helemaal geen relatie bestaat tussen de experimentele behandeling en de controle-behandeling.

Om deze kans te berekenen dienen we eerst per cel het verschil te berekenen tussen de twee tabellen en die vier verschillen bij elkaar op te tellen. Dit leidt tot een waarde van 30. Deze waarde volgt een zogenaamde chi-kwadraat verdeling ((leg ik elders uit, indien mensen daar behoefte aan blijken te hebben)) die ons in staat stelt de kans te berekenen dat de gevonden verschillen inderdaad zo groot zouden zijn, wanneer er in feite dus geen verschil bestaat. Wanneer we dat hier doen, dan komen we uit op een kans van 4.320463e-08 (oftewel vrijwel gelijk aan 0).

Een enorm kleine kans dus! Dit betekent dat we, onder een aantal aannames, zelfverzekerd kunnen stellen dat er inderdaad een relatie is tussen de experimentele behandeling en de kans te overlijden. Helaas is deze relatie niet ‘in de richting’ die iedereen hoopte.

—

Ik hoop dat ik met dit verhaal, in combinatie met het vorige, met simpele statistische middelen duidelijk heb kunnen maken dat er geen enkele reden is om de onderzoekers te bekritiseren over hun onderzoek. Uiteraard op basis van de informatie voor zover die (mij) nu bekend is. Op het internet lees ik nu veel reacties die direct zondebokken aanwijzen. Die reacties zijn dus, als je het mij vraagt, kortzichtig en slechts doordacht. Er gebeuren nu eenmaal nare dingen waar niet altijd iemand schuldig aan is.