Wees een vos!

Sanne Blauw: we hebben ten onrechte een blind vertrouwen in cijfers

In Brainwash Talks van Human buigen journalisten, schrijvers, wetenschappers, theatermakers en filosofen zich over de grote persoonlijke en maatschappelijke vragen van nu. Deze keer econometrist en journalist Sanne Blauw over het probleem met ons blinde vertrouwen in cijfers.

Ik wil het hebben over John Snow. En het wordt geen praatje over Game of Thrones – sorry. Ik wil het hebben over John Snow, een Britse arts, die leefde in de 19e eeuw. In zijn tijd woedde er in zijn land een vreselijke ziekte: cholera. Mensen werden acuut ziek. Ze gingen braken, kregen diarree, en vaak overleden ze binnen enkele dagen aan hun symptomen. In die tijd werd er gedacht dat cholera kwam van miasma, in normalemensentaal: gore lucht. Het stonk. Niet zo gek: het riool lag open, er lag vuilnis op straat. Dus niet zo heel vreemd dat de stank de schuld kreeg van die vreselijke ziekte.

John Snow dacht dat het anders zat, maar hij kon zijn alternatieve theorie nog niet bewijzen. Tot aan de snikhete zomer van 1854, toen er opnieuw cholera uitbrak, ditmaal in Londen in de wijk van Soho. Snow besloot ernaartoe te gaan. Hij ging van deur naar deur en hij begon te turven. Hij ging kijken waar de mensen overleden waren. En uiteindelijk zette hij al die turfjes op een kaart van de buurt. Uit die kaart, die je nog altijd kan zien, blijkt een duidelijk patroon. Want in het midden van al die turfjes stond een waterput.

En dat was exact wat Snow had gedacht: dat cholera zich niet via lucht, maar via water verspreidt. Dus dit was bewijs voor zijn theorie. Niet snel daarna besloot de lokale raad de hendel van de pomp af te halen, zodat mensen het water niet meer konden gebruiken, en hield de uitbraak op. Snow is een van mijn helden, want hij maakt duidelijk hoe belangrijk cijfers zijn. Hij liet zien dat hij een patroon kon ontdekken dat levens zou gaan redden, door simpelweg te tellen en gegevens in kaart te brengen.

“Cijfers geven houvast, een gevoel van controle. Toch gaat het in onze omgang met cijfers vaak mis.”

Ook vandaag, in de coronacrisis, zien we weer hoe belangrijk cijfers zijn. Stel je maar eens voor hoe de pandemie eruit had gezien zonder cijfers. Dan hadden we niet kunnen tellen hoe vol de IC’s lagen. We hadden niet kunnen meten hoeveel mensen al antistoffen in hun bloed hadden. We zouden straks, als er hopelijk ooit een vaccin komt, niet statistisch testen of dat ding dan ook echt werkt. Dus die cijfers zijn heel belangrijk.

Niet gek ook dat we er dagelijks over lazen in de krant, toch? We lazen over corona- en sterfgevallen, over exponentiële groei, over flattening the curve. En de broer van de postbode van de vriend van je moeder wilde je berekeningen sturen die hij had gemaakt. Cijfers waren overal. En ik snap dat wel, ik ben ook een cijfer-nerd, en vond cijfers vroeger al heel leuk. Ik maakte midden in de nacht sommetjes met de cijfertjes op mijn radiowekker. Ik ben econometrie gaan studeren, een studie die vol zit met cijfers. En ik schrijf nu alweer jarenlang over cijfers en hoe die een rol spelen in ons leven en in onze samenleving. Dus ik snap het wel dat je met die cijfers aan de slag wil.

Maar ook als je geen spreadsheetvreter bent, dan zijn die cijfers alsnog fijn. Want cijfers geven houvast. Een gevoel van controle. Heel fijn, zeker in zo’n onzekere tijd als een pandemie. En niet alleen in de pandemie zijn cijfers belangrijk, want eigenlijk in heel ons leven spelen die cijfers een rol. Ga maar na. Je docenten gaven je vroeger cijfers. Die waren waarschijnlijk beslissend voor wat je met je leven ging doen. De overheid gebruikt stikstofcijfers om te beslissen dat we nu honderd kilometer per uur moeten gaan rijden. Je artsen schrijven je medicijnen voor die statistisch zijn getest. En als je op een datingapp zit dan gebruikt die app waarschijnlijk algoritmes om te berekenen wat voor jou de beste match zal zijn. Cijfers zijn overal en ze bepalen hoe jouw leven eruitziet. Nogal belangrijk dus dat die cijfers ook kloppen. En hoe fan ik ook ben van cijfers, ik schrijf er nu al jarenlang over en ik zie ook veel misgaan. Ook weer tijdens de coronacrisis. Drie foutjes die ik vaak gemaakt zag worden.

1596653311.jpg
Sanne Blauw in Brainwash Talks (foto: Anna van Kooij).

De eerste: veel te precieze cijfers. Je kent het wel, je ziet een heel precies cijfer in de krant. Een, twee, misschien wel drie cijfers achter de komma. En je denkt: Dat is zó precies, dat moet wel waar zijn, toch? Alleen, die precisie is vaak best misleidend. We zagen in de coronacrisis ook cijfers die heel precies waren. Elke dag werden over nieuwe gevallen en sterfgevallen cijfers gepubliceerd. Op de persoon nauwkeurig konden we lezen wie ermee te maken had gehad. Maar al snel bleek dat alleen mensen die getest waren in die cijfers belandden. En dat die cijfers dus een onderschatting waren van het daadwerkelijke aantal. Toch weerhield dat de twitteraars er niet van om er flink mee aan het rekenen te slaan.

De tweede fout: de scheve steekproef. Als je een peiling doet dan moet de groep die je onderzoekt een goede afspiegeling zijn van de groep waar je in geïnteresseerd bent. Als je wil weten hoe populair Mark Rutte is, dan ga je niet alleen maar op een VVD-congres staan peilen, toch? Alleen, dat ging ook tijdens de coronacrisis nog weleens mis.

Neem een studie in Californië waaruit bleek dat veel meer mensen al corona hadden gehad dan gedacht. De onderzoekers hadden naar antistoffen gekeken in het bloed en concludeerden dat. Alleen, hoe waren de onderzoekspersonen gevonden? Via Facebook, waar advertenties waren geplaatst om mensen te werven. Je kunt je voorstellen, als je zelf last hebt gehad van symptomen, dan ben je meer geneigd om op zo’n advertentie te reageren, om even te kijken of je het inderdaad hebt gehad. Dus is die overschatting niet zo gek, want waarschijnlijk was die steekproef niet representatief.

En dan de derde fout: het door elkaar halen van correlatie en causaliteit. Dat twee dingen tegelijk of op dezelfde plek gebeuren, betekent niet dat het één het ander ook veroorzaakt. Dat ging mis. Denk maar aan die eindeloze vergelijkingen tussen landen die we bijna dagelijks tegenkwamen in het nieuws. We keken eindeloos naar welk land iets deed en of dat goed werkte of juist niet goed werkte. De één zei: ‘Kijk, in warme landen is helemaal geen corona. Het zal de temperatuur wel zijn.’ De ander zei: ‘Nee, landen waar mensen al veel mondkapjes droegen, daar is weinig corona. We moeten allemaal aan de mondkapjes.’

Het is verleidelijk om naar die grafiekjes te kijken en daar een passend verhaal bij te vinden, maar er zijn veel verschillen tussen landen. Niet alleen mondkapjes en temperatuur, maar ook de gezondheidszorg, de bevolkingsopbouw, de manier van testen en geluk. Sommige landen hadden simpelweg geluk. Zij kregen later te maken met corona en waren daardoor beter voorbereid. Dus uit al die factoren kun je er niet zomaar eentje kiezen. Het zal nog wel wat onderzoek kosten, maar uiteindelijk blijkt waarschijnlijk dat het een samenspel is van al die dingen. En dat er niet één oorzaak is waarom een land het goed doet.

1596729356.jpg
Corona-cijfers (foto: Markus Spiske).

Drie fouten dus die we in de pandemie zagen, maar eigenlijk ook op veel andere plekken. Ga maar na. De precieze cijfers zie je ook vaak als het over hele precieze economische voorspellingen gaat. De steekproeven gaan ook vaak mis met peilingen. Je ziet regelmatig peilingen in de krant met onrepresentatieve steekproeven. En het gezondheidsnieuws dat je vaak leest, en elke dag weer anders is: ‘Eet avocado’s. Drink koffie. Drink geen koffie.’ Dat haalt de correlatie en causaliteit door elkaar.

Dus het is oppassen geblazen met cijfers en met de interpretatie van die cijfers. Je zou denken: als we maar genoeg kennis hebben, komt het wel goed. Toch ben ik steeds meer tot de realisatie gekomen dat alleen kennis van statistiek en hoe cijfers werken niet genoeg is. We hebben ook een andere houding nodig. Een houding die is gebaseerd op twijfel. Want, even terug naar de uitspraken waar ik net langsging. Die uitspraken, daar gingen dingen mis als je keek naar de statistiek, maar ze waren ook veel te stellig.

Als we iets hebben geleerd van de pandemie, dan is dat hoeveel onzekerheid er wel niet is. Er was zo veel dat we nog niet wisten. Helpen mondkapjes? Verspreidt het virus zich via oppervlakten of niet? Ben je wel immuun als je antistoffen in je bloed hebt? Allemaal vragen waar we nu langzamerhand antwoord op krijgen, maar dat wisten we niet. Dus zulke stellige uitspraken zijn ook misleidend. En dat is natuurlijk irritant, want we hadden juist die cijfers om ook een beetje houvast te hebben. Om een beetje controle te houden. En dus is het vervelend dat we moeten erkennen dat er nu eenmaal veel is dat we niet weten. En toch ben ik ervan overtuigd dat dat de manier is om de wereld wat beter te begrijpen. Als je ook erkent dat er onzekerheid is.

Politicoloog Philip Tetlock maakt het onderscheid tussen vossen en egels. Egels, zegt hij, zijn mensen die heel stellig zijn. Je kent ze vast wel van tv. Mensen met een duidelijke mening, een duidelijk verhaal over hoe de wereld werkt, en die met veel zekerheid een boodschap verkondigen. Maar, zegt Tetlock, je hebt ook de vossen. En die vossen twijfelen. Ze twijfelen aan de wereld, die vol zit met onzekerheid, maar ook aan zichzelf. Ze veranderen van mening als dat nodig is en ze durven hun foutjes ook te erkennen, en proberen daarvan te leren. Die vossen doen het met al hun nuance en zo niet zo goed op televisie, maar Tetlock deed jarenlang onderzoek naar die vossen en de egels en hij vond wel dat die vossen vaker gelijk hebben.

Twijfel brengt ze verder. Dus misschien moeten we allemaal proberen om iets meer een vos te zijn. En een voorbeeld te nemen aan John Snow. Die man die door de wijk in Londen stiefelde om sterfgevallen te turven ten tijde van cholera. John Snow was voor mij ook een vos. Want toen hij die waterpomp had gevonden, had hij heel egelachtig kunnen roepen: ‘Kijk, ik heb gelijk. Het was de waterpomp!’ Maar hij deed het tegenovergestelde. Hij wist dat dat nog niet genoeg bewijs was. Correlatie is geen causaliteit. Dus ging hij op zoek naar tegenbewijs. En dat vond hij. Hij vond een paar mijl verderop een aantal mensen dat was overleden aan cholera.

Gek, want ze woonden ver van de pomp af. Maar al snel daarna vond hij dat die mensen het water van de pomp zo lekker vonden dat ze het dagelijks lieten afleveren. Dus het was echt de pomp geweest die het had veroorzaakt. Vervolgens vond hij een brouwerij om de hoek van de waterpomp waar bijna niemand ziek was geworden. Dat was ook apart. Maar ook daar was een verklaring voor, want er werd nogal veel uit de voorraad gedronken, maar ze hadden ook hun eigen waterbron. Dus als ze wat dronken, was het pils of water dat niet vervuild was.

Zo zie je dat die twijfel bij John Snow niet zwakker maakt, maar alleen maar sterker. Dus durf ook te twijfelen. Wees een vos. En zoek mensen in je omgeving die ook zo denken. Zoek de journalist die onzekerheid niet uit de weg gaat, de wetenschapper die durft toe te geven dat hij een foutje heeft gemaakt, misschien die ene vriendin die eerst informatie verzamelt en dan een standpunt vormt, in plaats van andersom. Durf te twijfelen, want ik ben ervan overtuigd dat je alleen dan goed kan omgaan met cijfers en met informatie in het algemeen. Ik twijfel een hoop, maar dat weet ik wel echt zeker.

Sanne Blauw

Brainwash – 15.08.2020

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *