Podcast #62 – Sannolikheter, data och etablerade sanningar

Det finns en kille i USA som heter Nate Silver. Silver är statistiker och gjorde sig ett namn under det amerikanska presidentvalet 2008 då hans statistiska modeller förutspådde resultatet i 49 av 50 delstater. Fyra år senare hade han rätt i alla 50. Det här gav honom nästan status som ett modernt orakel.

Silver driver en webbsida som heter fivethirtyeight.com och där analyseras allt från sport till underhållning till politik. Allt analyseras med hjälp av framför allt data.

Ända från det att Donald Trump annonserade att han skulle kandidera till president var Nate Silver mycket skeptisk – precis som alla andra. I augusti 2015 sa han att Trumps chanser att klara primärvalen, alltså att slå de andra republikanska presidentkandidaterna och bli nominerad som republikanernas kandidat, var cirka två procent. Det tog väldigt lång tid innan han tog Donald Trump på allvar.

Från det att det stod klart att Trump skulle bli republikanernas kandidat och fram till valet kunde man dag för dag följa hur fivethirtyeight förutspådde valet. Under nästan hela denna period ledde Clinton stort. En kort period sommaren 2016, precis efter att partierna hade haft sina nomineringskonvent, låg de ungefär lika. Men i snitt hade Clinton omkring 75 procents chans och Trump 25 procents chans. Ibland var det uppe på 90/10 och ibland nere på 55/45.

8 november 2016, samma dag som presidentvalet, gav Fivethirtyeights modell Donald Trump 28 procents chans att vinna och Clinton fick 72 procents chans.

Vi vet ju alla hur det gick. Trump vann. Och trots att Nate Silver gav Trump större chans än de flesta andra i etablerade medier har han fått en hel del kritik för detta.

Eftersom Silver hade ett sådant fantastiskt track-record och var sinnebilden av en intellektuell analytiker – en cool datanörd som genom statistik och data kunde förutspå händelser bättre än de politiska experterna som bara gick på erfarenhet, kunskap och känsla – fick han självklart också bära hundhuvudet när det visade sig att alla dessa siffror visade sig vara "fel". Inte orimligt.

Men om jag tar på mig rollen som före detta pokerproffs och före detta gambler så tror jag att Nate Silver känner viss frustration över detta. För det är ju inte alls säkert att han hade fel.

Ta en kortlek och plocka ut tio kort. Sju röda och tre svarta. Sedan blandar du dessa tio kort och drar ett. Skriv ner färgen, lägg tillbaka det, blanda igen och dra ett kort. Gör det här tusen gånger och du kommer att märka att i ungefär 30 procent av fallen drar du ett svart kort.

Om chansen att någonting ska hända är 70 procent så kommer den saken inte att hända 30 procent av gångerna.

Så det som vissa ser som fel kan i själva verket vara en bekräftelse på att modellen som Nate Silver tagit fram är rätt.

Utifrån ett enda resultat kan vi inte veta. Vad vi behöver göra är att kolla alla gånger han har gett en händelse 70 procent chans att inträffa. Om hans 70-procentiga förutsägelser har slagit in runt 70 procent av gångerna har han en modell som troligen är att lita på. Har de slagit in 100 procent av gångerna eller 20 procent av gångerna är modellen sannolikt fel.

Det Silver gjorde 2008 och 2012 – då hans modell under två val satte 99 av hundra delstatsval rätt – handlade till väldigt stor del om tur, oavsett hur bra hans modell var. Många delstatsval är helt förutsägbara men inte alla. Sannolikheten att sätta 3 av 3 där du uppskattar chanserna till 60/40 är bara drygt 20 procent. Om 80 av dessa 100 delstatsvalen var klara på förhand krävs ändå nästan osannolik tur att få rätt i 19 av de övriga 20.

Så även om Silver eller alla som sysslar med sannolikheter kan få orättvis kritik när någonting de säger har stor sannolikhet att hända inte händer, så kan de också få oförtjänt beröm när slumpen gör så att de har rätt ännu oftare än vad deras modeller säger att de ska ha.

Men att analysera på detta sätt är svårt och komplicerat. Då är det lättare att säga att någon hade rätt eller någon hade fel. Någonting funkar eller någonting funkar inte.

Låt säga att en studie testar hur bra fysisk träning är för att lindra depression och jämför det med effekten av medicin. Efter åtta veckor upplever 75 procent av den grupp som har tränat fysiskt att de mår bättre. Av de som ätit medicin upplever 50 procent att de mår bätter.

Om undersökningen är bra gjord kan man säga att fysisk aktivitet hjälper mot depression och att det hjälper mer än medicin gör. För sjukvården är det här jätteviktiga siffror. Nu kan de förändra sin vård gentemot människor som är deprimerade och de kan hjälpa fler.

Dagens Nyheter kommer troligen skriva en artikel med rubriken "motion hjälper mot depression". Aftonbladet skriver en artikel med rubriken "Så springer du dig lycklig – Superenkla metoden som chockar forskarna".

Genom att läsa tidningar och lyssna på poddar får du intrycket att motion hjälper mot depression. Punkt. Det är nu en sanning.

Vad som är lätt att glömma när man tittar på denna studie och det fantastiska resultatet är att 25 procent inte upplevde att deras depression blev bättre av motion. De är helt bortglömda i rubrikerna och rapporteringen.

För precis som alla rapporterade att Nate Silver hade fel rapporterar alla att depression botas genom motion. Och om hälften inte fick någon positiv effekt av mediciner så är risken stor att det finns en grupp som varken blir hjälpta av motion eller medicin.

Vad gör du om du befinner dig i den gruppen? När din välmenande kompis eller din vårdcentral säger att du behöver röra dig mer för att bli bätter och du försöker förklara att det inte verkar gälla dig?

Låt oss säga att det finns någon som hävdar att han botade sin egen djupa depression genom att kolla på komediserier i en timma varje morgon innan jobbet. Han har en populär blogg och skriver en bok – "Seinfeldmetoden" – och föreläser.

Boken blir en bästsäljare och ett universitet undersöker om seinfeldmetoden verkligen fungerar. Resultatet: Efter åtta veckor säger sig 25 procent av de som testar Seinfeldmetoden må bättre.

En kontrollgrupp får sockerpiller – placebo som de tror är antidepressiva tabletter – och i den gruppen upplever 29 procent att de mår bättre.

Så Seinfeldmetoden funkar alltså sämre än sockerpiller.

DN skriver en artikel: "Seinfeldmetoden – En bluff". Aftonbladet skriver en artikelserie under vinjetten "Bluffmetoden": "Så blir Torsten Bengtsson rik på din depression" – bilar, klockor, lyxvillan på Mallorca. Psykologen säger: "Bättre att äta sockerpiller".

Men vad gör du om du var nere på botten, hade testat allt – mediciner, motion, terapi – och i ren desperation prövade seinfeldmetoden och nu mår mycket bättre? Om du berättar detta på en fest och någon svarar "det där är en bluff, det funkar inte. Du blev lurad" – vad svarar du? Du står ju där. Du lever ju.

Ta detta inte som ett försvar för dem som säljer verkningslösa piller eller mirakelmetoder och som medvetet missleder. Som använder människors osäkerhet och desperation för att lura dem på pengar. Jag föraktar sådana människor.

Men verkligheten är sällan svart eller vit. På sätt och vis kan man säga att Nate Silver hade fel när han trodde på Clinton. Men det går också att hävda – och jag tycker det är mer korrekt – att en Trumpvinst ingick i Silvers modell.

Jag upplever att vi har gått in i en tid där nyanserna mer och mer suddas ut. Antingen är du med oss eller så är du emot oss. Det finns ingenting däremellan. Det jag tycker är sanningen och det du tycker är fake news.

Bara för att vi inte förstår någonting eller vet hur vi ska mäta någonting behöver det inte betyda att fenomenet inte finns. Och vissa av de saker som vi har tagit som absoluta sanningar kan med åren visa sig vara helt fel. Och det har också skett. Det sker i detta nu.

Om du vill lära dig någonting, införa någonting eller förändra någonting så tror jag att du har störst chans att lyckas om du kan förhålla dig både öppen och skeptisk. Du bör inte automatiskt tro på vad andra säger, men du bör vara öppen att kolla på det eller testa det. Och om det du lär dig går emot vad du tidigare trodde var sant, bör du vara beredd att ändra åsikt eller metod.

Utnyttja den forskning och de erfarenheter som redan finns. Börja med det som har störst sannolikhet att funka. Ofta räcker det. Men om det inte funkar för dig så kanske du ska våga att testa något annat. Att en viss metod fungerar i 80 procent av fallen hjälper ju inte dig om du är en av de andra 20.

Om du låser in dig i dina uppfattningar kommer du automatiskt att ta till dig det som bekräftar vad du tror och förkasta det som talar emot. Du kommer att lyssna på dem som tycker som du och ignorera eller förakta dem som tycker annorlunda.