Psykologiske studier ble funnet å være falske i mer enn 50 % av tilfellene

2024 Forfatter: Seth Attwood | [email protected]. Sist endret: 2023-12-16 16:13

Det er "sterke stillinger" som bygger selvtillit og reduserer stresshormoner. Når folk holder en kopp varm drikke i hendene, blir de vennligere mot de rundt seg. Viljestyrke er en ressurs vi bruker når vi motstår fristelser. Evnen til å utsette belønning avgjør barnets fremtidige suksess.

Disse utsagnene ligner veldig på hverandre: bak dem ligger velkjent psykologisk forskning, populærvitenskapelige bestselgere, spalter i populære magasiner og TED-foredrag.

De har også en ting til felles: de viste seg alle å ta feil.

Reproduserbarhetskrisen har sådd tvil om hele vitenskapsfelt. Mange av resultatene, som ble mye sitert i media, anses nå som overdrevne eller falske. Da forskere prøvde å gjenskape både klassiske og nyere psykologiske eksperimenter, var resultatene overraskende konsistente, med omtrent halvparten av tilfellene vellykket og den andre halvparten mislyktes.

Krisen ble endelig tydelig i 2015, da forskere ledet av Brian Nosek sjekket 100 psykologiske studier. De var i stand til å oppnå første resultater bare i 36 tilfeller. Lancet-sjefredaktøren Richard Horton uttalte snart:

«Anklagene mot vitenskapen er ganske enkle: Minst halvparten av den vitenskapelige litteraturen er rett og slett feil. På grunn av studier med liten prøvestørrelse, sparsom effekt og feilanalyser, samt en besettelse av motetrender av tvilsom betydning, har vitenskapen tatt en vending mot uvitenhet.

Reproduserbarhet er et av nøkkelkravene til vitenskapelig kunnskap. Jo bedre resultatet blir reprodusert, jo mer pålitelig er det - dette er den eneste måten å skille ekte mønstre fra enkle tilfeldigheter

Men det viste seg at dette kravet ikke alltid er oppfylt.

Krisen begynte med medisin, men mest påvirket psykologien. Sommeren 2018 forsøkte forskere å gjenskape et utvalg psykologiske studier publisert i Science and Nature, verdens mest prestisjefylte vitenskapelige tidsskrifter. Av 21 eksperimenter ble bare 13 bekreftet – og selv i disse tilfellene var de opprinnelige resultatene overdrevet med omtrent 50 %.

Ofte mislykkes reproduserbarhetstesten av de studiene som ble mye replikert i media og klarte å påvirke offentlig bevissthet. For eksempel svekker verkene som søkemotorer hukommelsen, og lesing av skjønnlitteratur utvikler evnen til empati. Hvis gjentatte eksperimenter mislykkes, betyr ikke dette at de opprinnelige hypotesene er verdiløse. Men bedre forskning er nå nødvendig for å bevise dem.

Hvordan forutsi fremtiden med statistikk

I 2011 publiserte den kjente amerikanske psykologen Daryl Boehm en artikkel som beviste muligheten for klarsyn. Denne konklusjonen var ikke et produkt av hans voldelige fantasi, men var basert på flere tiår med forskning, som involverte hundrevis av mennesker. Mange mistenkte at Boehm bestemte seg for å arrangere noe som Sokals svindel og avsløre psykologi med en falsk artikkel med bevisst absurde konklusjoner. Men etter alle metodiske standarder var artikkelen veldig overbevisende.

I et av Behms eksperimenter ble det plassert to skjermer foran deltakerne – de skulle gjette hvilket bilde som var skjult bak. Bildet ble generert tilfeldig umiddelbart etter at valget ble gjort. Hvis deltakerne gjorde en god jobb, ville det tyde på at de på en eller annen måte kan forutse fremtiden. Eksperimentet brukte to typer bilder: nøytrale og pornografiske.

Boehm antydet at hvis den sjette sansen eksisterer, har den sannsynligvis en eldgammel evolusjonær opprinnelse. I så fall er det mer sannsynlig at det er tilpasset våre eldste behov og drifter

Deltakerne gjettet pornografiske bilder 53 % av gangene – litt oftere enn de burde hvis de var ren tilfeldighet. Gitt det store antallet eksperimenter, kan Boehm hevde at framsyn eksisterer.

Senere oppdaget eksperter at når han analyserte resultatene, brukte han ikke helt korrekte metoder. Som regel anses et forskningsresultat som pålitelig dersom sannsynligheten for at det er oppnådd ved et uhell ikke overstiger 5 %. Men det er mange måter å redusere denne verdien til det nødvendige nivået: endre de innledende parameterne for analysen, legg til eller fjern det nødvendige antallet eksempler fra prøven, bruk mer vellykkede hypoteser etter å ha samlet inn dataene.

Problemet er at ikke bare Boehm, men også mange andre forskere brukte de samme teknikkene. I følge en undersøkelse fra 2011 innrømmet nesten halvparten av psykologene dette

Da den klarsynte artikkelen kom ut, innså samfunnsforskerne Joseph Simmons, Leaf Nelson og Uri Simonson at vitenskapen var på vei mot sin egen ruin. De bygde flere datamodeller og fant ut at ved å bruke ganske standard statistiske teknikker kan du øke nivået av falske positive resultater flere ganger. Det betyr at metoder som formelt sett er vitenskapelige lett kan føre til helt absurde konklusjoner.

For å illustrere dette gjennomførte forskere et eksperiment som bekreftet at det å lytte til sangen «When I'm Sixty-four» gjør lytteren et og et halvt år yngre.

«Alle visste at det var feil å bruke slike teknikker, men de mente at dette var et brudd i sin betydning - som å krysse veien på feil sted. Det viste seg å være mer som et bankran, konkluderte Simmons.

Hvordan skille dårlig forskning fra god

Det ble snart klart at problemer med reproduserbarhet ikke var begrenset til psykologi. I kreftforskning støttes vitenskapelig bevis i 10-25 % av tilfellene. I økonomi var 7 av 18 laboratorieeksperimenter ikke i stand til å replikere. Forskning på kunstig intelligens viser også tegn på krise.

Men å miste troen på vitenskapen, ser det ut til, er fortsatt ikke verdt det. Forskere har allerede kommet opp med flere måter som har forbedret påliteligheten og kvaliteten på ny forskning

For flere år siden publiserte nesten ingen resultatene av gjentatte forsøk, selv om de ble utført. Dette ble ikke akseptert, ga ikke tilskudd og bidro ikke til en vellykket vitenskapelig karriere. I følge en Nature-undersøkelse har mer enn 70 % av psykologene forsøkt og ikke klart å reprodusere andres forskning, omtrent halvparten har ikke vært i stand til å gjenta sin egen, og nesten ingen har forsøkt å offentliggjøre disse resultatene.

Da krisen med reproduserbarhet dukket opp, har mye endret seg. Gjentatt forskning ble etter hvert vanlig; eksperimentelle data begynte å bli publisert oftere og oftere i det offentlige domene; tidsskrifter begynte å publisere negative resultater og registrere den overordnede planen for forskning selv før de begynte.

Forskningen har blitt mer omfattende – et utvalg på 30–40 personer, som var ganske standard innen psykologi, passer nå for svært få mennesker. Store internasjonale organisasjoner – som Psychological Science Accelerator – tester de samme hypotesene i flere laboratorier rundt om i verden.

Før vi sjekket artiklene fra Nature and Science, som vi skrev om i begynnelsen, ble forskerne bedt om å satse på konkurransen. De måtte forutsi hvilken forskning som ville bestå testen og hvilken som ville mislykkes. Totalt sett var prisene svært nøyaktige. "Dette betyr for det første at det vitenskapelige samfunnet kan forutsi hvilke verk som vil kunne gjentas, og for det andre at umuligheten av å replikere studien ikke var en ren tilfeldighet," sier arrangørene av eksperimentet.

Forskere er generelt gode til å skille pålitelig fra upålitelig forskning - det er gode nyheter. Nå prøver eksperter fra Center for Open Science, sammen med DARPA-byrået, å lage en algoritme som skal utføre samme oppgave uten menneskelig innblanding.

Det er for mange artikler publisert hvert år til å manuelt kontrollere selv en liten brøkdel av dem. Hvis kunstig intelligens kommer i gang, vil alt bli mye enklere.

Allerede i de første testene taklet AI spådommer i 80% av tilfellene.

Hva gjør forskning upålitelig oftest? Små prøver, inkonsekvenser i tall, for vakker bekreftelse av hypoteser. Og også - ønsket om sensasjoner og for enkle svar på vanskelige spørsmål.

For godt til å være sant

Den enkleste måten å skape oppsiktsvekkende forskning på er gjennom bedrag. Den kjente sosialpsykologen Diederik Stapel brukte fabrikkerte data i flere titalls vitenskapelige artikler. Stapels forskning spredte seg gjennom aviser og magasiner med stor fart, han mottok flere prestisjetunge vitenskapelige priser, ble publisert i Science og ble ansett som en av de største spesialistene på sitt felt.

En gang viste det seg at Stapel i lang tid ikke drev forskning i det hele tatt, men bare fant opp data og ga dem til studenter for analyse.

Dette er svært sjelden i vitenskapen. Mye oftere høylytte, men uriktige utsagn oppstår av andre årsaker. Folk leter desperat etter enkle, forståelige og effektive svar på spennende spørsmål. Det kan være veldig lett å bli fristet til å tro at du har disse svarene, selv om du egentlig ikke har det. Jakten på enkelhet og sikkerhet er en av hovedårsakene til at mange studier ikke klarer å teste for reproduserbarhet. Her er noen bemerkelsesverdige eksempler.

Marshmallow eksperiment

I et eksperiment ble barna bedt om å velge mellom én liten belønning – som marshmallows – som kunne mottas umiddelbart, og en dobbel belønning hvis de kunne vente litt. Det viste seg senere at barn som fikk den andre prisen ble mer suksessrike i voksen alder. Studiet ble veldig populært og påvirket noen skoleplaner.

I 2018 ble eksperimentet gjentatt på et bredere utvalg. Det viste seg at rikdom i familien er en mye viktigere faktor, som nivået av selvkontroll også avhenger av.

"Poses of Strength" og "Poses of Weakness"

Deltakerne i eksperimentet tok en av to positurer i to minutter: de lente seg tilbake i en stol og kastet bena på bordet ("styrkestilling") eller krysset armene over brystet ("svakhetsstilling"). Som et resultat følte deltakerne fra den første gruppen seg mer selvsikre og ble oftere enige om å ta risiko i gambling. De som satt i en sterk stilling økte testosteronnivået, og de som satt i en svak stilling økte kortisol. I gjentatte eksperimenter ble bare én effekt reprodusert: «styrkestillinger» hjalp deltakerne til å føle seg mer selvsikre, men endret ikke deres atferd eller hormonelle parametere.

Assosiasjoner til alderdom gjør at du beveger deg saktere

Deltakerne i eksperimentet ble bedt om å løse flere gåter. Hvis det ble satt inn ord i dem som er knyttet til alderdom - "glemsom", "eldre", "ensom" - så forlot deltakerne rommet i et roligere tempo.

I nyere forsøk ble eksperimentet vellykket reprodusert bare i ett tilfelle: hvis eksperimentørene selv visste at deltakerne i testene antydet alderdom. Selve effekten forble, men årsakene var allerede forskjellige.

Varme gjenstander gjør folk vennligere

Deltakerne i forsøket fikk holde en kopp varm eller kald kaffe i en kort stund, og deretter bedt om å vurdere personens personlighet ved å bruke en kort beskrivelse. Deltakere som holdt en varm kopp kaffe vurderte personen som mer sympatisk. I et annet eksperiment ble deltakerne gitt en vare i en varm eller kald pakke og deretter bedt om å beholde den eller gi den til en venn. Hvis varen var pakket inn i en varm pakke, var det mer sannsynlig at deltakerne valgte det andre alternativet. Gjentatte eksperimenter med en bredere prøve ga ikke slike resultater. Det ser ut som varme klær ikke vil gjøre deg til en altruist.

Viljestyrken er oppbrukt når vi motstår fristelser

Foran deltakerne i forsøket ble det plassert to tallerkener - med småkaker og reddiker. I den første gruppen fikk deltakerne spise småkaker, og i den andre bare reddiker. Deretter ble hver deltaker bedt om å løse et umulig puslespill. Deltakere som bare spiste reddiker i den første delen av forsøket ga opp mye tidligere enn andre. I gjentatte forsøk ble resultatene ikke bekreftet.

I noen tilfeller ble ikke kapasiteten til selvkontroll tømt, men ble til og med intensivert over tid. Mange psykologer anser nå konseptet "viljestyrke" for forenklet.

Mye er allerede gjort innen verdenspsykologien for å gjøre forskning mer pålitelig og reproduserbar. I Russland er dette problemet ennå ikke skjønt.

"I russisk psykologi er problemene med krisen hovedsakelig opptatt av vitenskapelig ungdom, som i stor grad er orientert mot vestlig vitenskap," sa Ivan Ivanchey, førsteamanuensis ved RANEPA, til Knife. – Kontrollen med kvaliteten på publikasjoner på russisk er generelt ikke særlig høy. Tidsskriftene avviser sjelden artikler, så mye forskning av lav kvalitet publiseres. Små prøver brukes ofte, noe som også reduserer sannsynligheten for vellykket reproduksjon. Det er en mistanke om at hvis man seriøst tar tak i spørsmålet om reproduserbarhet av russiskspråklige verk, kan mange problemer oppdages. Men ingen er direkte involvert i dette."

I januar 2019 ble det kjent at den russiske regjeringen kommer til å utvide kravene til forskere betydelig når det gjelder antall publikasjoner: minimumsantallet publiserte artikler per år bør vokse med 30-50%.

Forskere fra den innflytelsesrike akademiske "1. juli-klubben" kritiserte initiativet: "Vitenskapens oppgave er ikke å produsere det maksimale antallet publikasjoner, men å utforske universet og dra nytte av kunnskapen som er oppnådd for menneskeheten." Mest sannsynlig vil de nye kravene bare øke omfanget av problemet.

Historien om reproduserbarhetskrisen er ikke en historie om den kommende apokalypsen og invasjonen av barbarene. Hvis krisen ikke hadde inntruffet, ville alt vært mye verre: vi ville fortsatt referert til feilaktig forskning i full tillit til at vi vet sannheten. Kanskje tiden med dristige overskrifter som «Britiske forskere har bevist» nærmer seg slutten. Men ryktene om at vitenskapen er død bør anses som noe overdrevet.