Omtrent 50 % av vitenskapelige eksperimenter viste seg å være IKKE-reproduserbare

2024 Forfatter: Seth Attwood | [email protected]. Sist endret: 2023-12-16 16:13

Ved en tilfeldighet, i en strøm av nyheter og informasjon, kom jeg over en artikkel i Nature Scientific Reports. Den presenterer data fra en undersøkelse blant 1500 forskere om reproduserbarheten av vitenskapelige forskningsresultater. Hvis dette problemet tidligere ble reist for biologisk og medisinsk forskning, hvor det på den ene siden kan forklares (falske korrelasjoner, den generelle kompleksiteten til systemene som studeres, noen ganger til og med vitenskapelig programvare er anklaget), har det på den annen side en fenomenologisk karakter (for eksempel har mus en tendens til å oppføre seg forskjellig med forskere fra forskjellige kjønn (1 og 2)).

Imidlertid er ikke alt glatt og med mernaturvitenskap som fysikk og ingeniørfag, kjemi, økologi. Det ser ut til at nettopp disse disiplinene er basert på "absolutt" reproduserbare eksperimenter utført under de mest kontrollerte forholdene, dessverre, et fantastisk - i enhver betydning av ordet - resultatet av undersøkelsen: opptil 70 %forskere møtte Ikke-reproduserbareksperimenter og resultater oppnådd ikke bare av andre grupper av forskere, MEN og av forfatterne / medforfatterne av publiserte vitenskapelige arbeider!

Berømmer hver sandpiper sumpen sin?

Selv om 52 % av de spurte peker på en reproduserbarhetskrise i vitenskapen, anser mindre enn 31 % at de publiserte dataene er fundamentalt ukorrekte, og flertallet indikerte at de fortsatt stoler på det publiserte arbeidet.

Selvfølgelig skal du ikke hakke av skulderen og lynsje all vitenskap som sådan kun på grunnlag av denne undersøkelsen: Halvparten av respondentene var fortsatt forskere knyttet, på en eller annen måte, til biologiske disipliner. Som forfatterne bemerker, i fysikk og kjemi, er nivået av reproduserbarhet og tillit til de oppnådde resultatene mye høyere (se grafen nedenfor), men fortsatt ikke 100%. Men innen medisin er det veldig dårlig sammenlignet med resten.

En vits dukker opp:

Marcus Munafo, en biologisk psykolog ved University of Bristol, England, har en langvarig interesse for reproduserbarheten av vitenskapelige data. Han minner om studiedagene og sier:

En gang prøvde jeg å gjenskape et eksperiment fra litteratur som virket enkelt for meg, men jeg klarte det rett og slett ikke. Jeg hadde en tillitskrise, men så innså jeg at opplevelsen min ikke var så sjelden.

Breddegrad og lengdegrad dybdeproblem

Tenk deg at du er en vitenskapsmann. Du kommer over en interessant artikkel, men resultatene/eksperimentene kan ikke reproduseres i laboratoriet. Det er logisk å skrive om dette til forfatterne av den originale artikkelen, be om råd og stille oppklarende spørsmål. I følge undersøkelsen, mindre enn 20 %har gjort dette noen gang i sin vitenskapelige karriere!

Forfatterne av studien bemerker at slike kontakter og samtaler kanskje er for vanskelige for forskerne selv, fordi de avslører deres inkompetanse og inkonsekvens i visse spørsmål eller avslører for mange detaljer om det nåværende prosjektet.

Dessuten forsøkte et absolutt mindretall av forskere å publisere en tilbakevisning av irreproduserbare resultater, mens de møtte motstand fra redaktører og anmeldere som krevdebagatellisere sammenligning med original forskning. Er det noe rart at sjansen for å rapportere manglende reproduserbarhet av vitenskapelige resultater er omtrent 50%.

Kanskje det da er verdt å i det minste gjennomføre en reproduserbarhetstest inne på laboratoriet? Det tristeste er at en tredjedel av de spurte til og med ALDRIog tenkte ikke på å lage metoder for å verifisere data for reproduserbarhet. Bare 40 %antydet at de regelmessig bruker slike teknikker.

Et annet eksempel, en biokjemiker fra Storbritannia, som ikke ønsket å avsløre navnet hennes, sier at forsøk på å gjenta, reprodusere arbeid for laboratorieprosjektet hennes rett og slett dobler tids- og materialkostnadene, uten å gi eller tilføre noe nytt til arbeidet. Ytterligere kontroller utføres kun for innovative prosjekter og uvanlige resultater.

Og selvfølgelig de evige russiske spørsmålene som begynte å torturere utenlandske kolleger: hvem har skylden og hva de skal gjøre?

Hvem er skyldig?

Forfatterne av arbeidet identifiserte tre hovedproblemer med reproduserbarhet av resultater:

• Press fra overordnede for å få verket publisert i tide
• Selektiv rapportering (tilsynelatende betyr det undertrykkelse av noen data, som "ødelegger" hele bildet)
• Utilstrekkelig dataanalyse (inkludert statistisk)

Hva å gjøre?

Av 1500 spurte, talte mer enn 1000 spesialister for å forbedre statistikken ved innsamling og behandling av data, forbedre kvaliteten på tilsyn fra sjefer og mer streng planlegging av eksperimenter.

Konklusjon og litt personlig erfaring

først, selv for meg, som vitenskapsmann, er resultatene slående, selv om jeg er vant til en viss grad av irreproduserbarhet av resultatene. Dette er spesielt tydelig i arbeid utført av kinesere og indianere uten tredjeparts "revisjon" i form av amerikanske/europeiske professorer. Det er bra at problemet ble gjenkjent og tenkt på løsningen(e). Jeg vil taktfullt tie om russisk vitenskap, i forbindelse med den nylige skandalen, selv om mange ærlig gjør jobben sin.

for det andre, artikkelen ignorerer (eller rettere sagt, vurderer ikke) rollen til vitenskapelige beregninger og fagfellevurderte vitenskapelige tidsskrifter i fremveksten og utviklingen av problemet med irreproduserbarhet av forskningsresultater. I jakten på hastigheten og frekvensen av publikasjoner (les, økning i siteringsindekser), synker kvaliteten kraftig, og det er ikke tid til ytterligere verifisering av resultatene.

Som de sier, alle karakterer er fiktive, men basert på virkelige hendelser. På en eller annen måte hadde en student en sjanse til å gjennomgå en artikkel, fordi ikke alle professorer har tid og energi til å lese artiklene nøye, så meningen fra 2-3-4 studenter og leger er samlet, som vurderingen er dannet fra. En anmeldelse ble skrevet, den indikerte irreproduserbarheten til resultatene i henhold til metoden beskrevet i artikkelen. Dette ble tydelig demonstrert for professoren. Men for ikke å ødelegge forholdet til "kolleger" - tross alt lykkes de med alt - ble anmeldelsen "korrigert". Og det er 2 eller 3 slike artikler publisert.

Det viser seg en ond sirkel. Forskeren sender artikkelen til redaktøren av tidsskriftet, hvor han indikerer " ønsket"Og hovedsakelig," uønsket »Anmeldere, det vil si at det kun er de som er positivt innstilt til forfattergruppen. De vurderer arbeidet, men de kan ikke "drite i kommentarene" og prøve å velge det minste av to onder - her er en liste over spørsmål som må besvares, og så vil vi publisere artikkelen.

Et annet eksempel, som redaktøren av Nature snakket om for bare en måned siden, er Grazels solcellepaneler. På grunn av den enorme interessen for dette emnet i det vitenskapelige miljøet (de vil tross alt fortsatt ha en artikkel i Nature!), måtte redaktørene lage et spesielt spørreskjema der de må angi mange parametere, gi utstyrskalibreringer, sertifikater, etc. for å bekrefte at metoden for måling av effektivitetspaneler er i samsvar med noen generelle prinsipper og standarder.

OG, tredje, når du nok en gang hører om en mirakelvaksine som erobrer alt og alle, en ny historie om jobber i skjørt, nye batterier eller farene/fordelene med GMO eller strålingen fra smarttelefoner, spesielt hvis den ble promotert av gule skribenter fra journalistikken, så behandle med forståelse og ikke hopp for konklusjoner. Vent på bekreftelse av resultatene fra andre grupper av forskere, akkumulering av matrisen og dataprøver.

PS:Artikkelen ble oversatt og skrevet raskt, om alle feil og unøyaktigheter som ble lagt merke til, vennligst skriv i LAN.