Omkring 50 % af de videnskabelige eksperimenter viste sig at være IKKE-reproducerbare

2024 Forfatter: Seth Attwood | [email protected]. Sidst ændret: 2023-12-16 16:01

Ved et tilfælde stødte jeg i en strøm af nyheder og informationer på en artikel i Nature Scientific Reports. Den præsenterer data fra en undersøgelse blandt 1.500 forskere om reproducerbarheden af videnskabelige forskningsresultater. Hvis dette problem tidligere blev rejst til biologisk og medicinsk forskning, hvor det på den ene side kan forklares (falske sammenhænge, den generelle kompleksitet af de undersøgte systemer, nogle gange endda videnskabelig software anklages), på den anden side har det en fænomenologisk karakter (for eksempel har mus en tendens til at opføre sig forskelligt med forskeres forskellige køn (1 og 2)).

Det er dog ikke alt, der er glat og med merenaturvidenskab som fysik og teknik, kemi, økologi. Det ser ud til, at netop disse discipliner er baseret på "absolut" reproducerbare eksperimenter udført under de mest kontrollerede forhold, desværre et fantastisk - i enhver forstand af ordet - resultatet af undersøgelsen: op til 70 %forskere står over for Ikke-reproducerbareksperimenter og resultater opnået ikke kun af andre grupper af videnskabsmænd, MEN og af forfatterne/medforfatterne til offentliggjorte videnskabelige værker!

Roser enhver sandløber sin sump?

Selvom 52 % af de adspurgte peger på en reproducerbarhedskrise i videnskaben, anser mindre end 31 % de offentliggjorte data for at være grundlæggende forkerte, og flertallet angav, at de stadig stoler på det offentliggjorte arbejde.

Selvfølgelig skal man ikke hacke skulderen af og lynche al videnskab som sådan kun på baggrund af denne undersøgelse: Halvdelen af de adspurgte var stadig videnskabsmænd, der på den ene eller anden måde er forbundet med biologiske discipliner. Som forfatterne bemærker, i fysik og kemi, er niveauet af reproducerbarhed og tillid til de opnåede resultater meget højere (se grafen nedenfor), men stadig ikke 100%. Men i medicin er det meget dårligt i forhold til resten.

En joke kommer til at tænke på:

Marcus Munafo, en biologisk psykolog ved University of Bristol, England, har en langvarig interesse i reproducerbarheden af videnskabelige data. Han minder om dagene i sin studietid og siger:

En gang prøvede jeg at gengive et eksperiment fra litteratur, der forekom mig simpelt, men jeg kunne bare ikke gøre det. Jeg havde en tillidskrise, men så indså jeg, at min oplevelse ikke var så sjælden.

Bredde- og længdegradsdybdeproblem

Forestil dig, at du er en videnskabsmand. Du støder på en interessant artikel, men resultaterne/forsøgene kan ikke gengives i laboratoriet. Det er logisk at skrive om dette til forfatterne af den originale artikel, spørge om råd og stille opklarende spørgsmål. Ifølge undersøgelsen mindre end 20 %har gjort dette nogensinde i deres videnskabelige karriere!

Forfatterne af undersøgelsen bemærker, at sådanne kontakter og samtaler måske er for vanskelige for videnskabsmændene selv, fordi de afslører deres inkompetence og inkonsekvens i visse spørgsmål eller afslører for mange detaljer om det aktuelle projekt.

Desuden forsøgte et absolut mindretal af videnskabsmænd at offentliggøre en gendrivelse af irreproducerbare resultater, mens de mødte modstand fra redaktører og anmeldere, som forlangtebagatellisere sammenligning med original forskning. Kan det undre, at chancen for at rapportere manglende reproducerbarhed af videnskabelige resultater er omkring 50 %.

Måske kan det så betale sig i det mindste at udføre en reproducerbarhedstest inde i laboratoriet? Det mest sørgelige er, at en tredjedel af de adspurgte endda ALDRIGog tænkte ikke på at skabe metoder til at verificere data for reproducerbarhed. Kun 40%angivet, at de regelmæssigt bruger sådanne teknikker.

Et andet eksempel, en biokemiker fra Det Forenede Kongerige, som ikke ønskede at oplyse sit navn, siger, at forsøg på at gentage, reproducere arbejde til hendes laboratorieprojekt simpelthen fordobler tids- og materialeomkostningerne, uden at give eller tilføje noget nyt til arbejdet. Yderligere kontrol udføres kun for innovative projekter og usædvanlige resultater.

Og selvfølgelig de evige russiske spørgsmål, der begyndte at torturere udenlandske kolleger: hvem har skylden, og hvad skal man gøre?

Hvem er skyldig?

Forfatterne af arbejdet identificerede tre hovedproblemer med reproducerbarhed af resultater:

• Pres fra overordnede for at få værket offentliggjort til tiden
• Selektiv rapportering (tilsyneladende betyder det undertrykkelse af nogle data, som "spolerer" hele billedet)
• Utilstrækkelig dataanalyse (inklusive statistisk)

Hvad skal man gøre?

Ud af 1.500 adspurgte talte mere end 1.000 specialister for at forbedre statistikker i indsamling og behandling af data, forbedre kvaliteten af tilsyn fra chefer og mere stringent planlægning af eksperimenter.

Konklusion og nogle personlige erfaringer

for det første, selv for mig, som videnskabsmand, er resultaterne fantastiske, selvom jeg er vant til en vis grad af irreproducerbarhed af resultaterne. Dette er især tydeligt i værker udført af kinesere og indere uden tredjeparts "revision" i form af amerikanske/europæiske professorer. Det er godt, at problemet blev erkendt og tænkt over dets løsning(er). Jeg vil taktfuldt tie om russisk videnskab i forbindelse med den seneste skandale, selvom mange ærligt gør deres arbejde.

For det andet, ignorerer artiklen (eller rettere sagt, overvejer ikke) videnskabelige målinger og peer-reviewed videnskabelige tidsskrifters rolle i fremkomsten og udviklingen af problemet med irreproducerbarhed af forskningsresultater. I jagten på hastigheden og hyppigheden af publikationer (læs, stigning i citationsindekser) falder kvaliteten kraftigt, og der er ikke tid til yderligere verifikation af resultaterne.

Som de siger, er alle karakterer fiktive, men baseret på virkelige begivenheder. På en eller anden måde havde en studerende chancen for at anmelde en artikel, fordi ikke alle professorer har tid og energi til at læse artiklerne eftertænksomt, så udtalelsen fra 2-3-4 studerende og læger er indsamlet, hvorfra anmeldelsen er dannet. En anmeldelse blev skrevet, den indikerede irreproducerbarheden af resultaterne i henhold til metoden beskrevet i artiklen. Dette blev tydeligt demonstreret for professoren. Men for ikke at spolere forholdet til "kolleger" - trods alt lykkes de med alt - blev anmeldelsen "rettet". Og der er publiceret 2 eller 3 sådanne artikler.

Det viser sig en ond cirkel. Videnskabsmanden sender artiklen til redaktøren af tidsskriftet, hvor han angiver " ønsket"Og primært," uønsket »Anmeldere, det vil i virkeligheden kun efterlade dem, der er positivt indstillet over for holdet af forfattere. De anmelder værket, men de kan ikke "skitte i kommentarerne" og forsøge at vælge den mindste af to onder - her er en liste over spørgsmål, der skal besvares, og så vil vi udgive artiklen.

Et andet eksempel, som redaktøren af Nature talte om for blot en måned siden, er Grazels solpaneler. På grund af den enorme interesse for dette emne i det videnskabelige samfund (de vil trods alt stadig have en artikel i Nature!), var redaktørerne nødt til at oprette et særligt spørgeskema, hvor de skal angive en masse parametre, levere udstyrskalibreringer, certifikater osv. for at bekræfte, at metoden til måling af effektivitetspaneler er i overensstemmelse med nogle generelle principper og standarder.

OG, tredje, når du endnu en gang hører om en mirakelvaccine, der erobrer alt og alle, en ny historie om job i en nederdel, nye batterier eller farerne/fordele ved GMO'er eller strålingen fra smartphones, især hvis den blev promoveret af gule forfattere fra journalistikken, så behandl med forståelse og drag ikke forhastede konklusioner. Vent på bekræftelsen af resultaterne fra andre grupper af videnskabsmænd, akkumuleringen af arrayet og dataprøver.

PS:Artiklen blev oversat og skrevet hastigt, om alle fejl og unøjagtigheder bemærket, skriv venligst i LAN.