Psykologiske undersøgelser viste sig at være falske i mere end 50 % af tilfældene

2024 Forfatter: Seth Attwood | [email protected]. Sidst ændret: 2023-12-16 16:01

Der er "stærke stillinger", der opbygger selvtillid og reducerer stresshormoner. Når folk holder en kop varm drik i hænderne, bliver de venligere over for dem omkring dem. Viljestyrke er en ressource, som vi bruger, når vi modstår fristelser. Evnen til at udskyde belønning afgør barnets fremtidige succes.

Disse udsagn minder meget om hinanden: bag dem ligger velkendt psykologisk forskning, populærvidenskabelige bestsellere, klummer i populære magasiner og TED-talks.

De har også en ting mere til fælles: de viste sig alle at tage fejl.

Reproducerbarhedskrisen har sået tvivl om hele videnskabsområder. Mange af resultaterne, som blev meget citeret i medierne, anses nu for at være overdrevne eller falske. Da videnskabsmænd forsøgte at replikere både klassiske og nyere psykologiske eksperimenter, var resultaterne overraskende konsistente, hvor omkring halvdelen af sagerne lykkedes, og den anden halvdel mislykkedes.

Krisen blev endelig tydelig i 2015, da videnskabsmænd ledet af Brian Nosek kontrollerede 100 psykologiske undersøgelser. De var kun i stand til at opnå de første resultater i 36 tilfælde. Lancets chefredaktør Richard Horton udtalte snart:

“Anklagerne mod videnskaben er ret ligetil: Mindst halvdelen af den videnskabelige litteratur er simpelthen forkert. Ved at lide af undersøgelser med en lille stikprøvestørrelse, sparsom effekt og forkerte analyser samt en besættelse af modetrends af tvivlsom betydning, har videnskaben taget en drejning mod uvidenhed.

Reproducerbarhed er et af nøglekravene til videnskabelig viden. Jo bedre resultatet gengives, jo mere pålideligt er det - dette er den eneste måde at adskille rigtige mønstre fra simple tilfældigheder

Men det viste sig, at dette krav ikke altid er opfyldt.

Krisen begyndte med medicin, men de fleste ramte psykologien. I sommeren 2018 forsøgte forskere at kopiere et udvalg af psykologiske undersøgelser offentliggjort i Science and Nature, verdens mest prestigefyldte videnskabelige tidsskrifter. Ud af 21 forsøg blev kun 13 bekræftet – og selv i disse tilfælde var de oprindelige resultater overdrevet med omkring 50 %.

Ofte er reproducerbarhedstesten fejlet af de undersøgelser, der blev gentaget bredt i medierne og formåede at påvirke den offentlige bevidsthed. For eksempel forringer søgemaskinernes værker hukommelsen, og læsning af skønlitteratur udvikler evnen til empati. Hvis gentagne eksperimenter mislykkes, betyder det ikke, at de oprindelige hypoteser er værdiløse. Men bedre forskning er nu nødvendig for at bevise dem.

Sådan forudsiger du fremtiden med statistik

I 2011 offentliggjorde den berømte amerikanske psykolog Daryl Boehm en artikel, der beviste muligheden for clairvoyance. Denne konklusion var ikke et produkt af hans voldsomme fantasi, men var baseret på årtiers forskning, som involverede hundredvis af mennesker. Mange havde mistanke om, at Boehm besluttede at arrangere noget som Sokals fidus og afsløre psykologi med en falsk artikel med bevidst absurde konklusioner. Men efter alle metodiske standarder var artiklen meget overbevisende.

I et af Behms eksperimenter blev der placeret to skærme foran deltagerne – de skulle gætte hvilket billede der gemte sig bagved. Billedet blev genereret tilfældigt umiddelbart efter valget blev foretaget. Hvis deltagerne gjorde et godt stykke arbejde, tyder det på, at de på en eller anden måde kan forudse fremtiden. Eksperimentet brugte to typer billeder: neutrale og pornografiske.

Boehm foreslog, at hvis den sjette sans eksisterer, har den sandsynligvis en gammel evolutionær oprindelse. Hvis ja, så er det mere sandsynligt, at det er afstemt efter vores ældste behov og drifter

Deltagerne gættede pornografiske billeder 53 % af tiden - lidt oftere, end de burde, hvis de var rent tilfældigheder. I betragtning af det store antal eksperimenter kunne Boehm hævde, at der eksisterer fremsyn.

Senere opdagede eksperter, at når han analyserede resultaterne, brugte han ikke helt korrekte metoder. Et forskningsresultat anses som udgangspunkt for pålideligt, hvis sandsynligheden for, at det er opnået ved et uheld ikke overstiger 5 %. Men der er mange måder at reducere denne værdi til det krævede niveau: skift de indledende parametre for analysen, tilføj eller fjern det nødvendige antal eksempler fra prøven, brug mere succesfulde hypoteser efter indsamling af data.

Problemet er, at ikke kun Boehm, men også mange andre videnskabsmænd brugte de samme teknikker. Ifølge en undersøgelse fra 2011 indrømmede næsten halvdelen af psykologerne dette

Da den clairvoyante artikel udkom, indså samfundsforskerne Joseph Simmons, Leaf Nelson og Uri Simonson, at videnskaben var på vej mod sin egen ruin. De byggede adskillige computermodeller og fandt ud af, at ved at bruge nogenlunde standard statistiske teknikker, kan du øge niveauet af falsk-positive resultater flere gange. Det betyder, at metoder, der formelt er videnskabelige, nemt kan føre til helt absurde konklusioner.

For at illustrere dette gennemførte videnskabsmænd et eksperiment, der bekræftede, at lytteren bliver halvandet år yngre ved at lytte til sangen "When I'm Sixty-four".

Alle vidste, at det var forkert at bruge sådanne teknikker, men de mente, at det var en krænkelse i sin betydning - som at krydse vejen det forkerte sted. Det viste sig at være mere som et bankrøveri,” konkluderede Simmons.

Hvordan man skelner dårlig forskning fra god

Det blev hurtigt klart, at reproducerbarhedsproblemer ikke var begrænset til psykologi. Inden for kræftforskning understøttes videnskabelig dokumentation i 10-25 % af tilfældene. Inden for økonomi var 7 ud af 18 laboratorieforsøg ude af stand til at replikere. Forskning i kunstig intelligens viser også tegn på krise.

Men at miste troen på videnskaben, ser det ud til, er stadig ikke det værd. Forskere har allerede fundet på flere måder, der i høj grad har forbedret pålideligheden og kvaliteten af ny forskning

For flere år siden offentliggjorde næsten ingen resultaterne af gentagne forsøg, selv om de blev udført. Dette blev ikke accepteret, gav ikke tilskud og bidrog ikke til en succesfuld videnskabelig karriere. Ifølge en Nature-undersøgelse har mere end 70 % af psykologerne forsøgt og undladt at gengive andre menneskers forskning, omkring halvdelen har ikke været i stand til at gentage deres egen, og næsten ingen har søgt at offentliggøre disse resultater.

Da krisen med reproducerbarhed dukkede op, har meget ændret sig. Gentagen forskning blev efterhånden almindelig; eksperimentelle data begyndte at blive offentliggjort mere og oftere i det offentlige domæne; tidsskrifter begyndte at offentliggøre negative resultater og registrere den overordnede plan for forskning, selv før de begyndte.

Forskningen er blevet mere omfattende - en stikprøve på 30-40 personer, som var ret standard i psykologi, passer nu meget få mennesker. Store internationale organisationer - såsom Psychological Science Accelerator - tester de samme hypoteser i flere laboratorier rundt om i verden.

Før vi tjekkede artiklerne fra Nature and Science, som vi skrev om i begyndelsen, blev forskerne bedt om at placere væddemål på lodtrækningerne. De skulle forudsige, hvilken forskning der ville bestå testen, og hvilken der ville mislykkes. Samlet set var satserne meget nøjagtige. "Det betyder for det første, at det videnskabelige samfund kan forudsige, hvilke værker der vil kunne gentages, og for det andet, at umuligheden af at gentage undersøgelsen ikke var en ren tilfældighed," siger arrangørerne af eksperimentet.

Forskere er generelt gode til at skelne pålidelig fra upålidelig forskning - det er gode nyheder. Nu forsøger eksperter fra Center for Åben Videnskab sammen med DARPA-bureauet at skabe en algoritme, der skal udføre samme opgave uden menneskelig indblanding.

Der er for mange artikler udgivet hvert år til manuelt at kontrollere selv en lille brøkdel af dem. Hvis kunstig intelligens kommer i gang, bliver alt meget nemmere.

Allerede i de første test klarede AI'en forudsigelser i 80% af tilfældene.

Hvad gør forskning oftest upålidelig? Små prøver, uoverensstemmelser i tal, for smuk bekræftelse af hypoteser. Og også - ønsket om fornemmelser og for simple svar på svære spørgsmål.

For godt til at være sandt

Den nemmeste måde at skabe sensationel forskning på er gennem bedrag. Den berømte socialpsykolog Diederik Stapel brugte opdigtede data i flere dusin videnskabelige artikler. Stapels forskning spredte sig gennem aviser og magasiner med stor hastighed, han modtog adskillige prestigefyldte videnskabelige priser, blev publiceret i Science og blev betragtet som en af de største specialister inden for sit felt.

Engang viste det sig, at Stapel i lang tid slet ikke forskede, men blot opfandt data og gav dem til studerende til analyse.

Dette er meget sjældent i videnskaben. Meget oftere opstår højlydte, men forkerte udsagn af andre årsager. Folk leder desperat efter enkle, forståelige og effektive svar på spændende spørgsmål. Det kan være meget nemt at blive fristet til at tro, at du har disse svar, selvom du virkelig ikke har det. Forfølgelsen af enkelhed og sikkerhed er en af hovedårsagerne til, at mange undersøgelser undlader at teste for reproducerbarhed. Her er nogle bemærkelsesværdige eksempler.

Marshmallow eksperiment

I et eksperiment blev børn bedt om at vælge mellem én lille belønning - såsom skumfiduser - som kunne modtages med det samme, og en dobbelt belønning, hvis de kunne vente lidt. Det viste sig senere, at børn, der modtog den anden pris, fik større succes i voksenalderen. Undersøgelsen blev meget populær og påvirkede nogle skoleplaner.

I 2018 blev eksperimentet gentaget på en bredere prøve. Det viste sig, at rigdom i familien er en meget vigtigere faktor, som niveauet af selvkontrol også afhænger af.

"Poses of Strength" og "Poses of Weakness"

Deltagerne i eksperimentet tog en af to stillinger i to minutter: de lænede sig tilbage i en stol og smed benene på bordet ("styrkestilling") eller krydsede armene over brystet ("svaghedsstilling"). Som følge heraf følte deltagerne fra den første gruppe sig mere selvsikre og var oftere enige om at tage risici i gambling. De, der sad i en stærk stilling, øgede deres testosteronniveauer, og de, der sad i en svag stilling, øgede kortisol. I gentagne forsøg blev kun én effekt gengivet: "styrkestillinger" hjalp deltagerne til at føle sig mere selvsikre, men ændrede ikke deres adfærd eller hormonelle parametre.

Associationer med alderdom får dig til at bevæge dig langsommere

Deltagerne i eksperimentet blev bedt om at løse flere gåder. Hvis der blev indsat ord i dem, der er forbundet med alderdom - "glemsom", "ældre", "ensomme" - så forlod deltagerne lokalet i et langsommere tempo.

I de seneste forsøg blev eksperimentet kun reproduceret med succes i ét tilfælde: hvis forsøgslederne selv vidste, at deltagerne i testene antydede alderdom. Selve effekten forblev, men årsagerne var allerede forskellige.

Varme genstande gør folk venligere

Deltagerne i forsøget fik lov til at holde en kop varm eller kold kaffe i kort tid, og blev derefter bedt om at vurdere personens personlighed ved hjælp af en kort beskrivelse. Deltagere, der holdt en varm kop kaffe, vurderede personen som mere sympatisk. I et andet eksperiment fik deltagerne en genstand i en varm eller kold pakke og blev derefter bedt om at beholde den eller give den til en ven. Hvis varen var pakket ind i en varm pakke, var deltagerne mere tilbøjelige til at vælge den anden mulighed. Gentagne forsøg med en bredere prøve gav ikke sådanne resultater. Det ser ud til, at varmt tøj ikke vil gøre dig til altruist.

Viljestyrken er opbrugt, når vi modstår fristelser

Foran deltagerne i forsøget blev der stillet to tallerkener – med småkager og radiser. I den første gruppe fik deltagerne lov til at spise småkager, og i den anden kun radiser. Derefter blev hver deltager bedt om at løse et umuligt puslespil. Deltagere, der kun spiste radiser i den første del af forsøget, gav op meget tidligere end andre. I gentagne forsøg blev resultaterne ikke bekræftet.

I nogle tilfælde blev kapaciteten til selvkontrol ikke udtømt, men blev endda intensiveret over tid. Mange psykologer anser nu begrebet "viljestyrke" for for simpelt.

Der er allerede gjort meget inden for verdenspsykologien for at gøre forskningen mere pålidelig og reproducerbar. I Rusland er dette problem endnu ikke blevet forstået.

"I russisk psykologi er problemerne med krisen hovedsageligt optaget af videnskabelige unge, som i høj grad er orienteret mod vestlig videnskab," sagde Ivan Ivanchey, lektor ved RANEPA, til The Knife. - Kontrol med kvaliteten af publikationer på russisk er generelt ikke særlig høj. Tidsskrifterne afviser sjældent artikler, så der udgives en del forskning af lav kvalitet. Små prøver bruges ofte, hvilket også reducerer sandsynligheden for vellykket reproduktion. Der er en mistanke om, at hvis man seriøst tager fat på spørgsmålet om reproducerbarhed af russisksprogede værker, kan mange problemer opdages. Men ingen er direkte involveret i det her."

I januar 2019 blev det kendt, at den russiske regering vil udvide kravene til videnskabsmænd markant med hensyn til antallet af publikationer: det mindste antal artikler, der udgives om året, bør vokse med 30-50%.

Forskere fra den indflydelsesrige akademiske "1. juli-klub" kritiserede initiativet: "Videnskabens opgave er ikke at producere det maksimale antal publikationer, men at udforske universet og drage fordel af den viden, der er opnået for menneskeheden." Højst sandsynligt vil de nye krav kun øge omfanget af problemet.

Historien om reproducerbarhedens krise er ikke en historie om den kommende apokalypse og invasionen af barbarerne. Hvis krisen ikke var opstået, ville alt have været meget værre: vi ville stadig henvise til fejlagtig forskning i fuld tillid til, at vi kender sandheden. Måske er tiden med dristige overskrifter som "Britiske videnskabsmænd bevist" ved at være slut. Men rygter om, at videnskaben er død, bør betragtes som noget overdrevne.