Ko nozīmē reproducējamības trūkums psiholoģijas pētījumos?

Pagājušajā nedēļā tika iegūti pasaules lielāko pūļu rezultāti, lai reproducētu psiholoģijas pētījumos iegūtos rezultātus. Braiena Noseka reproducējamības projektā tika aplūkoti 100 psiholoģijas eksperimentu rezultāti, kas 2008. gadā tika publicēti tikai no trim lielākajiem psiholoģijas žurnāliem. Tā mēģināja reproducēt pētījumu, lai redzētu, kādus rezultātus viņi iegūs.

Ideālā pasaulē varētu domāt, ka kaut kam pēc 75 vai pat 80 procentiem pētījumu vajadzēja atkārtot līdzīgus rezultātus, vai ne? Tāpēc, ka jaunos pētījumus pētnieki, kuri rūpīgi sekoja sākotnējām pētnieku metodēm, vienkārši atkārtoti veica citā populācijā. Vairumā gadījumu pētniekiem bija tiešs kontakts un sākotnējo pētnieku sadarbība.

Bet atradumā pagriezts ducis dažādu veidu, kopš tie tika publicēti pagājušajā nedēļā Zinātne žurnāls, projekts nenonāca tuvu 75 procentiem. Tikai 36 procenti atkārtojumu sniedza nozīmīgus rezultātus - salīdzinājumā ar 97 procentiem no sākotnējiem 100 pētījumiem.

Ko tas nozīmē psiholoģijai?

Neskatoties uz to, ka daži mēģināja griezt šo atklājumu kā negaidītu vai "ne tik sliktu, kā varētu būt bijis", tas neko labu neliecina par psiholoģisko zinātni. Katru mēnesi tiek publicēti simtiem jaunu psiholoģijas pētījumu. Īsumā šis atklājums nozīmē, ka lielākajai daļai šo pētījumu atklājumu nav jāuzticas. Patiesībā tie ir nepatiesi.

No Atlantijas okeāns pārklājums:

"Panākumu līmenis ir zemāks, nekā es būtu domājis," saka Džons Joannidiss no Stenfordas universitātes, kura klasiskais teorētiskais darbs Kāpēc lielākā daļa publicēto pētījumu rezultātu ir nepatiesi ir bijusi zibensnovedējs reproducējamības kustībai.

“Es jūtos slikti, redzot, ka dažas manas prognozes ir apstiprinātas. Es vēlos, lai būtu pierādīts, ka tie ir nepareizi. ”

Vēl viens slikts jaunā pētījuma atklājums ir tāds, ka izmērītie efektu lielumi parasti bija par 50 procentiem mazāki nekā sākotnējie pētnieki. Tas nozīmē, ka pat tad, kad jaunie pētnieki atkārtoja rezultātus, pētāmo mainīgo lielumu ietekme nebija gandrīz tikpat svarīga kā sākotnēji domāts.

Iemesli sliktai reproducējamībai psiholoģijas pētījumos

Psiholoģisko pētījumu rezultātā šai sliktajai parādīšanai ir ducis dažādu iemeslu. Bet, pirms mēs pārskatām dažus no tiem, tas ir auksts realitātes ūdens šļakatām, ņemot vērā viena pētījuma rezultātus un no tiem vispārinot. Vai vēl sliktāk - ticēt, ka kaut kas ir patiess, ja tas vēl jāpierāda vairāk nekā vienā pētījumā.

Ja pētījums nav dubultmaskēts - tā kā vairums no tiem nebija - pašu pētnieku aizspriedumi var smalki ietekmēt datu vākšanu vai analīzi. Ja pētnieks tikko ir pavadījis 8 vai 18 mēnešus tikai datu vākšanai, lai atrastu nozīmīgus rezultātus, viņi var doties datu zvejas ekspedīcijā, lai atrastu citas datu attiecības, ko viņi var publicēt. 1 Pētnieki pēc tam maina savas sākotnējās hipotēzes, lai tās atbilstu datiem atrasts (tā kā lielākā daļa pētnieku savus pētījumus joprojām iepriekš nereģistrē izsekošanas dienestā - lai gan tas lēnām mainās).

Citi ir minējuši, ka varbūt “pārsteigums” ir vēl viens izskaidrojums - žurnāli mūsdienās koncentrējas uz pārsteidzošu atklājumu publicēšanu, jo tie ir populārāki un interesantāki lasītājiem. Pievienojot vidējās vērtības regresijas iespēju - ka mainīgie var būt visaugstākie, kad pirmo reizi izmēra, bet mazāk ekstremāli, ja tiek mērīti otro vai trešo reizi, tiek ieteikts, ka šie divi faktori apvieno, lai mudinātu publicēt pētījumus, kas ir raksturīgi grūti pavairot.

Ko tas nozīmē psiholoģiskajai zinātnei?

Cilvēka daba ir bezgala sarežģīta. Psiholoģiskā zinātne mēģina dekonstruēt cilvēka uzvedību un emocijas mazos gabaliņos, lai labāk izprastu kopumu. Tomēr, ja pētījumi nevar reproducēt pētījumu pamatā esošo zinātni, tas liek domāt, ka arī lielai daļai no tā, ko šī joma publicē katru gadu, nevar uzticēties.

Tomēr mēs arī nezinām lielākās daļas zinātnes reproducējamības statistiku, jo citās jomās nekad nav mēģināts neko līdzīgu reproducējamības projektam. Var būt, ka šī kļūda ir lielākajai daļai zinātnes, vai arī tā var būt tā, kas sociālās zinātnes ietekmē vairāk nekā citas zinātnes.

Bet īstermiņā tas uzsver kaut ko, ko vienmēr esmu teicis - psiholoģiskās zinātnes atklājums nav tas, uz kura var pakārt cepuri, kamēr to nav atkārtojis cits pētnieks. Atzinumi, kurus var reproducēt, tiek uzskatīti par “stabiliem” un tāpēc uzticami.

Meklējiet šāda veida informāciju, vērtējot vai lasot ziņu rakstus, pamatojoties uz jaunu pētījumu. Lai arī tie nav tik seksīgi kā jauni, "pārsteidzoši" atklājumi, pētījumi, kas pārbauda vai apšauba to, ko mēs jau domājam, ka zinām, ir tikpat svarīgi.

Lai iegūtu papildinformāciju ...

Atlantijas okeāns: cik ticami ir psiholoģijas pētījumi?

The Guardian: Pētījums sniedz drūmu spriedumu par psiholoģijas eksperimenta rezultātu pamatotību

Mindhacks: Nesauciet to par atgriešanos

Atsauce

Atklāta zinātnes sadarbība. (2015). Psiholoģijas zinātnes reproducējamības novērtēšana. Zinātne, 28.

Reproducējamības projekts: Psiholoģija - sākotnējie dati

Zemsvītras piezīmes:

1. Pretējā gadījumā visu šo laiku nauda un pūles tika izšķiesti, jo maz pētnieku var vai vēlas publicēt nulles rezultātus. [↩]
2. Un tas patiešām liek apšaubīt autoru plašos vispārinājumus par viņu atklājumu pielietojamību, kas atrodami gandrīz katrā neseno psiholoģijas pētījumu diskusiju sadaļā. [↩]