Hmm ... Galu galā psiholoģiskajā zinātnē nav “atkārtojamības krīzes”

Kad jums ir pētniecības projekts - Atvērtā zinātnes sadarbība (OSC) -, kurā piedalās 270 zinātnieki, kuri strādā pie zinātnes sasniegumiem, jūs cerētu, ka daži no tiem pamatos pareizu. Tāpat kā randomizēta pētījuma izstrāde, kas būtu metodoloģiski pamatots un varētu izturēt līdzcilvēku pārbaudi.

Bet šķiet, ka revolucionārajam rakstam, kuru 2015. gada augustā publicēja 44 pētnieki “Psiholoģiskās zinātnes reproducējamības novērtēšana” (Nosek et al., 2015), ir bijuši daži būtiski trūkumi. Jauns raksts liecina, ka galu galā psiholoģijā nav “atkārtojamības krīzes”.

Četri pētnieki no Hārvardas universitātes un Virdžīnijas universitātes (Gilbert et al., 2016) savus secinājumus publicēja Zinātne (viņu psiholoģijas replikāciju vietnē ir visi dati un materiāli). Viņi uzskata, ka sākotnējā pētījumā ir atraduši trīs galvenās statistikas kļūdas, kas nopietni apšauba tā secinājumus. Jaunie pētnieki apgalvo: "Patiešām, pierādījumi atbilst pretējam secinājumam - ka psiholoģiskās zinātnes reproducējamība ir diezgan augsta un patiesībā statistiski neatšķiras no 100%."

Hmm ...

Sākotnējā pētījumā (Nosek et al., 2015) mēģināja atkārtot 100 eksperimentu rezultātus, kas ziņoti 2008. gadā publicētos dokumentos trīs augsta ranga psiholoģijas žurnālos. Pirmā kritika par pētījumu ir tā, ka šī nebija nejaušināta psiholoģijas pētījumu atlase. Tā vietā Nosek grupa ierobežoja savu pētījumu izvēli tikai ar trim žurnāliem, kas pārstāv pavisam niecīgas divas psiholoģijas disciplīnas, izlaižot tādas galvenās jomas kā attīstības un klīniskā psiholoģija. Tad Noseks et al. nodarbināja sarežģītu patvaļīgu noteikumu un kritēriju kopumu, kas faktiski diskvalificēja vairāk nekā 77 procentus pētījumu no trim viņu pārbaudītajiem žurnāliem.

Pētījumiem, kas sākas ar neobjektīvu paraugu, noteikti būs problēmas. Neuzsākot ar nejaušinātu izlasi, pētnieki jau palīdzēja noteikt posmu viņu vilšanās atklājumiem.

Mainīsim (būtiski) atkārtotos pētījumus

Pat sliktāk nekā sākt ar neobjektīvu, nejaušinātu izlasi bija tas, kā pētnieki faktiski veica atkārtojumus. Pirmkārt, pētnieki uzaicināja “konkrētas komandas atkārtot noteiktus pētījumus vai arī ļāva komandām izvēlēties pētījumus, kurus viņi vēlējās atkārtot”. Tā vietā, lai nejauši piešķirtu pētniekus replikācijas pētījumiem, viņi ļāva pētniekiem izvēlēties - ieviešot katra pētnieka neobjektivitāti, lai izvēlētos pētījumus, kuri, viņuprāt, visticamāk tiks atkārtoti.

Jaunie pētījumi dažreiz ievērojami atšķīrās no vecajiem pētījumiem, kurus viņi mēģināja atkārtot. Šeit ir tikai viens (no vismaz divpadsmit) piemēriem, kā atkārtotais pētījums izraisīja būtiskas komplikācijas:

Citā pētījumā Stenfordas universitātes Baltie studenti noskatījās video, kurā četri citi Stenfordas studenti apspriež viņu universitātes uzņemšanas politiku (Crosby, Monin & Richardson, 2008). Trīs no diskusijas dalībniekiem bija balti un viens bija melns. Diskusijas laikā viens no baltajiem studentiem izteica aizvainojošus komentārus par apstiprinošu rīcību, un pētnieki atklāja, ka novērotāji daudz ilgāk skatījās uz melno studentu, kad uzskatīja, ka viņš varēja dzirdēt citu komentārus, nekā tad, kad viņš to nevarēja. Lai gan replikācijas pētījuma dalībnieki bija Amsterdamas Universitātes studenti, viņi noskatījās to pašu video, kurā Stenfordas studenti runāja (angliski!) Par Stanforda uzņemšanas politiku.

Vai tiešām Amsterdamas universitātes studenti varētu saprast, kāda vispār ir apstiprinoša darbība Amerikā, ņemot vērā ievērojamās kultūras atšķirības starp Amerikas un Amsterdamas sabiedrību? Apbrīnojami, pētnieki, kas veica replikāciju, teica, ka pētījumi ir "praktiski identiski" (un, protams, viņi ir neobjektīvi to teikt, jo tas ir viņu pētījums). Tomēr sākotnējie pētnieki, atzīstot ievērojamās kultūras atšķirības abās populācijās, neapstiprināja jauno replikācijas pētījumu.

Gilberts un viņa kolēģi atrada šāda veida problēmas ne tikai vienā, bet daudzos replikācijas pētījumos. Šķiet dīvaini, ka Nosek et al. jutu, ka šāda veida pretrunas neietekmēs pētījuma kvalitāti (vai "uzticību", kā pētnieki to sauc). Tomēr acīmredzami šīs ir būtiskas kvalitatīvās atšķirības, kas noteikti ietekmēs pētījuma atkārtojamību.

Mums vajag vairāk enerģijas!

Pētījums var stāvēt vai nokrist uz tā dizaina. Pētījuma projekta galvenā sastāvdaļa ir tā jauda. Replikācijas pētījumā tika izmantots dizains, kas, iespējams, jau no paša sākuma bija lemts izgāzties. Mazjaudas dizainparaugi nevar uzņemt tādu efektu izmērus, kādus var iegūt jaudīgāki pētījumi. Izvēloties izvēlēties mazjaudas dizainu, Nosek un viņa kolēģi faktiski nodrošināja savus negatīvos atklājumus, pirms viņi savāca vienu datu punktu.

Noseks un kolēģi izvirzīja dažus salmu cilvēka argumentus par izvēli dizainā, ko Gilberts u.c. viņu atbildē nošāva pa vienam. Gilberta un viņa kolēģu secinājums?

Kopumā neviens no [replikācijas pētnieku] izteiktajiem argumentiem neapstrīd faktu, ka [jaunā pētījuma] autori izmantoja mazjaudas dizainu un ka (kā pierāda mūsu ML2014 datu analīze) tas, iespējams, noveda pie bruto viņu patiesās replikācijas ātruma nenovērtēšana.

Citi psiholoģijas pētnieki 2014. gadā veica līdzīgu replikācijas eksperimentu (Klein et al., 2014). Izmantojot lieljaudas dizainu, viņi atklāja, ka lielākā daļa viņu pārbaudīto psiholoģijas pētījumu atkārtojas - 11 no 13 eksperimentiem tika atkārtoti. Lai pārbaudītu Nosek et al. Mazjaudas dizaina ietekmi, Gilbert et al. lēsts, ka 2014. gada pētījuma replikācijas līmenis būtu samazinājies no 85 procentiem līdz 34 procentiem. Būtiska un daudznozīmīga atšķirība.

Tātad, ko mēs patiešām zinām par psiholoģiskās zinātnes reproducējamību?

Vairāk nekā mēs domājām. Ņemot vērā Gilberta et al. Kritiku un sākotnējo pētnieku maiku reakciju, visticamāk izskatās, ka Nosek et al. pētījums bija kritiski kļūdains.

Šķiet, ka psiholoģiskā zinātne ir vairāk reproducējama, nekā mēs domājām - labas ziņas gan zinātnei, gan psiholoģijai.

Atsauces

Džilberts, D., Karalis, G., Petigrū, S. un Vilsons, T. (2016). Komentējiet ‘Psiholoģijas zinātnes reproducējamības novērtēšana’. Zinātne, 351, 1037a – 1037b.

Gilberts un citi. (2016). Atbilde uz atbildi uz mūsu tehnisko komentāru “Psiholoģijas zinātnes reproducējamības novērtēšana”.

Klein, RA, Ratliff, M Vianello, RB Adams Jr, Š Bahník, MJ Bernstein u.c. (2014). Atkārtojamības izmaiņu izpēte: replikācijas projekts “Daudzi laboratorijas”. Sociālā psiholoģija, 45, 142-152

Nosek et al. & Atklāta zinātnes sadarbība. (2015). Psiholoģijas zinātnes reproducējamības novērtēšana. Zinātne, 349. lpp. DOI: 10.1126 / science.aac4716

Nosek et al. (2016). Atbilde uz komentāru “Psiholoģijas zinātnes reproducējamības novērtēšana”. Zinātne, 351, 1037. DOI: 10.1126 / science.aad9163