Kādiem pētījumiem jūs varat ticēt?
Ikviens, kurš lasa Psiholoģijas pasaule regulāri jau zina par problēmām daudzos nozares finansētos pētījumos. Bet šis raksts liek domāt, ka problēmas ar recenzētiem pētījumiem ir daudz dziļākas nekā vienkārša tendence uz peļņu. Zinātnieki ir neobjektīvi daudzos un dažādos veidos (ne tikai naudas ieguvei). Un šī neobjektivitāte neizbēgami parādās viņu veiktajā darbā - zinātniskajos pētījumos.
Tas man nav jauns bungas, ko pārspēt - es esmu runājis par pētnieku neobjektivitāti 2007. gadā un par to, kā pētnieki izstrādā pētījumus, lai atrastu konkrētus rezultātus (šajā piemērā piedalījās pētnieki, kuri, meklējot - gaidiet - “pašnāvības metodes”, atrada pašnāvības metožu vietnes. ”Google tīklā). Mēs esam atzīmējuši, kā praktiski katrs pētījums tādos žurnālos kā Psiholoģiskā zinātne paļauties gandrīz tikai uz koledžas studentiem, kas savākti no vienas pilsētiņas kā priekšmetiem - būtisks ierobežojums, kas pašos pētījumos reti minēts.
Tomēr šeit ir īstais satraucošais aspekts - šāda veida tendenciozi pētījumi parādās visdažādākajos žurnālos. JAMA, NEJM un BMJ nav imūna no nežēlīgu, kļūdainu pētījumu publicēšanas medicīnā un psiholoģijā. Mēs domājam par žurnāla “cienījamību” kā par kaut kādu vārtu sargāšanas lomas pazīmi - ka pētījumiem, kas parādās prestižākajos žurnālos, jābūt fundamentāli pamatotiem.
Bet tā vienkārši nav taisnība. Imperators nav tikai kails - viņa pavalstnieki ir paslēpuši drēbes, lai turpinātu savu karjeru.
Jautājums par tendencioziem pētījumiem, kas tiek publicēti, pirmo reizi nonāca uzmanības centrā 2004. gadā, kad GlaxoSmithKline iesūdzēja valsts ģenerālprokurori par Paxil pētījumu datu slēpšanu. Kopš tā laika ir atklājušies desmitiem pētījumu, un kopš tā laika ir publicēti citi pētījumi, kas parāda, kā farmācijas uzņēmumi, šķiet, regulāri slēpa attiecīgos pētījumu datus. Šie dati parasti parāda, ka pētāmās zāles, salīdzinot ar cukura tabletēm, nebija efektīvas, ārstējot jebkādus traucējumus, kuriem tā bija paredzēta. (Tīmekļa žurnālos, piemēram, klīniskā psiholoģija un psihiatrija: tuvāks izskats un Carlat psihiatrijas emuārs, ir sīkāka informācija par šiem pētījumiem.)
Bet kā ar cita veida neobjektivitāti? Vai mūs interesē tikai pētījumi, kuros neobjektivitāte ir tik izteikta, vai mums nevajadzētu uztraukties par jebkāda veida aizspriedumiem, kas var ietekmēt rezultātu ticamību?
Atbilde ir, protams, ka mums vajadzētu interesēties par visu veidu neobjektivitāti. Viss, kas var ietekmēt pētījuma gala rezultātus, nozīmē, ka pētījuma secinājumi var būt apšaubāmi.
Par šo jautājumu medicīnas pētījumos ieinteresējās Joanninas universitātes profesors Džons Joannidiss. Tāpēc viņš izveidoja ekspertu grupu no pētniekiem un statistikas speciālistiem, lai padziļinātos un redzētu, cik slikta ir problēma. Tas, ko viņš atrada, nepārsteidza pētniekus, bet pārsteigs lielāko daļu laju -
Nesaprašanā viņš sāka meklēt īpašos veidus, kā studijas iet greizi. Un neilgi viņš atklāja, ka pieļauto kļūdu klāsts ir pārsteidzošs: sākot no jautājumiem, kurus pētnieki uzdeva, līdz tam, kā viņi izveidoja pētījumus, kuriem pacientiem viņi vervēja pētījumus, kādiem mērījumiem viņi veica, līdz tam, kā viņi analizēja datus , kā viņi iepazīstināja ar saviem rezultātiem, kā konkrēti pētījumi tika publicēti medicīnas žurnālos. […]
"Pētījumi bija neobjektīvi," viņš saka. „Dažreiz viņi bija atklāti neobjektīvi. Dažreiz bija grūti saskatīt neobjektivitāti, bet tā bija. ” Pētnieki devās savās studijās, vēloties noteiktus rezultātus, un, lūk, viņi tos ieguva. Mēs domājam, ka zinātniskais process ir objektīvs, stingrs un pat nežēlīgs, nošķirot patiesību no tā, ko mēs vienkārši vēlamies būt patiesi, bet patiesībā ir viegli manipulēt ar rezultātiem, pat neapzināti vai neapzināti.
"Katrā procesa posmā ir iespēja izkropļot rezultātus, veids, kā izteikt stingrākas prasības vai izvēlēties, kas tiks noslēgts," saka Ioannidis. "Pastāv intelektuāls interešu konflikts, kas liek pētniekiem atrast visu, kas visticamāk viņus finansēs."
Ioannadis izveidoja sarežģītu matemātisko modeli, kas, pamatojoties uz visiem šiem mainīgajiem lielumiem, paredzētu, cik daudz pētījumu var būt kļūdaini. Viņa modelis paredzēja, ka “80 procenti nejaušinātu pētījumu (neapšaubāmi visizplatītākais veids [- it īpaši psiholoģiskajos pētījumos]) [izrādīsies] nepareizi, tāpat kā 25 procenti no it kā zelta standarta randomizētiem pētījumiem un kā 10% no platīna standarta lielajiem randomizētajiem pētījumiem. ”
Tad viņš pārbaudīja šo modeli 49 pētījumos, kuros pēdējo 13 gadu laikā tika veikti visaugstāk novērtētie medicīnisko pētījumu rezultāti. Tie bija visvairāk citētajos medicīnas žurnālos un paši bija visvairāk citētie raksti.
No 49 rakstiem 45 apgalvoja, ka ir atklājuši efektīvas iejaukšanās. Trīsdesmit četri no šiem apgalvojumiem tika atkārtoti pārbaudīti, un 14 no tiem jeb 41 procents tika pārliecinoši pierādīti kā nepareizi vai ievērojami pārspīlēti. Ja starp trešdaļu un pusi no visaugstāk novērtētajiem medicīnas pētījumiem izrādījās neuzticami, problēmas apjoms un ietekme bija nenoliedzama. […]
No šiem 45 īpaši citētajiem pētījumiem, uz kuriem koncentrējās Ioannidis, 11 nekad netika atkārtoti pārbaudīti. Varbūt vēl ļaunāk Ioannidis atklāja, ka pat tad, ja tiek novērota pētījuma kļūda, tā parasti saglabājas gadus vai pat gadu desmitus. Viņš apskatīja trīs ievērojamus veselības pētījumus no 1980. un 1990. gadiem, kas vēlāk tika pamatoti atspēkoti, un atklāja, ka pētnieki turpināja sākotnējos rezultātus biežāk minēt kā pareizus, nevis kā kļūdainus - vienā gadījumā vismaz 12 gadus pēc rezultātu diskreditēšanas .
Tik daudz zinātnieku, kas atkārtoti pārbauda citu publicētos rezultātus - vienīgais galīgais veids, kā apkarot neobjektivitāti. Kā gandrīz 25 procentus no visbiežāk citētajiem medicīniskajiem pētījumiem pēdējo 13 gadu laikā nekad nevarēja atkārtoti pārbaudīt? Apbrīnojami.
Lielākā daļa no mums ir tas, ka gandrīz neiespējami pateikt, vai dotais pētījums patiešām parāda pozitīvus, jaunus un stabilus rezultātus. Neiedziļinoties pētījuma un visu tā priekšgājēju detalizētā analīzē, jaunu pētījumu ievietošana kontekstā ir ilgs un grūts uzdevums. Turklāt Ioannidis modelis liek domāt, ka lielākā daļa psiholoģisko pētījumu - varbūt pat 80 procenti no tā -, iespējams, ir nepareizi. Šeit tiešām nav sudraba oderes.
Izņemot varbūt tādas pētnieku grupas kā Ioannidis, kas strādā, lai parādītu, kā neobjektivitāte var iefiltrēties pat "zelta standarta" pētījumos.
Pārmaiņas šeit lielā mērā ir atkarīgas no tā, kā atsevišķi pētnieki uzzina par šīm neobjektivitātēm un daudz vairāk strādā, lai nodrošinātu, ka viņu studijās tās nav. Bet, ja neviens vārtsargs faktiski nepārbauda pētījuma noformējumu vai statistikas metodes, ir maz stimula mainīties. Finansiālie un karjeras stimuli pētniekiem turpināt publicēties, kā tas viņiem tradicionāli ir, lai saglabātu savu akadēmisko un profesionālo stāvokli, joprojām ir neapmierinoši spēcīgi.
Pilns raksts ir jūsu laika vērts: meli, sasodītie meli un medicīnas zinātne
Lai gan tas nav ideāls, šeit ir mūsu pirms dažiem gadiem izstrādātais pamats par to, kā pamanīt apšaubāmus pētījumus - vai pētījumi ir labi?
