Ļaujiet datiem runāt? Nē, ne vienmēr
Cienījamais profesors un Aiovas Universitātes pētnieks Frenks L. Šmits sestdien Psiholoģisko zinātņu asociācijas 20. sanāksmē lasīja sarunu par to, kā zinātniskie dati var melot. Jā, tas ir pareizi, empīriskie dati - pat tie, kas publicēti respektablos, recenzētos žurnālos - regulāri nesaka patiesību.
Šmita saruna bija labi apmeklēta vienā no lielākajām ballītēm Sheraton Hotel and Towers Čikāgā, kur notiek kongress. Lai arī prezentācija bija nevienmērīga, Šmita galvenie punkti nāca pāri.
Viens no tiem ir tas, ka vairāku datu kopu naivā interpretācija bieži vien ir vispareizākā - Occam’s skuveklis (“vienkāršākais risinājums parasti ir labākā atbilde”). Šmits apgalvo, ka labi pētījumi atklāj vienkāršo struktūru, kas ir sarežģītu datu pamatā.
Viņš apkopoja divus galvenos iemeslus, kāpēc dati var "melot" pētījumos - izlases kļūdas un mērījumu kļūdas.
Šmita lielākā kritika tika vērsta uz psiholoģijas zinātnes fetišu ar nozīmīguma pārbaudi - piemēram, statistisko nozīmīgumu. Viņš vēlas, lai psiholoģija attālinātos no tās paļaušanās un aizraušanās ar statistisko nozīmīgumu, jo tas ir vājš, tendenciozs pasākums, kas būtībā maz pasaka par pamatā esošajiem datiem vai hipotēzēm.
Šmits aprakstīja sešus mītus par apkārtējās nozīmes pārbaudi. Viens mīts bija tāds, ka laba p vērtība ir nozīmīguma rādītājs, kad tā patiesībā ir tikai norāde uz pētījuma jaudas līmeni. Cits bija tas, ka, ja netika atrasta nozīmība, tas nozīmē, ka starp mainīgajiem nav atrasta saistība (patiesībā tas var vienkārši nozīmēt, ka pētījumam trūkst pietiekamas jaudas).
Šmita risinājumi ir vienkārši - tā vietā ziņojiet par efektu lielumiem (punktu aprēķiniem) un ticamības intervāliem, un vispār uzsveriet nozīmīguma testēšanu.
Viņš pabeidza jaunatklāto uzsvaru uz meta-analīzēm psiholoģiskajos pētījumos, īpaši izsaucot žurnālu Psiholoģiskais biļetens. Vēl nepublicētā pētījumā viņš un citi pētnieki pārbaudīja visas metaanalīzes, kas publicētas Psiholoģiskais biļetens no 1978. līdz 2006. gadam - kopā 199 studijas.
Pētnieki atklāja, ka 65% no šiem pārbaudītajiem pētījumiem meta-analīzei izmantoja “fiksētu efektu” modeli. Šmits apgalvoja, ka fiksēto efektu modeļos datu attiecības tiek nepietiekami novērtētas (par 50%) un ka pētnieki pārvērtē to precizitāti (cik maz kļūdu šajā aplēsē ir). Tā vietā Šmits dod priekšroku “nejaušu efektu” modeļiem, kas labāk izskaidro šīs variācijas.
Viņš arī atzīmēja, ka 90% pārbaudīto pētījumu nav veikti mērījumu kļūdu labojumi - tas ir viens no galvenajiem iemesliem, kāpēc viņš min, ka psiholoģiskajos pētījumos dati var "melot".
Ņemot vērā šo analīzi, Šmits liek domāt, ka ļoti daudzos metaanalīzēs, kas publicētas recenzētos žurnālos, tiek izdarīti nepareizi vai kļūdaini secinājumi.
Diemžēl, visticamāk, šis stāvoklis drīz nemainīsies. Kaut arī daudzi psiholoģiskie žurnāli ir pieņēmuši stingrākus pētījumu publicēšanas standartus, kas labāk atbilst Šmita ieteikumiem, daudzi joprojām to nedomā un, šķiet, nedomā mainīt.
Parastam cilvēkam tas nozīmē, ka nevar uzticēties katram publicētam pētījumam tikai tāpēc, ka tas parādās recenzētā žurnālā, kuru pēc tam preses relīzē plašsaziņas līdzekļos publicē kā “faktu”. Šādi fakti ir kaļami, mainīgi un kļūdaini. Tikai uzmanīgi lasot un analizējot šādus pētījumus, mēs varam saprast to sniegto datu vērtību.
