Vai zinātne ir mirusi? Vārdu sakot: Nē

Pirms dažām nedēļām Jona Lehrere uzrakstīja nedaudz apmānītu un sensacionālistisku rakstu Ņujorkietis ar nosaukumu Patiesība nodilst: vai zinātniskajā metodē ir kaut kas nepareizs? Tajā Lehrers atsaucas uz anekdotiskiem pierādījumiem (un nedaudziem datiem), lai pamatotu apgalvojumu, ka varbūt zinātniskā metode - kā mēs zinātniski apstiprinām savas hipotēzes ar datiem un statistiku - ir gājusi šausmīgi greizi.

Bet to, ko Lehrers nepaspēja atzīmēt, ir tas, ka lielākā daļa pētnieku jau zina par viņa aprakstītajiem trūkumiem un cītīgi strādā, lai samazinātu šo problēmu ietekmi.

Zinātniskā metode nav salauzta. Tas, ko Lehrers apraksta, ir vienkārši zinātne darbā - un darbs.

Vislabāko atbildi uz šo eseju sniedz ScienceBlogs rakstnieks PZ Myers, Zinātne nav mirusi. Šajā atspēkojumā Maierss norāda uz primārajām zinātnes problēmām, ja tā nevar atkārtot iepriekšējos secinājumus:

1. Regresija līdz vidējam līmenim: Pieaugot datu punktu skaitam, mēs sagaidām, ka vidējās vērtības atgūs patieso vidējo vērtību ... un tā kā bieži sākotnējais darbs tiek veikts, pamatojoties uz daudzsološiem agrīnajiem rezultātiem, mēs sagaidām, ka nejauši izlīdzināsies vairāk datu nozīmīgs agrīns iznākums.
2. Failu atvilktņu efekts: rezultātus, kas nav nozīmīgi, ir grūti publicēt, un tie tiek ievietoti skapī. Tomēr, tā kā tas kļūst zināms, pretējie rezultāti kļūst interesantāki un publicējamāki.
3. Izmeklētāja neobjektivitāte: Ir grūti saglabāt zinātnisko bezkaislību. Mēs visi labprāt redzētu, kā mūsu hipotēzes tiek apstiprinātas, tāpēc mums ir tendence apzināti vai neapzināti atlasīt rezultātus, kas atbalsta mūsu uzskatus.
4. Tirdzniecības neobjektivitāte: Narkotiku firmas vēlas nopelnīt naudu. Viņi var nopelnīt naudu no placebo, ja tam ir zināms statistikas atbalsts; noteikti ir tendence uz statistikas rādītāju izmantošanu peļņas nolūkos.
5. Populācijas dispersija: Panākumi labi definētā iedzīvotāju apakškopā var izraisīt nelielu ložņu: ja zāles palīdz šai grupai ar skaidri definētiem simptomiem, varbūt mums vajadzētu izmēģināt to šai citai grupai ar margināliem simptomiem. Un tas tā nav ... bet šie skaitļi joprojām tiks izmantoti, lai novērtētu tā vispārējo efektivitāti.
6. Vienkārša iespēja: šo cilvēku ir grūti nokļūt, es esmu atradis. Bet, ja kaut kas ir nozīmīgs p = 0,05 līmenī, tas joprojām nozīmē, ka 1 no 20 eksperimentiem ar pilnīgi nederīgu narkotiku joprojām parādīs nozīmīgu efektu.
7. Statistiskā makšķerēšana: Es ienīstu šo, un es to redzu visu laiku. Plānotajā eksperimentā netika atklāti nozīmīgi rezultāti, tāpēc dati tiek pārdomāti, un jebkura būtiska korelācija tiek izmantota un publicēta tā, it kā tā būtu paredzēta. Skatīt iepriekšējo skaidrojumu. Ja datu kopa ir pietiekami sarežģīta, vienmēr kaut kur atradīsit korelāciju, tikai nejauši.

Numurs 1 izskaidro daudzas problēmas, kuras mēs šodien atrodam zinātnē, īpaši psiholoģijā. Jūs zināt lielāko daļu šo eksperimentu, par kuriem lasījāt Psiholoģiskā zinātne, Psiholoģisko zinātņu asociācijas vadošā publikācija? Viņi ir crap. Tie ir N = 20 eksperimenti, kas veikti ar maziem, viendabīgiem paraugiem, galvenokārt no Kaukāza koledžas studentiem vidusrietumu universitātēs. Lielākā daļa no tām nekad netiek atkārtotas, un mazāk joprojām tiek atkārtotas par paraugu lielumiem, kas, iespējams, parādīs, ka sākotnējie rezultāti bija nekas cits kā statistikas raksturojums.

Pētnieki to jau zina, bet dzīvo saskaņā ar pavisam citu noteikumu grāmatu nekā jūs vai es. Viņu iztika ir atkarīga no tā, vai viņi turpinās darīt labu, publicējamu pētījumu. Ja viņi pārtrauks veikt šo pētījumu (vai nevarēs to publicēt recenzētā žurnālā), viņiem ir lielāks risks zaudēt darbu. Akadēmiskajā vidē tā ir pazīstama kā “publicēt vai pazust”, un tā ir ļoti reāla motivācija jebkādu pētījumu publicēšanai, pat ja jūs zināt, ka rezultātus, iespējams, nevarēs atkārtot. Skatīt 3. numuru iepriekš.

Visbeidzot, es redzu tik daudz no 7. numura izpētes pētījumos, kurus es pārskatīju, tas ir gandrīz neērts. Zinātniskā metode darbojas labi un droši tikai tad, ja iepriekš formulējat hipotēzes, palaižat savus priekšmetus, lai savāktu savus datus, un pēc tam analizē šos datus atbilstoši hipotēzēm, ar kurām sākāt. Ja nolemjat sākt mainīt hipotēzi, lai tā atbilstu datiem, vai veicat statistikas testus, uz kuriem nebijāt rēķinājies, jūs sabojājat savus secinājumus. Jūs sākat makšķerēšanas ekspedīciju, kuru ir paveicis katrs pētnieks. Bet tikai tāpēc, ka visi to ir izdarījuši, tas nozīmē labu vai ētisku rīcību.

Problēma ir tā, ka pētījumi ir laikietilpīgi un bieži dārgi. Ja jūs vienkārši izmēģinājāt 100 priekšmetus un neatradāt neko nozīmīgu (saskaņā ar jūsu hipotēzēm), jūs ne tikai visticamāk nesaņemsit šo pētījumu publicēt, bet jūs vienkārši izniekojāt mēnešus (vai pat gadus) no savas profesionālās dzīves un $ X no jūsu vienmēr ierobežotais pētniecības budžets.

Ja jūs nevarat redzēt, kā tas varētu izraisīt mazāk optimālu pētījumu rezultātu publicēšanu, jūs, iespējams, esat mazliet akls pret cilvēka pamata psiholoģiju un motivāciju. Tā kā pētnieki nav supercilvēki - viņiem ir tādas pašas kļūdas, aizspriedumi un motivācija kā jebkuram citam. Paredzams, ka zinātniskā metode to stingri ievēro. Problēma ir tāda, ka neviens īsti nepieskata pētniekus, lai pārliecinātos, ka viņi to ievēro, un tam nav raksturīga stimula.

Es beigšu ar šo novērojumu, atkal no PZ Myers,

Tas viss ir tas satraukums, kas patiesībā saka, ka dažreiz tiek pierādīts, ka hipotēzes ir nepareizas, un dažreiz, ja hipotēzes atbalsts ir balstīts uz vājiem pierādījumiem vai ļoti atvasinātu sarežģītas datu kopas interpretāciju, var paiet ilgs laiks, līdz pareizā atbilde. Tātad? Tā nav zinātnes neveiksme, ja vien jūs kaut kā negaidāt tūlītēju apmierinājumu par visu vai apstiprinājumu katrai lolotajai idejai.

Āmen.

Citu viedokļi par Lehrera eseju

Zinātne nav mirusi - PZ Myers

Slavējot zinātniskās kļūdas - Džordžs Musers

Vai zinātniskās metodes problēma ir cilvēkiem? - Čārlijs Petīts

Patiesībā mēs šaubīsimies: vai “norieta efekts” nozīmē, ka visa zinātne ir “patiesa”? - Džons Horgans

Noslēpumainā norieta efekts - Jonah Lehrer