Slikta zinātne: MyType iPad pētījumi

Es ienīstu preses izdošanu “pētniecības firmai”, kas nezina pirmo lietu par statistikas vai pamatmetodikas ziņošanu viņu pašu “pētījumu” ziņojumā. Es domāju, ka tas notiek, kad jūs satiekat baru cilvēku, kuri galvenokārt ir tehnologi, nevis statistiķi vai sociālie zinātnieki.

Pagājušajā nedēļā Facebook personības lietojumprogramma MyType, kas ņem jūsu datus un pēc tam pārdod apkopotus pārskatus, pamatojoties uz jūsu atbildēm uz viņu viktorīnu, izlaida ziņojumu par iPad. Viņi ieteica, ka iPad īpašnieki un tie, kas vēlas to iegādāties, ir "savtīgi eliti", bet tie, kas ir iPad kritiķi, tiek raksturoti kā "neatkarīgi geeks".

Jūs jau varat pateikt, ka tā gluži nebūs zinātniska analīze, vai ne?

Pirmkārt, MyType ziņo par rezultātiem. Faktiskajā pārskatā nav iekļauti faktiskie izmantotie statistikas testi, statistiskā nozīmība (p vērtības) un katras pētāmās grupas subjektu skaits. Jūs zināt, kādu datu veidu citi pētnieki meklē, lai novērtētu uzrādītos rezultātus. Bez šīs pamatinformācijas šāda veida “pētījumi” nav labāki par bakalaura darbu viņu psiholoģijas 101 klasē.

Persona ar Džona Hola vārdu viņu piezīmju sadaļā tos izsauca, un tajā brīdī viņi sāka sniegt plašu paziņojumu par p vērtībām (bet atkal nav specifikas, sadalot katru analīzi, ko jūs varētu sagaidīt tirgū vai zinātniski pētījumi). Dr F mēģināja izglītot MyType cilvēkus par pamata statistikas teoriju, jo acīmredzot viņi daudz nezina, kā izveidot labu pētījumu.

Arī komentāru sadaļā ir skaidrs, ka kāds rediģē komentārus, lai noņemtu lietas, par kurām viņi vēlāk nožēloja. Džons Hols citē acīmredzami Timu Koelkebeku, sakot, ka tāpēc, ka viņam ir datorzinātņu grāds (acīmredzot bakalaura grāds), tas viņu kaut kā kvalificē pētniecības plānošanā un metodikā, kā arī statistikā. Nepāra.

Bet lielākais ieguvums, ka tas nav nopietns pētījums, ir īpašības vārdi, kas izvēlēti, lai aprakstītu abas cilvēku grupas. Viņi raksturoja dažas patvaļīgas personības iezīmes, lai raksturotu katru grupu. Viņi varēja tikpat viegli pateikt, ka īpašnieki, kas nav iPad, ir neirotiski, nedroši, lepni un neuzmanīgi. Vai tas tomēr ir likumīgs īpašnieku, kas nav iPad īpašnieki, raksturojums? Protams, nē, tas ir tikai tas, ko parāda viņu niecīgais, neobjektīvais datu kopums. Ņemot vērā to, ka pat neiztur smaržas testu, tas būtu licis lielākajai daļai pētnieku apstāties, domājot, vai viņi iet nepareizā ceļā.

Pēc saviem datiem viņi varēja raksturot iPad kritiķus kā neiecietīgus, nepatīk labdarību un draudzību, agresīvus un ciniskus pusaudžus. Oho, tur nav pārsteigums - jums būtu jāķircina, vai dzimums vai vecums traucē šos rezultātus (un jāpiedāvā alternatīvs skaidrojums atzīmētajām iezīmēm). “Pētnieki” varēja raksturot arī iPad īpašniekus kā uz ģimeni vērstus, gudrus, ar augstu sasniegumu sasniegušus pieaugušos, kuri ir gan izdomas bagāti, gan izsmalcināti.

Bet viņi to nedarīja. Viņi mēģināja apkopot virkni atšķirīgu iezīmju pievilcīgās mārketinga frāzēs, lai izveidotu ziņu virsrakstus - frāzes, kas nebija ne īpaši precīzas, ne īpaši zinātniski pamatotas. Tas neapturēja desmitiem likumīgu, plaši izplatītu ziņu, piemēram, CNET, ZDNet un pat Wired, ziņot par rezultātiem, nepaceļot uzacis par zinātniskās stingrības vai metodes trūkumu.