Mehāniskais turks psiholoģijas pētījumu glābšanai?

Viena no psiholoģijas pētījumu problēmām - patiešām ar visiem medicīniskajiem pētījumiem - ir pietiekami daudz piemērotu priekšmetu atrašana studēšanai. Lai pētniecības rezultāti būtu vispārināmi, priekšmeti jāiegūst tādā veidā, kas reprezentē visu sabiedrību.

Kas ir reāla problēma, jo, kā es atzīmēju tālajā 2010. gada augustā, burtiski ir tūkstošiem psiholoģijas pētījumu, kuru pamatā ir nekas vairāk kā bariņš studentu no viena universitātes pilsētiņa ASV universitātē. Ja jaunie pieaugušie, kas apmeklē koledžu, var patiešām palīdz mums saprast dažus cilvēka uzvedības aspektus, jūs nevarat tikai pieņemt, ka uzvedība, kuru novērojāt šajos pētījumos, attiecas arī uz 60 gadus vecām sievietēm un vīriešiem.

Lai glābtu, dodieties uz Amazon.com pakalpojumu Mechanical Turk. Vai tehnoloģijas var palīdzēt atrisināt problēmu, kas saistīta ar to, ka tiek atrasts pietiekami daudz cilvēku, kas vairāk pārstāv iedzīvotājus, un darīt to rentablā veidā?

Vispirms tas var palīdzēt saprast, kas ir Mehāniskais turks. Tas ir tiešsaistes tirgus laukums, kas ļauj pārdevējiem iegādāties cilvēka darbu par ļoti lētām izmaksām kāda veida tiešsaistes uzdevumam. "Vietne lepojas ar lielu, daudzveidīgu darbaspēku, kurā ir vairāk nekā 100 000 lietotāju no vairāk nekā 100 valstīm un kuri katru dienu veic desmitiem tūkstošu uzdevumu," atzīmē pētnieki. Šie darbinieki par katru uzdevumu saņem atsevišķu atalgojumu, dažreiz pat 1 centu. Uzdevumi ir dažādi, un tie var darīt visu, sākot no vietnes pārlūkošanas, meklējot kļūdas, līdz aptauju aizpildīšanai.

Ak jā, aizpildot aptaujas. Daudzi psiholoģijas pētījumi ir balstīti uz to, ka cilvēki aizpilda aptaujas. Vai nebūtu jauki, ja mēs ļautu cilvēkiem - cilvēkiem, kuri nebija koledžas studenti - to darīt par mazāk nekā 10 ASV dolāriem vienā aptaujā ... Sakiet, 10 centi?

Buhrmester et al. (2011), lai noskaidrotu, vai šādi mehāniski turku cilvēki aizpildīs aptaujas tādā veidā, kas atbilst cilvēkiem, kurus jūs varētu lūgt darīt kaut ko līdzīgu klātienē.

Pirmkārt, pētnieki aptaujāja 3006 “Mechanical Turk” dalībnieku demogrāfiju un salīdzināja tos ar lielu interneta izlasi, kas nav iegūta no “Mechanical Turk”. Viņi atklāja, ka Mehāniskā turka (MTurk) dalībnieki bija daudzveidīgāki nekā gan interneta izlase, gan standarta koledžas studentu populācijas izlase.

Tad viņi pārbaudīja dažādus cenu punktus (2, 10 un 50 centus), lai aizpildītu dažādu laiku (5, 10 un 30 minūtes) ilgus apsekojumus. Tas, ko viņi atrada, nevajadzētu pārsteigt ikvienu, kurš ir lietojis MTurk:

Šīs analīzes liecina, ka dalībniekus var pieņemt darbā ātri un lēti. Dalības līmenis ir atkarīgs no kompensācijas summām un laika saistībām, taču mūsu atklājumi parāda, ka ar MTurk palīdzību ir iespējams savākt pienācīga izmēra paraugus tikai par dolāriem. Pat piedāvājot tikai 2 centus par 30 minūšu uzdevumu, mēs uzkrājām 25 dalībniekus (apmēram 5 stundu laikā pēc norīkojuma). Turklāt, nedaudz palielinot kompensāciju (piemēram, līdz 50 centiem), mēs spējām iegūt tādu pašu dalībnieku skaitu mazāk nekā 2 stundu laikā pēc norīkojuma.

Ko gan nozīmē lēts darbaspēks, ja tas nav kvalitatīvs un neatbilst psiholoģijas pētniekiem nepieciešamajiem psihometriskajiem standartiem?

Pētnieki atklāja, ka pat zemākajā kompensācijas līmenī, kas ir 2 centi, maksājumu līmeņi, šķiet, neietekmē datu kvalitāti. Pētnieki var maksāt santīmus par aptauju aizpildīšanu un droši saņemt labas kvalitātes datus.

Pētnieki aprēķināja vidējos alfa ticamības rādītājus visos kompensācijas līmeņos sešām personības anketām, kuras viņi administrēja tiešsaistē. Viņi atklāja, ka MTurk alfa rādītāji bija divās simtdaļās no tradicionālā parauga alfas punkta. Viņi arī pārbaudīja testu-atkārtotu ticamības rādītājus un atrada vidējo r = 0,88 ar 60 procentu atkārtotas pabeigšanas līmeni. Tie visi ir ļoti labi skaitļi, un tos var salīdzināt ar tradicionālajām metodēm.

Šī pētījuma rezultāts liecina, ka Mechanical Turk ir uzticama alternatīva koledžas iedzīvotāju izmantošanai aptaujas datu iegūšanai - un tā var būt pat labāka alternatīva nekā tradicionālās interneta aptaujas. Tikai par santīmiem cilvēki aizpildīs pat garas anketas, cenšoties palīdzēt citiem viņu projektos un pētījumos. Kaut arī ir jāveic vairāk pētījumu, lai apstiprinātu šos atklājumus, MTurk, šķiet, ir tirgus, kurā jāapsver vairāk psiholoģijas pētnieku, gatavojot nākamo pētījumu.

Atsauce

Buhrmester, M., Kwang, T., & Gosling, S.D. (2011). Amazon’s Mechanical Turk: Jauns lētu, tomēr augstas kvalitātes datu avots? Psiholoģisko zinātņu perspektīvas, 6. panta 1. punkts, 3. – 5.

Šajā rakstā ir iekļautas saistītās saites uz Amazon.com, kur Psych Central tiek samaksāta neliela komisija, ja tiek iegādāta grāmata. Paldies par atbalstu Psych Central!