Partiju un skolu klasifikācija ir neobjektīvs, sevi piepildošs pareģojums?
Prinstonas apskats publicē ikgadējos “Best of…” koledžu sarakstus, kuru pamatā ir tiešsaistes aptauja par katras koledžas studentiem. Aptaujas procesu viņi raksturo kā:
Princeton Review aptauja studentiem uzdod 80 jautājumus par viņu skolas akadēmiķiem / administrāciju, universitātes pilsētiņas dzīvi, studentu loku un sevi. Šī izdevuma reitinga rādītāji ir balstīti uz 120 000 studentu (apmēram 325 vienā universitātes pilsētiņā) aptaujām grāmatas 366 skolās (ne visās tautas skolās) 2006. – 2007. Gadā un / vai divos iepriekšējos mācību gados.
Tas viss izklausās labi un labi, līdz izlasāt smalko druku:
Mūsu aptauja ir kvalitatīva un anekdotiska, nevis kvantitatīva. Lai pasargātu no uzrakstīšanas, kas nevienai konkrētai koledžai nav piemērots, mēs katras skolas administratīvajam kontaktpersonai nosūtām tā profila kopiju, kuru plānojam publicēt, ar plašu iespēju atbildēt ar labojumiem, komentāriem un / vai tieši iebildumi. Katrā gadījumā, kad mēs saņemam izmaiņu pieprasījumus, mēs rūpīgi rīkojamies, lai pārskatītu skolas ieteikumus, salīdzinot ar mūsu apkopotajiem skolēnu aptaujas datiem, un, ja nepieciešams, veicam atbilstošas izmaiņas.
Mums visvairāk ir saistošs tas, cik reprezentatīvi ir mūsu aptaujas rezultāti: mēs lūdzam studentus, kuri piedalās aptaujā, pēc tam, kad viņi to ir pabeiguši, pārskatīt informāciju, kuru mēs par viņu skolu publicējām iepriekšējā gadā, un novērtēt mūs par tās precizitāti un pareizību. derīgums. Gadu no gada mēs esam ieguvuši augstus novērtējumus: šogad 81 procents studentu teica, ka mums bija taisnība.
Tāpēc būtībā viņi atzīst, ka viņu aptaujas dati ir domāti, lai sniegtu subjektīvu, stāstošu priekšstatu par koledžām - nevis no tā, no kā jūs varat gūt plašu vispārinājumu. Un tomēr tieši tas ir Prinstonas apskats iegūst ar saviem datiem - no saviem apsekojumiem iegūst vispārīgus vispārinājumus un kvantitatīvi sarindo koledžas. Pašas koledžas var radīt zināmu nezināmu papildu ietekmi uz to, vai viņu skola ir iekļauta kādā sarakstā.Ja vērtēšanas process šķiet mazāk caurspīdīgs un noslēpumains, tas ir ar nolūku.
Kā pētnieki var pārvērst anekdotiskos datus par kvantitatīviem datiem? Nu, zinātniski jūs to nevarat (piemēram, nav uz pētījumiem balstītas procedūras, lai to izdarītu, jo tas burtiski ir ābolu vai apelsīnu salīdzinājums). Kad šāda organizācija dara kaut ko šāda veida, jūs varat izteikt argumentu, ka jebkura šāda klasifikācija ir tikai to cilvēku viedoklis, kuri sastāda sarakstu, pamatojoties uz citu cilvēku viedokli par tiem, kas faktiski ir apmeklējuši skolu.
Tas viss būtu labi, izņemot to, ka Pārskatīšana visu šo lietu ievieto sarakstos, kas liek domāt, ka tiem ir vispārējama nozīme, ja to nav. “Top 20 ballīšu skolu” saraksts ir nekas cits kā dažu cilvēku viedoklis, kas balstīts uz “aptaujas jautājumu kombināciju par alkohola un narkotiku lietošanu, mācību stundām katru dienu un Grieķijas sistēmas popularitāti”. Viņi varēja tikpat viegli izvēlēties atšķirīgu atbilžu kopumu, lai skatītos uz skolu vērtējumu, kas būtu atšķirīgs.
Lielākas skolas ar lielākām studentu grupām, visticamāk, būtiski neatšķiras pēc to grieķu sistēmas lieluma (lielā) un to sociālo un citu neakadēmisko iespēju daudzveidības, kuras tās piedāvā saviem skolēniem (kā rezultātā katru dienu mazāk stundu) . Vai tas padara šādu skolu, visticamāk, “ballīšu skolu”, ja to apvieno ar skatīšanos, ko studenti saka, cik daudz viņi dzer? Protams, nē. Tas var vienkārši nozīmēt, ka skola ir lieliska vieta, kur mācīties un socializēties.
Pagājušās nedēļas nogalē APS prezentētais plakāts ar nosaukumu “Pašizpildošie pareģojumi un Prinstonas pārskats: dzeršanas apraksti vai receptes koledžā?” ielieciet man galvā ieteikumu, ka pasākumi, piemēram, Prinstonas apskats ir kaut kāds apšaubāms derīgums. Pētnieki aplūkoja faktiskos alkohola lietošanas datus desmit gadu laikā par vienu vidēja lieluma universitāti Ņujorkas rietumos un salīdzināja tos ar dažādiem saistītiem reitingiem Prinstonas apskats. Viņi atrada klasifikāciju Prinstonas apskats nav sistemātiskas korelācijas ar kādu no viņu pārbaudītajiem alkohola lietošanas datiem. Viņi atklāja, ka alkohola patēriņa dati korelēja ar publicētajiem reitingiem pēc to publicēšanas, kas liek domāt par sava veida piepildījumu.
Pētnieki atzīmēja, ka, tā kā viņu pētījums tika veikts tikai vienā universitātē, pētījums būs jāatkārto citās koledžās un universitātēs, lai varētu vispārināt no secinājumiem. Tomēr secinājumus ir interesanti atzīmēt.
Atsauce:
Klārks, C.D. et. al. (2008). Pašpiepildoši pareģojumi un Prinstonas apskats: apraksti vai receptes dzeršanai koledžā? Plakāts prezentēts Psiholoģisko zinātņu asociācijas 20. ikgadējā kongresā, Čikāgā, IL, 24. maijā.
