Liekot priekšā zinātnei: TweetPsych

Jauns pakalpojums, ko šonedēļ uzsāka tīmekļa izstrādātājs Dan Zarrella ar nosaukumu TweetPsych. Zarrella ir arī tiešsaistes mārketinga firmas HubSpot mārketinga vadītāja. Zarrella sevi dēvē par “zinātnieku”, jo es domāju, ka tas izklausās seksīgāk nekā “tīmekļa izstrādātājs” vai “mārketinga vadītājs”, taču viņš neuzskaita nevienu akadēmisko akreditācijas rakstu. (Es neminētu zinātnieka vai akreditācijas rakstu daļu, izņemot to, ka Zarrella izsaka konkrētus zinātniskus apgalvojumus par savu jauno dienestu.)

Jaunais interesantais pakalpojums tiek tirgots kā tāds, kas piedāvā “psiholoģisko profilēšanu”, pamatojoties uz to, ko jūs ievietojat vietnē Twitter. Bet tas patiesībā ir tikai satura analīzes pakalpojums, izmantojot divas psiholoģiskās vārdnīcas un jūsu iepriekšējos 1000 tvītus. Zarrella apgalvo, ka šī analīze “veido cilvēka psiholoģisko profilu”. Īsta psiholoģiskā profilēšana ir zinātne, un to parasti veic ar daudz vairāk nekā tikai vienu cilvēka dzīves gabalu (piemēram, ar to, ko viņi raksta mikroblogošanas pakalpojumā). Tad TweetPsych izvirza pretrunīgu apgalvojumu, ka tas ir paredzēts tikai "izklaides nolūkiem". Kurš tas ir?

Arī vienā no vārdnīcām, ko Zarrella izmanto analīzē, ir problēmas. Viena vārdnīca - LIWC - ir derīga psiholoģiskās lingvistikas datu bāze. Bet otrs, angļu valodas regresīvo attēlu vārdnīca (RID), ir daudz mazāk. RID veido aptuveni 3200 vārdi un saknes, kas piešķirtas 43 domu un garastāvokļa kategorijām. Galvenā RID problēma ir tā, ka būtībā tam nav pētījumu atbalsta (neskatoties uz to, ka Zarrella citē vietni, šķiet, it kā tā būtu). To izstrādāja viens profesionālis, kurš pēc tam rakstīja kaudzi grāmatu par to un citiem psihoanalītiskajiem procesiem. Grāmata nav tas pats, kas recenzētu pētījumu žurnāla raksts (kā zinātnieki zina), un RID pilnībā trūkst empīriska atbalsta. Tas liek domāt, ka puse analīzes nav derīga, pirms mēs pat sākam.

Otrā vārdnīca, Linguistic Enquiry and Word Count (LIWC), galvenokārt balstās uz rakstīto vārdu - cilvēku rakstiem - vai runāto vārdu, piemēram, uz terapijas sesiju vai divu cilvēku sarunu. Tas netika izstrādāts, lai analizētu mākslīgi īsus 140 rakstzīmju ierakstus, piemēram, tos, kas atrodami čivināt. Čivinot, rakstzīmju skaita ierobežojuma dēļ cilvēki saīsina vārdus, un nav skaidrs, ka vienkārša izveide precīzi analizēs visus vārdus, kas rakstīti ar nestandarta saīsinājumiem lidojuma laikā. Kā ir ar atkārtotiem tvītiem? Persona, kas kaut ko retweet, ne vienmēr "runā", bet tā vietā darbojas kā rupors kāda cita vārdiem. Vai dienests atšķir? Nezinot problēmas apmēru, jums nebūtu ne jausmas, vai jūsu analīze ir kaut kādā veidā mākslīgi neobjektīva (ja vien jūs vispirms īpaši nepētījāt šāda veida jautājumus). Šīs problēmas ir adresējamas, taču šajā pakalpojumā tās nav risinātas.

Zarrella spēja dažu sekunžu laikā ātri analizēt 1000 tvītus un salīdzināt visu tajos esošo tekstu ar šīm divām vārdnīcām ir apbrīnojama valodas programmēšanas varoņdarbs. Tad izaicinājums ir šāds: "Kā es varu pārdomāti, intuitīvi un rīkoties analīzes rezultātus?" Šī ir tā daļa, kuru TweetPsych vienkārši neizdodas piegādāt.

Tā kā Zarrellai acīmredzot ir maz psiholoģijas fona, psiholoģijas rezultāti ir diezgan neapmierinoši. Jūs saņemat sarakstu ar “funkcijām” (jūsu personību? Jūsu čivināt?), Kas ietver tādas lietas kā “Nodarbošanās un darbs”. Blakus tam ir noderīgs apraksts: “Jūs daudz runājat par darbiem un savu darbu” un rezultāts.

Gee, paldies par lielisko ieskatu.

Jums nav ne jausmas, ko nozīmē rezultāts, jo tam nav konteksta. Vai darbs 47,87 ir labs vai slikts? Cik vidēji? Citas funkcijas ietver “Pašreizējais laiks”, “Kustība augšup”, “Pozitīvas emocijas”, “Negatīvās emocijas” un trīs desmiti citu kategoriju.

Šī analīzes daļa, kuras pamatā ir LIWC, ir arī tikpat laba kā LIWC pamata vārdnīca. Lai gan tādas kategorijas kā darbs, sasniegumi un brīvā laika pavadīšana ir “aktuālas bažas”, kuras LLK var identificēt, tai nav kategoriju, piemēram, “attiecību problēmas”. Bet jūs to nezināt, ja vien nezināt LIWC. Tas varētu būt kaut kas, ko jūs pieminējat cilvēkiem, kuri veic analīzi. Cits populārs aktuāls saturs, kas regulāri tiek tweetēts, piemēram, politika, tehnoloģijas un slavenība, arī nav LIWC sastāvdaļa. Tātad atkal viņi nekad netiks parādīti analīzē, pat ja tas ir viss, par ko jūs runājat. Tātad informācija, ko LIWC un, paplašinot, TweetPsych, var sniegt, ir ierobežota. (Pielāgotas vārdnīcas izmantošana atrisina dažus no šiem jautājumiem, taču tā nav vārdnīca, ko piedāvā TweetPsych.)

RID “primārajam, konceptuālajam un emocionālajam saturam” nav absolūti nekādu aprakstu, un atkal nekas neliecina par jūsu rezultātiem jebkura veida kontekstā vai izpratnē. Bet, tā kā iesākumā tā nav zinātniska vārdnīca, jūs tik un tā varat diezgan ignorēt rādītājus. Tos varēja izstrādāt nejauši un sniegt tikpat noderīgu informāciju.

Pašreizējās analīzes pēdējā daļa ir “Citi kā jūs”, kas ir jebkura sociālo tīklu pakalpojuma sastāvdaļa. Interesanti, ka šī komponenta trūka šī rīka pirmajā versijā. Balstoties tikai uz to, ko jūs čivināt, tas apgalvo “Daži cilvēki, kas domā tāpat kā jūs”, un pēc tam sniedz jums sarakstu ar citiem cilvēkiem, kuri ir apmeklējuši TweetPsych un ievadījuši savu lietotājvārdu, lai tos analizētu.

Protams, tā ir nē cilvēki, kas domā tāpat kā jūs - tie ir cilvēki, kas čivina kā jūs. Tā ir svarīga atšķirība. Pakalpojums, kas analizē nelielu daļu no tā, ko jūs rakstāt katru dienu, un, pamatojoties uz analīzi, kuru, iespējams, pieļāvis trūkums, plaši lietojot abonentus, noteikti nevar apgalvot, ka analizējat to, ko jūs rakstāt padomā.

Cik uzticama ir TweetPsych? Nu, šodien, rakstot šo rakstu, es pamanīju, ka visi paša Dena Zarrellas rādītāji mainījās viena tvīta dēļ (viņš šodien čivināja tikai vienu reizi). Viņa “nodarbošanās un darba” rādītājs samazinājās par 20%, bet “pašreizējā laika” rādītājs pieauga par 16%. Viņa abstraktās domas rezultāts samazinājās par 16%. Kā tas viss varēja notikt tikai no viena tvīta? Vienam tvītam - salīdzinot ar 999 citiem viņa tvītiem - nevajadzētu būt iespējai tik ļoti ietekmēt viena cilvēka rezultātu. Ja vien nenotiek kas cits.(Salīdziniet zemāk redzamo ekrānuzņēmumu, kas uzņemts plkst. 14.55 pēc ET, ar iepriekš redzamo, kas uzņemts šodien plkst. 9.00 pēc ET.)

Mani rezultāti, analizējot Zarrella iepriekšējos 1000 tvītus LIWC2007 programmā, parāda kaut ko ļoti atšķirīgu. Es nezinu Zarrella metodoloģiju (tā kā viņš to nedalīja), bet es paņēmu viņa iepriekšējo 1000 tvītu tekstu un apstrādāju tos divos veidos, izmantojot LIWC - kātu un "kā tas ir". Neviens no šiem izstrādājumiem nerada neko tuvu tam, kas parādās vietnē TweetPsych. Tas varētu būt saistīts ar to, ka viņš izmanto vecāku vārdnīcas versiju vai kādu pārveidošanas mainīgo, ko viņš pievieno TweetPsych, un kuru viņš neatklāja. Šīs LIWC2007 analīzes rezultātus varat apskatīt šeit. (Es esmu izcēlis ar dzeltenām lietām, kuras ir izcēlis TweetPsych, un zaļā krāsā citas jomas, kuras TweetPsych vairs neizceļ; ņemiet vērā ievērojamo punktu skaita atšķirību.) Tomēr tas liek aizdomāties, kas tieši notiek ar pakalpojumu. Ja tā psihometriskā ticamība un derīgums ir apšaubāms, cik noderīga tā ir?

TweetPsych saņem daudz pozitīvas preses, tikai nedaudz skeptikas. "CNet" Josh Lowensohn rakstīja par pakalpojumu un tikai garāmejot atzīmēja: "Tas padara to mazāk par psiholoģiju un vairāk par jūsu personīgo leksiku, bet rezultāti joprojām ir diezgan jautri. ” Jā, jautri! Bens Patersons pārgāja vietnē Yahoo! Tech teica: "Diemžēl psiholoģiskie profili, ko izsniedz TweetPsych, nav sakarīga, stāstoša dažādība, kuru jūs varētu dzirdēt no pastāvīgā psihiatra par tēmu" Likums un kārtība: noziedzīgs nodoms "." Tomēr tas nav daudz noderīgāks sakarīgs stāstījums. nekā dažas neraksturīgas kategorijas? Neviens no reportieriem, kā arī oriģināls raksts par Mashable (kur, pārsteigums !, Zarrella ir līdzautors), neņem vērā Zarrella piedāvātā psiholoģijas fona trūkumu. Neviens nesaistīja punktus, kāpēc rezultāti to interpretācijā ir tik neapmierinoši. Acīmredzot tehnoloģiju žurnālisti lieliski pārdala paši savus pozitīvos paziņojumus presei, bet ne tik lieliski, ka ir reāli žurnālisti, kuri rakņājas par apgalvoto šāda pakalpojuma zinātni.

Protams, pats Zarrella atzīst, ka nav daudz domājis par dienestu, kā viņš teica NY Post"" Cilvēkiem vienkārši patīk salīdzināt sevi ar citiem cilvēkiem un mēģināt "iekļūt" citu cilvēku galvās, "saka Zarrella. "Tas ir tāpat kā būt mušai uz sienas terapijas sesijā." "Terapijas sesija? Vai tiešām ir tik saprotoši atrast kādu, kurš runā par “kustību augšup”? Steidzoties nodot pakalpojumu tiešsaistē, Zarrella acīmredzot nekad neuzdeva jautājumu: "Vai kāda no šīm ziņām patiešām ir noderīga?" Dienests, kāds tas ir šodien, ir nepabeigta doma, kuru maz apmeklēs.

Neskatoties uz ierobežojumiem, TweetPsych ir pavēris durvis nākamajiem pakalpojumiem, kas faktiski sniedz izmantojamu, noderīgu un praktisku informāciju, kurai, iespējams, būtu lielāka derīguma termiņš. Iedomājieties, ka ņemat ne tikai personas tvītus, bet arī informāciju, kas atrodas viņu Facebook profilā, emuārā utt., Un vai tas viss tiek ievietots vienā milzīgā analīzes dzinējā ... Tad šāds dzinējs varētu būt spējīgs sniegt patiesu psiholoģisku ieskatu par indivīdu ņemot vērā to, ko viņi saka tiešsaistē.

Līdz tam laikam mums ir tādi pirmkursnieku centieni kā TweetPsych, kas patiešām būtu jāsauc par “TweetFun!” Tā kā, lai gan ar to patiešām ir jautri spēlēt, tas ikvienā cilvēkā sniedz nelielu psiholoģisku ieskatu - izņemot seklāko.

(Šeit varat izlasīt Tailera Heisa papildu problēmas saistībā ar TweetPsych.)