Tutkimusten käyttö Onnen Oikoteiden markkinoinnissa: Case AlphaBRAIN™

[Varoitus: teksti sisältää luvuilla argumentointia, mikä saattaa joillain aiheuttaa päänkivistystä ja pahoinvointia]

Aivovoimaa purkista, tieteellisesti?

Oman elämän “optimointi”, “biohakkerointi” ja mittaaminen ovat olleet tietyissä piireissä kovasti pinnalla viime vuosina (HS uutisoi aiheesta viimeksi torstaina). Koska mitä erilaisempia tutkimuksia käytetään elämänsä parantamisesta kiinnostuneiden köyhdyttämiseen, ajattelin kirjoittaa yhdestä esimerkistä:

Itsensä henkisestä ja fyysisestä kehittämisestä kiinnostunut ystäväni pyysi minua arvioimaan lisäravinnetta, joka lupaa tieteelliseen tutkimukseen perustuen parantaa keskittymiskykyä ja vireystilaa, auttaen saavuttamaan mielesi todellisen potentiaalin. En tiedä paljoakaan lisäravinteista, mutta Onnen Umpikujien koluamisesta minulla on pitkä ja opettavainen kokemus.

Netissä AlphaBRAIN on saanut paljon näkyvyyttä moniosaaja Joe Roganin hehkutuksesta johtuen. Pikainen googlaus näyttää, kuinka eräs bloggaaja kertoo lähes puolittaneensa “aivojensa iän” ja toinen saavuttaneensa upean unenlaadun. Tuotteen esittelyvideokin näyttää melkoisen vakuuttavalta:

Kuulostaa tietenkin hienolta, mutta ikävä kyllä väitteet hyödyistä osoittautuvat tarkemmassa tarkastelussa roskaksi. Siinä nyt ei sinänsä ole mitään uutta, mutta asian tekee huomionarvoiseksi se, että yrityksen itsensä tekemä poikkeuksellisen tieteellinen tutkimus näyttäisi tukevan samaa havaintoa. Keskityn alla tuohon mainittuun tutkimukseen – muita tuotteen markkinointikäytössä olevia tutkimuksia on ruodittu toisaalla.

Kurkistus konepellin alle – kuinka tutkimustuloksia luetaan

Onnit Labsin tiedote kertoo pilottitutkimuksen näyttäneen pienestä otoskoostaan huolimatta hyvin lupaavia tuloksia jatkotutkimuksia ajatellen. Seuraavaksi kerron, miksi tilanne oikeastaan on päinvastainen.

“The following are the results of the Proof of Concept for a Randomized, Double Blind, Placebo Controlled, Parallel Group, Efficacy Study of Alpha BRAIN™ Administered Orally”

Taulukko alla tiivistää tutkimuksen tulokset. Tässä pelissä on kyse siitä, löydetäänkö ryhmien välillä eroja, joiden voidaan sanoa olevan niin suuria, että olisi epätodennäköistä että ne johtuisivat sattumasta. Mitä taulukko kertoo?

  • M tarkoittaa keskiarvoa, tulosmuuttujia on yhteensä 16 vaikeasti lausuttavaa kirjainyhdistelmää, joilla tarkoitetaan henkistä suoriutumiskykyä mittaavia testejä.
  • ”Tilastollisesti merkitsevät erot” (suure, joka ei kerro merkityksestä käytännön elämälle mitään) näkyvät sinisellä. Plasebo- ja AlphaBRAIN-ryhmien välillä eroja löytyi kahdella muuttujalla (ks. sarake ”+45 days”).
  • Tutkijat antavat ns. p-arvoksi <0.05. Tämä merkitsee sitä, että jos havaitaan vaikutus jollain noista testeistä, on vain 5% mahdollisuus, että tulos on sattuman tuotosta, jos vaikutus on olemassa.

Tästä voi edelleen päätellä, että keskimäärin joka kahdeskymmenes testi (5% x 20 = 100%) puoltaa AlphaBrain-ryhmää silloin, kun vaikutusta ei todellisuudessa ole. Pikaisella laskutoimituksella todennäköisyys saada 1-3 ”osumaa” (eli muuttujaa, joissa näkyy ”vaikutus”) sattuman (vs. tuotteen) vaikutuksen vuoksi on n. 20%. Toisin sanoen, joka viides kerta kun tutkijat olisivat arponeet tulokset, he olisivat saaneet eroja 1-3 testissä (ja mehän emme tiedä, kuinka monta tutkimusta haudattiin, ennen kuin tämä julkaistiin).

“[T]hese preliminary data do indicate the potential for efficacy in several areas of cognitive functioning”

TuloksetKatso seuraavaksi saraketta ”Baseline”. Siinä näkyvät tulokset silloin, kun molemmat ryhmät on popsineet kaksi viikkoa lumepillereitä ennen varsinaisen kokeen alkamista. Eroja näkyy kolmella muuttujalla, mutta yhdessäkään näistä ei ero näy enää seuraavalla mittauskerralla! Toisin sanoen, testit antavat hyvin vaihtelevia tuloksia, ja sattumalla on iso vaikutus tuloksiin, koska muuttujia on niin monta (16 kpl).

Tuomio: tutkimuksen tuloksista on vaikea innostua hyvällä tahdollakaan, koska samat tulokset olisi ihan hyvin voinut saada smartieseja popsimalla (paitsi että niissä on sokeria, joka varmaankin aiheuttaa hetkellistä boostia).

Pienestä otoskoosta johtuen ei kuitenkaan voida tietää, etteikö tuolla valmisteella esim. olisi vain pientä vaikutusta, tai vaikutusta joihinkin tiettyihin alaryhmiin niin, että joihinkuihin se vaikuttaa kovasti ja toisiin aivotehoja heikentävästi, jolloin keskiarvovaikutus on nolla. Luvatut lisätutkimuksetkaan tuskin valaisevat käytettyihin menetelmiin liittyviä kysymyksiä (p-arvojen luovasta ronkkimisesta löytyy lisätietoa täältä).

Oli miten oli, esitutkimusluonteestaan huolimatta tapaus toimii oppikirjaesimerkkinä siitä, kuinka markkinointipuhe (niin tieteellisissä artikkeleissa kuin tiedeuutisoinnissakin) usein poikkeaa täysin lukujen kertomasta tarinasta.

2 thoughts on “Tutkimusten käyttö Onnen Oikoteiden markkinoinnissa: Case AlphaBRAIN™

  1. Hei,

    voisitko vielä täsmentää, mikä on “Pikainen laskutoimitus” jolla saadaan että “todennäköisyys saada 1-3 ”osumaa on n. 20%”?

    En omalla todennäköisyyslaskennallani saa lainkaan tuollaista. 16 tapahtumaa, P(osuma)=0,05 ja “huti” on 0,95.

    • Mainio huomio, kiitos;

      Laskutoimitus on ollut näköjään turhankin pikainen. Binomijakaumasta laskettuna P(1 osuma)=0,37 + P(2 osumaa)=0,15 + P(3 osumaa)=0,04 -> P(1-3 osumaa)=0,56 -> todennäköisyys saada 1-3 osumaa olisi n. 56 %.

      Oletko samaa vai eri mieltä?

      [edit: samalla laskutoimituksella todennäköisyys saada 2 tai useampi osuma = n. 19%]

Comments are closed.