Puolet suomalaisista pitää median kyselytutkimuksia epäluotettavina

Kuinka paljon suomalaiset juovat? Miten nuoret käyttävät aikansa? Kuinka moni suomalainen kannattaa Nato-jäsenyyttä? Viime aikoina vastaani on tullut poikkeuksellisen paljon uutistoimitusten omiin kyselytutkimuksiin perustuvia uutisia. Yle selvitti juomistottumuksia nettikyselyn avulla (Alkoholitutkija: Raittiit naiset alkavat olla historiaa) ja Helsingin Sanomat nuorten ajankäyttöä oman kyselynsä avulla (Teinien kesä menee yöllä kukkuessa ja netissä). MTV3:n uutistoimitus on puolestaan täyttänyt hiljaista uutiskesää teettämällä nettikyselyitä harva se päivä. Tuoreen selvityksen mukaan näihin median omiin kyselytutkimuksiin ei kuitenkaan luoteta. Mistä tämä johtuu?

kyselytutkimus

Kyselytutkimukset voivat olla hyödyllisiä uutisaiheita, mutta niiden kanssa on oltava hyvin varovainen, jotta ei tee liian vahvoja johtopäätöksiä liian heikolla otoksella. Voidaan toisaalta kysyä, mitä lisäarvoa on kyselytutkimuksesta, jonka tuloksia ei voida yleistää otoksen ulkopuolella. Kyselytutkimukset (myös laadukkaat) tulevat kuitenkin todennäköisesti lisääntymään, kun Googlen ”kyselymuurin” tyyliset tavat toteuttaa kyselytutkimuksia laskevat niiden kustannuksia huomattavasti.

Otannan ongelma

Itse sain uutta näkemystä kyselytutkimusten toteuttamiseen liittyviin haasteisiin tutkimusvierailuni aikana. Tutkimuslaitoksessa, jossa vierailin, ylläpidettiin ja kehitettiin yhtä Britannian suurinta pitkittäistutkimusta, jonka vuoksi siellä työskenteli taloustieteilijöiden ja sosiologien lisäksi kyselytutkimusten toteuttamiseen erikoistuneita tutkijoita. Seminaareissa ja kahvipöytäkeskusteluissa sain hieman kuvaa siitä, kuinka vaativaa työtä uskottavan kyselytutkimuksen tekeminen todella on. Tutkijoiden täytyy kiinnittää todella paljon huomiota kysymyksenasetteluihin, haastattelutapoihin ja otosvalikointiin, jotta tulokset olisivat yleistettävissä koko maan tasolle.

Median tekemät kyselyt eivät luonnollisesti kykene täyttämään tieteellisten kyselytutkimusten vaatimuksia. Otoskoot ovat monesti pieniä, mutta eniten haittaa on siitä, että otos on itsessään valikoitunut. Ylen omilla nettisivuilla alkoholikyselyyn vastaa hyvin valikoitunut otos. Samoin Helsingin Sanomien pääkaupunkiseudun nuorten kokoontumispaikoilla toteuttama nuorisokysely saa otoksekseen hyvin valikoituneen joukon nuoria. Molempien esimerkeiksi poimimieni juttujen eduksi on sanottava se, että niissä ei pyritäkään yleistämään kyselytuloksia otostaan laajemmalle tasolle. Jutuissa on myös yhteistä se, että niihin on haastateltu asiaan perehtyneitä tutkijoita vakuuttamaan, että kyselytulokset vastaavat ”oikeiden” tutkimusten tuloksia. Itselleni on siksi jäänyt hieman epäselväksi, mikä on näiden median omien kyselytutkimusten tuoma lisäarvo. Jos tulokset täytyy kuitenkin ”validoida” yhtenevyydellä oikeiden tutkimusten kanssa, niin eikö silloin riittäisi pelkkä tutkimustulosten referointi? Nyt tuntuu, että median omat kyselytutkimukset vastaavat lähinnä uutisten perinteisiä katuhaastatteluja.

Kyselymuurin avulla halpoja kyselytutkimuksia

Varmaan merkittävä syy omiin kyselytutkimuksiin on tilaustutkimusten hinta. Tutkimusyrityksillä toteutetut kyselytutkimukset eivät ole halpoja. MTV3:n uutistoimitus on ilmeisesti onnistunut laskemaan kyselytutkimusten kustannuksia rakentamalla oman pysyvän internetpaneelin, jonka avulla kyselytutkimukset toteutetaan. MTV3 onkin useimmiten yleistänyt kyselytutkimuksensa tulokset koskemaan koko kansan mielipidettä, joka vaatii melko vahvoja oletuksia internetpaneelin otannan osalta.

Google on kehittänyt ainakin itselleni uuden tavan toteuttaa kyselytutkimuksia. Google Consumer Surveys -palvelu toimii maksumuurin tavoin, mutta maksuna on vastaus kyselytutkimukseen. Eli esimerkiksi itse sain Englannissa asuessani Financial Timesin maksulliset uutiset luettavakseni, kun vastasin yhteen kyselytutkimukseen. Tutkijat maksavat Googlelle tuloksista (vastausmäärän mukaan) ja Google maksaa kyselyt sivuilleen ottaville yrityksille kävijämäärien mukaan. Tutkijan kannalta suurin rajoitus palvelussa on, että tutkimukseen saa laittaa vain yhden kysymyksen. Kyselyvastausten lisäksi tutkijat saavat tietää vastaajista mm. iän ja asuinpaikan (ilmeisesti IP-osoitteen ja evästeiden avulla). Googlen omien tutkimusten mukaan sen kyselytutkimukset antavat melko hyvin yleistettäviä tuloksia ainakin perinteisiin internetpaneeleihin verrattuna.

Suomen kannalta on valitettavaa, että ainakin toistaiseksi Googlen kyselytutkimuspalvelu on käytössä vain USA:ssa, Kanadassa ja Britanniassa. On toki huomioitava, että vaikka Google Survey -tyyliset palvelut tekisivät melko hyvin yleistettävissä olevien kyselytutkimusten tekemisestä selvästi nykyistä halvempaa, on kysymyksenasetteluun panostettava edelleenkin yhtä paljon aikaa ja harkintaa.

Näin kyselytutkimus toteutettiin

Kyselytutkimukset voivat kertoa ihmisten mielipiteitä tai tottumuksista. Ne ovat hyvin toteutettuna perinteistä uutisjournalismia. Uudet kyselymuurien kaltaiset keinot tekevät kyselytutkimusten tekemisestä entistä helpompaa ja halvempaa. Liika on kuitenkin liikaa ja nyt ainakin itselläni median toteuttamia kyselytutkimuksia on tullut vähän ylimäärin vastaan.

Paljon on kuitenkin menty eteenpäin niistä ajoista, kun iltapäivälehdet uutisoivat suomalaisten mielipiteistä omien nettikyselyidensä perusteella. Nykyisin journalistitkin tuntuvat tietävän, kuinka vaativaa kyselytutkimuksen tulosten yleistäminen on. Tästä esimerkkinä toimivat esim .Ylen ja HS:n kyselytutkimukset, joissa molemmissa tiedostetaan otantaan liittyvät rajoitukset.

Voisi olla aiheellista kysyä aina ennen kyselytutkimuksen toteuttamista, mikä on kyseisen kyselyn tuoma lisäarvo. Jos kyselytuloksia ei voida yleistää kyselyotoksen ulkopuolelle, niin mikä on silloin kyseiseen kyselytutkimukseen sisältyvä uutinen? On tärkeää olla avoin ja rehellinen sen suhteen, mitä johtopäätöksiä kyselyn perusteella voi tehdä.

Datajournalismiin pätee sama sääntö kuin tutkimuksiinkin, huonosta datasta ei saa hyvää lopputulosta.

—-

Otsikon tutkimustulos saatiin kyselytutkimuksella, joka toteutettiin eräässä espoolaisessa kotitaloudessa 29.7. Otokseen valikoitui neljä 1–34-vuotiasta henkilöä, joilta kysyttiin kuinka luotettavina he pitävät median omia kyselytutkimuksia. Disclaimer: Osa nuoremmista vastaajista ei ehkä ymmärtänyt kysymystä.

Advertisements

2 thoughts on “Puolet suomalaisista pitää median kyselytutkimuksia epäluotettavina

  1. Kiitos hyvästä kirjoituksesta.

    Itse painotankin aina kollegoille kun teemme näitä kyselyitä, että kyse on vastaavasta kuin jos tehtäisiin katugalluppia. Käytämme siis samaa vertauskuvaa 🙂 Toki näissä vastausten määrä on hyvin paljon suurempi, mutta ne eivät silti edusta millään tavalla esimerkiksi Suomen kansaa. Vastaajien määrä ei näissä kyselyissä useinkaan paranna otosta.

    Se mikä arvo näillä on ja miksi näitä tehdään niin toki vaihtelee tapauksittain, mutta yksi on ainakin sitouttaminen. Ihmiset pitävän ilmeisen paljon siitä, että se saavat osallistua erilaisiin kyselyihin ja antaa mielipiteensä asioihin. Kyselyt antavat tähän mahdollisuuden. Tämä siis vain yksi syy.

    Toisaalta kyselyillä voidaan saada selville sellaista tietoa mitä ei ole mistään kunnolla saatavilla tai edes olemassa kuten näissä esimerkeissä:
    http://yle.fi/uutiset/pyorailija_testaa_osaatko_liikennesaannot/6688871
    http://yle.fi/uutiset/nyt_etsitaan_suomen_parasta_uimarantaa__kerro_kartalla_missa_kannattaa_pulahtaa/6707163

    Suomalaisten alkoholinkäyttöön liittyneessä kyselyssä kyselyn avulla taas kerättiin osviittaa annosmääristä ikäryhmittäin ja sukupuolittain. Tätä ei tietoa meillä ei ollut juttua tehdessämme saatavilla tässä laajuudessa kuin kyselyssä keräsimme.

    Mutta tosiaan kuten sanot: ”On tärkeää olla avoin ja rehellinen sen suhteen, mitä johtopäätöksiä kyselyn perusteella voi tehdä.”. Allekirjoitan tämän täysin ja yritämme pitää tämän jatkossakin aina kirkkaana mielessä.

    Teemo Tebest
    Yle/PlusDesk
    http://yle.fi/uutiset/plus/

  2. Kiitos kommentista!

    Tuo kyselyjen tekeminen niihin vastaajien sitouttamiseksi ei ollut tullut itselleni mieleen. Journalismissa syyt kyselyjen tekemiseen voivat tosiaan olla aika erilaisia kuin tutkimusympäristössä.

    Kuten kirjoitinkin, niin nykyään tulee vastaan huomattavasti vähemmän huonoihin otoksiin perustuvia ”suomalaiset ovat mieltä x”-uutisia. Tässä on tapahtunut muutos parempaan suuntaan. Muistan että ainakin viisi vuotta sitten, kun opetin tilastotiedettä valmennuskurssilla, oli esimerkkejä harhaisista kyselytutkimusuutisista huomattavan helppo löytää.

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s