アンケート調査の落とし穴 ー数字にだまされるな―
准教授 牧野 好洋 (計量経済学、経済統計)
ある授業で、「仏(=優しい)」と呼ばれる教員が以下のように話しました。
「この授業では、受講者の8割に合格を出します」
学生は大喜びです。
「簡単に合格できそう。この授業を履修しよう」
一方、他の授業では、「鬼(=厳しい)」と呼ばれる教員が以下のように話しました。
「この授業では、受講者の2割に不合格をつけます」
学生はがっかりです。
「えっ。不合格になりそう。この授業の履修をやめよう」
学期初めに教室で見られそうな光景です。でも本当に前者の教員は仏で、後者の教員は鬼でしょうか。違いますね。どちらも成績のつけ方は同じ(8割が合格、2割が不合格)です。
「客観的」と思われている数字ですが、このように伝え方ひとつで印象ががらりと変わります。数字はときに「主観的」です。
人は数字にころりとだまされることがあります。アンケート調査に関連する小話を2つ、あげましょう(以下はいずれも作り話です。実話ではありません)。
ある授業で、「仏(=優しい)」と呼ばれる教員が以下のように話しました。
「この授業では、受講者の8割に合格を出します」
学生は大喜びです。
「簡単に合格できそう。この授業を履修しよう」
一方、他の授業では、「鬼(=厳しい)」と呼ばれる教員が以下のように話しました。
「この授業では、受講者の2割に不合格をつけます」
学生はがっかりです。
「えっ。不合格になりそう。この授業の履修をやめよう」
学期初めに教室で見られそうな光景です。でも本当に前者の教員は仏で、後者の教員は鬼でしょうか。違いますね。どちらも成績のつけ方は同じ(8割が合格、2割が不合格)です。
「客観的」と思われている数字ですが、このように伝え方ひとつで印象ががらりと変わります。数字はときに「主観的」です。
人は数字にころりとだまされることがあります。アンケート調査に関連する小話を2つ、あげましょう(以下はいずれも作り話です。実話ではありません)。
- ある広告に以下の文章が載せられていました。この製品をよく購入するお客様に、本製品の満足度をアンケート調査したところ、90%のお客様が「満足」と回答しました。この広告を見た人は以下のように考えました。お客さんの90%が満足しているのか。きっと素晴らしい製品なんだな。自分も満足できそうだ。これを購入してみようかな。
- あるアンケート調査で「外食の頻度」と「生活の満足感」を尋ねました。後者については「満足している」場合に5を、「満足していない」場合に1を回答してもらいました。調査結果を集計したところ、以下の図1を得ました。
図1を見た人は以下のように考えました。
外食をよくする人は生活により満足しているんだな。自分も生活の満足感を高めたいから、外食の回数を増やそう。
さらりと聞けば、これら2つの小話になんらおかしな点はありません。しかし、冷静に考えると、それぞれに「落とし穴」があります。皆さんは以下の事柄に気づきましたか。
外食をよくする人は生活により満足しているんだな。自分も生活の満足感を高めたいから、外食の回数を増やそう。
さらりと聞けば、これら2つの小話になんらおかしな点はありません。しかし、冷静に考えると、それぞれに「落とし穴」があります。皆さんは以下の事柄に気づきましたか。
- その製品の購入者はそれに満足しているから、その製品をよく購入しているのです。不満足であれば、それをわざわざ何度も買いませんね。その製品をすき好んで買う人たちに満足度を尋ねたら、多くの人が「満足」と答えるのは当たり前です。
- アンケート調査で分かったことは、外食の頻度と生活の満足感の間に見られる「相関関係(=つながり)」です。どちらが原因で、どちらが結果かという「因果関係」は不明です。
前述のように、外食をよくする人は外でおいしいものをよく食べており、その結果、生活に満足しているのかもしれません(この場合の因果関係は「外食→満足感」)。しかし逆も考えられます。生活に満足している人は生活にゆとりがあり、その結果、外食をよくしているかもしれません(この場合の因果関係は「満足感→外食」)。
因果関係が後者であった場合、生活に窮している人が、生活の満足感を上げようと外食の回数を増やしても、それを上げることはできませんね。むしろ、生活により窮してしまいます。
さらにもう一歩踏み込むと、以下のことも考えられます。
図1には明示されていませんが、図2のように「外食の頻度」と「生活の満足感」はそれぞれ「所得」と相関している可能性があります。このとき所得が高い人は外食の頻度、生活の満足感がともに高く、逆に所得が低い人は外食の頻度、生活の満足感がともに低くなりますね。
その結果、外食の頻度と生活の満足感の間に直接的な相関がなくても、所得により「見せかけの相関」が作り出されます。この相関は、その背後にある「所得」が作り出しています。そのため所得を一定としたまま、外食の頻度を無理に上げても、生活の満足感を上げることはできません。
数字を見たら、それをそのまま受け入れてはいけません。その数字はどのように作られたのかな、またその数字を別の角度から見ることはできないかな、とちょっと考えてみることが必要です。
数字を見たら、それをそのまま受け入れてはいけません。その数字はどのように作られたのかな、またその数字を別の角度から見ることはできないかな、とちょっと考えてみることが必要です。