今回のテーマは「一般化とサンプルの偏りに気を付けて」である。引用から話を始めよう。
ルール８：代表的な例を的確に選択する
いくら数多くの例を挙げても、一般化される対象を代表するには十分でない場合もあるだろう。
個人的な「サンプル」が、実際にはまるで「代表的」とは言えないということは見逃されがちである。実のところ、多くの人々を代表するようなサンプルはまず存在しない。それなのに、私たちはしばしば人々をグループとして一般化しようとする。例えば、「人間性」について語ったり、選挙の際の投票行動について述べたりする。
代表的サンプルを手に入れるために専門家の助けを借りることも多いが、そうした専門家が実施する調査でさえ、誤った結果を予測する場合がある。例えば電話による世論調査は、携帯電話番号の情報を得られないために固定電話を対象としていた。だが、現在では固定電話の所有者は一部に限られ、しかもその人々は代表的な層ではなくなってきている。
基本的には、一般化しようとしている母集団の最も的確な断面図を探そう。
サンプルが人間である場合、さらに基本的なポイントは、調査対象者が参加の有無を自己選択できてはいけないということだ。すなわち、答えるかどうかを対象者自身が選択できるオンラインやメールでの調査は、真っ先に除外される。進んで自分の意見を表明したがる人々は、ほぼ例外なく全体を代表する人々ではなく、強い主張を持っていたり時間を持て余していたりするような人々だ。そうした人々がどんな考えを持っているかは興味深いかもしれないが、それは彼らが必ずしも誰かのためではなく自分自身のために話しているからだ。
(アンソニー・ウェストン著・古草秀子訳『論証のルールブック(第五版)』(ちくま学芸文庫、2018年) p41～p44 )
一般化やサンプル(代表的な例)については直近の二つの記事においても述べた。今回はそれらの続きだと思ってほしい。まず、触れておくべきは「実のところ、多くの人々を代表するようなサンプルはまず存在しない。それなのに、私たちはしばしば人々をグループとして一般化しようとする」ということだ。一般化やサンプルについてさんざん述べておいて、今になってそれらを否定するのか！と思われそうだが、別に私はここでそれらを否定するつもりは全くない。この引用の内容も一般化やサンプルを否定する意図はおそらく含んでいないだろう。
ここで何を言わんとしているかというと、「完璧なサンプルなど存在しないし、完璧な一般化も存在しない」「サンプルにも一般化にも、“事実や正確さを犠牲にしてでも分かりやすさを確保する”という意図がある」ということだ。むしろ、それらは完璧からは程遠い。なぜなら、そもそも一般化とサンプルは事実を表現する意図は持っていないから。
事実と分かりやすさは両立しないことの方が格段に多い。なぜなら、分かりやすい事実というものが希少だからだ。完璧な一般化・サンプルというものが仮にあるとすれば、それは「複雑な事実を正確に分かりやすく表現した」一般化・サンプルなのだろう。
しかし、この世に完璧な物事など存在しないのだろう。全ての物事が功罪両面を持ち併せている。一概に善い(良い)ものや一概に悪いものというのは存在しないのだろう。一般化もサンプルもそうだ。「専門家が実施する調査でさえ、誤った結果を予測する場合がある」のだ。
では、完璧を目指そうとすることは諦めるべきなのか？勿論、それは諦めてはならない。完璧など存在しないが、完璧を目指してベストを尽くすべきである。より精度の高い一般化、より代表的なサンプル、より正確な調査を成すことを常に志向しなければならない。ベストを目指し続け、ベターを実現し続けるべきだ。さもなくば、実りある議論は息絶えてしまう。
話を移して、「基本的には、一般化しようとしている母集団の最も的確な断面図を探そう」という部分に触れてみよう。ここで述べられていることは少々分かりにくいが、前回の記事「複数の例やサンプルで一般化を裏付ける」で言及した代表的な例、すなわち「問題全体をよく表している、その問題の中の一部の例」に類似した内容であると思われる。というのも、「一般化しようとしている母集団の最も的確な断面」は「問題全体をよく表している、その問題の中の一部」であると噛み砕いて説明できそうだからである。
また、引用内の「電話による世論調査の例」と「サンプルが人間である場合」というのは特筆すべき注意事項である。前者は、特定の手法で調査を行うことによって、代表的ではない一部の層にサンプルが偏ってしまうという例だ。これはよくあるミスである。スマートフォンの普及が進む中で固定電話の利用は今や主流ではなくなってきているし、固定電話を持っている家庭でも実際にその固定電話に出るのは一部の年齢層の人が多いかもしれない。
ちなみに、引用では触れられていないが、固定電話による調査が行われる時間帯、すなわち被調査者宅に電話がかかってくる時間帯によってもサンプルの偏りが生じるかもしれない。もし日中に電話がかかってくるのであれば、働きに出掛けていることの多い層は調査を受ける機会が少なくなるだろう。それゆえに、比較的家にいることの多いリタイア層の回答が多く集まり、サンプルが偏ってしまうだろう。
後者の「サンプルが人間である場合」において非常に重要なのは「調査対象者が参加の有無を自己選択できてはいけないということ」だ。すなわち、「答えるかどうかを対象者自身が選択できるオンラインやメールでの調査」は不適であるということだ。調査に答えることを選ぶ人の中には「進んで自分の意見を表明したがる人々」が多く含まれ、彼らは往々にして「強い主張を持っていたり時間を持て余していたり」している。そして、彼らは往々にして「誰かのためではなく自分自身のために話している」。この引用は少しばかり偏見じみている感もあるが、概ね合っていると私は思う。進んで自分の意見を表明したがる人の回答が集まっても、(進んで自分の意見を表明したがる人に対する調査でない限り)それは代表であるとは言えず、サンプルとしても不適切である。
このような解釈が無理な偏見に基づいていると思う人には、「調査対象者が参加の有無を自己選択できる調査においては、調査に答えることを選ぶ人という『特定の属性』にサンプルが偏る」と、よりシンプルに解釈することをおすすめしておく。
ともかく、「選ぶ」という行為の恣意性がサンプルの偏りを生むということは重要な注意点である。
今回はここまでだ。今回覚えておいてほしいのは「一般化もサンプルも分かりやすさを実現するための手段であるため、事実を表現する意図は持っていない。事実と分かりやすさは基本的に両立しない。つまり完璧ではない。しかし完璧を目指すことは諦めてはならない。また、調査手法や回答方法によって回答者の層、ひいてはサンプルが偏ることは避けなければならない」ということだ。
皆さんがインターネットで怪しいと思った情報があれば、ぜひこちらへ投稿お願いします。
また、参考文献および関連本はこちら
