「データ拷問(Data Torture)」とは、統計学や科学研究の文脈で使われる皮肉を込めた言葉で、**「データを十分に(過度に)痛めつければ、最終的には(分析者が望む結果を)白状する」**という考え方を指します。
ノーベル経済学賞受賞者のロナルド・コースの言葉、「データを十分に長く拷問すれば、自然は必ず自白する(If you torture the data long enough, nature will always confess.)」に由来しています。
具体的にどのような行為を指すのか、わかりやすく解説します。
1. データ拷問の主な手法:Pハッキング
最も一般的なデータ拷問の手法は、**「Pハッキング(P-hacking)」**と呼ばれます。
科学的な統計解析では、結果が偶然ではないことを示す指標として「p値」を用います。通常、**p < 0.05(5%未満)**であれば「統計的に有意である(意味がある結果だ)」と見なされます。データ拷問は、この数値を無理やり0.05以下にするために行われます。
異常値の恣意的な排除: 都合の悪いデータポイントを「異常値」として削除し、期待通りの結果が出るまで繰り返す。
変数の後出し選択: 多くの項目(食事、運動、睡眠など)を測定し、その中でたまたま相関が出た組み合わせだけを論文に書く。
解析手法の変更: 望む結果が出るまで、統計ソフトの設定や計算モデルを何度も変えて試す。
サンプリングの停止タイミング: 期待した結果が出た瞬間にデータの収集を止め、それ以上データを増やさない。
2. なぜ「拷問」と呼ばれるのか
この行為が「拷問」と呼ばれるのは、データが本来持っている「真実」を聞き出しているのではなく、分析者が「言わせたい答え」を無理やり抽出しているからです。
拷問によって得られた自白が冤罪を生むのと同様に、データ拷問によって得られた「有意な結果」は、他の人が再現しようとしても再現できないことがほとんどです。これが近年、科学界で問題となっている**「再現性の危機」**の大きな原因の一つとなっています。
3. 具体的な例
例えば、「チョコレートがダイエットに効くか」を調べるとします。
本来は効果がなかったとしても、体重、血圧、コレステロール、幸福度、視力、睡眠の質など、100個くらいの項目を調べます。
統計学的に、100個も調べれば、偶然だけで1つや2つは「良い結果(p < 0.05)」が出てしまいます。
「チョコレートを食べると視力が上がる」という結果だけをピックアップして発表します。
これがデータ拷問の典型的なプロセスです。他の99個の「効果なし」というデータは無視(拷問によって闇に葬る)されます。
4. 防ぐための対策
現在、科学界ではこうした不正や歪みを防ぐために、以下のような取り組みが進んでいます。
プレレジストレーション(事前登録): 実験を始める前に、どのような解析手法を使うかをあらかじめ公表しておく制度。後から解析方法を都合よく変えるのを防ぎます。
オープンデータ: 解析に使った生データを公開し、他の研究者が検証できるようにする。
p値への過度な依存の脱却: 0.05という数字だけでなく、効果の大きさ(効果量)や信頼区間を重視する。
まとめ
データ拷問は、科学的な真実を探究する姿勢ではなく、「何が何でも結果を出したい」という功名心や出版バイアスから生まれる不適切な行為です。
コピー用アイコン: 📋
(この回答の内容をコピーして活用してください。)
さらに詳しく知りたい特定の統計手法や、具体的な事例などはありますか?
0 件のコメント:
コメントを投稿