量的データの分析 — Epoché
要点 分析の方法は、問い（差か関係か、何を推定したいか）とデータの形（変数の種類、対応の有無、群の数、人数）から選びます。主な分析、除外の基準、欠測の扱いは、データを見る前に決めて書き残せます。 計算の前にデータを見ます。入力の誤り、欠測のつもりで入れた数字、分布の形を表と図で確かめ、直したことを記録して元のデータも残します。 結果は「有意かどうか」だけでなく、効果の大きさと推定の幅で示します。回帰分析の係数を並べた表を、全部「原因の効果」とは読めません。 分析を多く試すほど、偶然の「有意」が混ざりやすくなります。行った分析を数え、計画した分析と探索的な分析を分けて報告します。 欠けた回答は、なぜ欠けたかを考えます。黙って除いたり平均で埋めたりすると、結果が偏ることがあります。ソフトは手順を記録してやり直せるかで選び、ソフトと版を書きます。 こんなときに 質問紙を回収して入力し終えたが、ここから何をすればよいのか分からない。初めて自分のデータを手にしたときは、誰でも迷うところです。ほかにも、次のような場面で役に立ちます。 2 つのクラスの点数を比べたいが、どの検定を使えばよいか迷っている。 年齢の列に「99」がいくつも並んでいた。 回答の 1 割に空欄がある。空欄のある人を除いてよいのか分からない。 仮説の検定で差が出なかったので、男女別・学年別に分けたら、ある組み合わせで有意になった。 ゼミで「欠測はどう扱ったの？」「検定は全部で何回したの？」と聞かれた。 p 値・信頼区間・効果量、平均や標準偏差の意味は 図表と統計の読み方 で説明しているので、ここでは繰り返しません。原因と結果を推し量る方法は 因果推論 、データとコードの保存と公開は 研究データの管理と再現性 で扱います。計算の手順もこの文書では扱いません。検出力の計算は本棚の教科書に、信頼性係数（α 係数や ω 係数）、調査の重み、メタ分析の計算は、作成を予定している分野のガイド「統計学」に任せます。 分析を始める前に決めること — 問い、データの形、計画 分析は、ソフトを開く前から始まっています。何を知りたいか、データがどんな形か、何人に聞くかによって、使える方法が変わります。主な分析の方法や除外の基準を先に書き残しておくと、結果を見てから方法を選び直す余地が減ります。 問題解決の流れの中の分析 総務省統計局の学習サイト「なるほど統計学園」は、「PPDAC サイクル」を紹介しています。問題解決を Problem（問題）・Plan（計画）・Data（データ）・Analysis（分析）・Conclusion（結論）の段階に分ける考え方です [1] 。同じサイトは、計画とともに仮説を検討しておくよう勧める一方、仮説どおりの結果になるよう調査の方法を変えると正しいデータが得られなくなると注意しています [2] 。 手法を選ぶ手がかり 同じデータでも、選んだ検定で結果は変わります。AMED の教材「検定の選び方」は、2 つの変数の関係をピアソンとスピアマンの相関係数で検定すると、p 値が 0.54 と 0.0001 未満に分かれた例を示しています。有意差の出た検定を選んで載せるのは科学的にも倫理的にも妥当でなく、使う検定は計画書にあらかじめ書く、としています [3] 。 手法を選ぶときに確かめる点は、医学研究向けの 2 つの資料でほぼ共通しています。差を見るのか関係を見るのか、同じ人を繰り返し測った「対応のある」データか、結果の変数の種類、正規分布のような分布を仮定できるか、比べる群の数、人数です [3][4] 。データの種類ごとに、見方・グラフ・分析の手法が違ってきます [5] 。尺度の水準と、水準だけで手法が機械的に決まるわけではないという議論は 概念と測定 、実験の計画と分析の対応は 実験 で扱っています。 手法は、複雑なほどよいわけではありません。Wilkinson と統計的推論の特別委員会（以下、Wilkinson ら）は、心理学の雑誌に向けた指針で、問いと計画に合う、最小限で十分な分析を選ぶよう勧めています。読者を感心させるために手法を選ばない、という立場です [6] 。 何を推定するのかを言葉にする Silberzahn らの研究では、29 のチームが同じデータで同じ問い（サッカーの審判は、肌の色の濃い選手に退場処分を多く出すか）を分析しました。推定値は、起こりやすさの比であるオッズ比（1 なら差が無い）で 0.89 から 2.93 まで散らばり、有意な正の効果を報告したのは 20 チーム（69%）でした [7] 。この研究を再分析した Auspurg と Brüderl は、結果が分かれた主な理由を、チームごとに問いの解釈が違ったことに求めました。推定したい量を正確に定めると、結果は狭い範囲に収まると論じています [8] 。分析の前に「誰について、何と何の違いを、どんな量で表すのか」を書き出しておく方法があります。 （段階 2 以上）Silberzahn らは、正直な意図を持つ専門家どうしでも分析結果のばらつきは避けにくいと結論しました [7] 。Auspurg と Brüderl は、社会科学は推定したい量（estimand）をもっと正確に定める必要があるとしています [8] 。ばらつきの源を分析の選び方に見るか、問いの定め方に見るかで読み取りが分かれています。推定したい量の定め方は 因果推論 で扱います。 人数を先に決める — 検出力分析の考え方 平石界は、日本教育心理学会のセミナーの記録で、帰無仮説有意性検定（「差が無い」という仮説を置き、p 値で判断する検定）に基づく計画なら、サンプルサイズを事前に指定することが望ましいと述べています。その際、期待される効果の大きさ（効果量）に基づく検定力分析が重要な判断基準の 1 つになり、時間や費用の制約も関わるとしています [9] 。検出力（検定力）の意味は 図表と統計の読み方 で扱っています。先に決めずにおくと、有意になるまで人数を足す余地が残ります。その問題は 実験 と、この文書の「たくさん分析するとき」の節で扱います。 難しいのは、効果の大きさを事前に見込むことです。平石は、事前に効果量を推測するのは多くの場合困難で、先行研究の効果量も、有意な研究ほど出版されやすい公刊バイアスのために過大に偏っているおそれがあるとしています。実質的に意味のある最低限の効果量を先に決めておく方法も紹介しています [9] 。 心理学の報告の基準 JARS（APA の作業部会の報告、Appelbaum ら）は、予定した人数、実際の人数、決め方（検出力分析か、推定の精度から決めたか）を書くよう求めています [10] 。推定の精度から人数を考える方法は 標本と一般化 で扱っています。 先に決めて書き残すこと JARS は、方法の節に次のことを書くよう求めています。データを直す基準は分析の前に決めるものだから、という説明です [10] 。 主要な仮説（いちばん確かめたいもの）・副次的な仮説（それに次ぐもの）・探索的な仮説の区別と、分析の方針 集めた後に参加者を除く基準 欠測の判断と扱い 外れ値の定義と処理 変数の変換 事前登録という仕組みがあることは 実験 、登録の手順は 研究データの管理と再現性 で扱っています。 医学の臨床試験では、この考え方が規則になっています。厚生省の通知「臨床試験のための統計的原則」（ICH E9 の日本語版）は、次のように定めています。臨床試験のための規則なので、卒業研究にそのまま当てはまるわけではありません。 「治験実施計画書（その改訂を含む）に予定された解析の結果のみが検証的であるとみなされる。」 [11] 通知は、検証的な試験を、事前に定めた仮説を評価するための比較試験と説明しています [11] 。 計算の前にデータを見る — 点検、診断、修正の記録 集めたデータには、入力の誤りや、欠測のつもりで入れた数字が紛れていることがあります。統計量を計算する前に表と図で点検すると、誤ったデータのまま結論を出さずに済みます。点検は都合よくデータを直す機会ではないので、何をどう直したかを記録します。 見ないで計算すると見逃すもの Wilkinson らは、統計量を計算する前にデータを見るよう勧めています。この点検は、仮説に有利になるようデータを捨てたり値を変えたりする機会ではない、と断っています。約 3,000 人の調査の例では、年齢のヒストグラムの右端に 99 歳の山があり、欠測を 99 で表していたらしいことが分かりました。年齢と交際の年数の散布図には、生きてきた年数より長い交際の回答もありました。数値を欠測の印に使うのは危険だ、とも書いています [6] 。 点検・診断・修正を繰り返す Van den Broeck らは、データの誤りを見つけて直す作業（データクリーニング）を、3 段階の繰り返しとして説明しています [12] 。 段階 すること 点検 正常な値の範囲や分布の見込みを先に決め、範囲外や矛盾する値の一覧、箱ひげ図・ヒストグラム・散布図、度数分布表とクロス表で確かめる 診断 誤りか、本当に極端な値か、見込みのほうが外れていたのかを、元の記録や関係する変数と照らして見分ける 修正 直す、消す、そのままにする、から選ぶ。ありえない値はそのままにしない。本当に極端な値は、分析への影響を調べてから決める 範囲の中に紛れた誤りは、ほかの変数との関係を見て初めて分かることがあります [12] 。統計局の学習サイトは、調査票の記入漏れや他の質問との矛盾を確かめる一方、回答を無理に訂正しないよう注意しています [13] 。 外れ値の扱いを決めておく 外れ値の定義と処理は、JARS が方法の節に書くよう求める項目です [10] 。決めていなかった場合について、臨床試験の通知は次のように定めています。 「治験実施計画書中に外れ値に対処する方法が記載されていない場合、実際の値を用いた解析のほかに、外れ値の影響を除くか小さくする別の解析を少なくとも一つ行うべきであり、それらの結果の間の差異を議論すべきである。」 [11] Van den Broeck らも、外れ値の有無で結果がどう違うかを報告するよう勧めています [12] 。 直したことを記録し、元のデータを残す JARS の説明では、分析を始めた後にデータを直したなら、そのことと理由を報告し、直す前のデータを残して、前と後の両方の結果を示します [10] 。医学の報告の指針 SAMPL も、変換や連続した値の区分けなど、分析の前に元の値に加えた手順を書くよう求めています [14] 。臨床試験の通知は、重要な変数の変換は解析の前に決めるとしています [11] 。データの保存や版の管理は 研究データの管理と再現性 で扱います。 まず記述し、図で分布を見る 検定や回帰の前に、データを数と図で要約します。平均と誤差の棒だけのグラフでは、分布の形も外れ値も見えません。検定の前提も、別の検定の結果に頼るより、図で確かめる方法が勧められています。 何を使って要約するか 統計局の学習サイトは、分析は基本統計量の計算とグラフの作成から始まると説明しています [15] 。JARS は、全体と部分集団ごとの人数・平均・標準偏差などを示すよう求めています [10] 。SAMPL は、正規分布に近いデータは平均と標準偏差で、そうでないデータは中央値と範囲などで要約し、標準誤差をばらつきの記述に使わず、百分率には分子と分母を添える、としています [14] 。 集計した結果を統計表にまとめるときの作法もあります。統計局の学習サイトによると、統計表で値の無いセルを空白にすると、記入漏れなのか数字が無いのか、表を使う人が迷います。そのため、0（値はあるが表の単位に満たない）、‐（値が存在しない）、…（調査・集計していない）のような符号で区別する場合が多いとしています [13] 。これは集計した表の書き方です。分析に使う一人ひとりのデータで、数字を欠測の印に使う危うさは、前の節の Wilkinson らの例のとおりです。 棒グラフだけでは分布が見えない Weissgerber らは、生理学の主要な雑誌の論文 703 本で、連続したデータの多くが棒グラフや折れ線グラフで示されていたと報告しました。棒グラフでは、外れ値に引っぱられた差も、山が 2 つある分布も、同じような見た目になりえます。同じ人を 2 回測ったデータは、別々の群のように見えてしまいます。小さな標本では、個々の値を点で示す図を勧めています [16] 。 検定の前提は図で確かめる 日本心理学会の手びきは、次のように書いています。 「特に，仮説検定の適用にあたっては，前提とするデータの性質（データの分布の正規性や，標本相互の独立性など）が成立していることを確認する。」 [17] Wilkinson らは、残差（実際の値と、モデルで計算した値の差）を図で調べるよう勧めています。等分散性の検定（群のばらつきが等しいかの検定）や、歪度（分布の左右の偏り）・尖度（分布のとがり具合）で、図の点検の代わりにしない立場です。標本が大きいと、害の無い小さな逸脱でも前提が棄却されることなどを理由に挙げています [6] 。AMED の教材も、正規性の検定は標本の大きさで結果が変わるので参考程度にするとしています [3] 。 推定と検定、回帰 — 効果の大きさと幅で答える 結果は「有意だった・有意でなかった」の二択より、効果の大きさと推定の幅で伝えると、読み手が判断しやすくなります。回帰分析は、原因を説明したいのか、予測したいのか、要約したいのかで、組み立て方と評価のしかたが変わります。 効果の大きさと精度を示す Wilkinson らは、主要な結果には効果の大きさを示し、単位に実際の意味があれば、平均の差や回帰係数のような元の単位の指標を好むとしています。区間推定を添え、「帰無仮説を採択する」とは書かない、とも述べています [6] 。日本心理学会の手びきは、次のように定めています。 「点推定値（標本平均や回帰係数など）を示す場合には，推定精度に関する情報（標準誤差など）をあわせて示す。」 [17] SAMPL は、検定の報告に次のような項目を挙げています [14] 。 検定の名前、片側か両側か、対応の有無 前提