はじめに
統計学において検定は避けて通れません。事実、今まで統計を学んできたのは検定を行なうためであると言っても過言ではないでしょう。また、検定は先に学んだ推定と兄弟のようなものです。基礎とする理論は同じなのですが、推定が母集団における平均・分散・比率を小標本から推測するのに対して、検定は既知(または予想される)の母平均・母分散・母比率が妥当か否かを小標本から判定します。
実際には、どのような計測にも誤差がありますから、妥当か否かを判定するのは容易ではありませんが、様々な確率分布を使用して統計処理することにより、観測される誤差を加味したとしても希な現象なのかどうかで判定できます。希な現象とはつまり、最初に既知または予想した平均や比率が間違っていることを意味します。
めったに起こらない確率
ところでどれくらいの確率だと人は希なことが起こったと思うのでしょうか。人間の感覚は100万分の1以下の確率から鈍感になって危険はないと思うようになるという説がありますが、ちなみに国際線の飛行機が落ちる確率は100万分の6ですから危険だと思う感覚は拭えていませんね。
では、統計学において希の感覚はどのようなものなのでしょうか。意外にその確率は粗くて、5%で小さい確率。1%で非常に小さい確率。0.1%で極めて小さい確率と表現するのだそうです。従って、検定においてもこれらの確率が使われることが多くなります。ビジネス統計(推定編)においても信頼係数95%ということで、有意水準0.05(5%)を多用していましたね。
検定の基本的な考え方
さて、統計の検定では帰無仮説を否定することで対立仮説を選択するという方法を取ります。まず、帰無仮説を立てますが、これは頻繁に起こること(常識的なこと、既知なこと)を前提に立てます。例えば、硬貨投げの場合ですが、「表と裏が出る割合は等しい」という帰無仮説を立てます。
実際に計測したデータ(標本)に統計的な処理を施して、確率分布のどこに位置するかを決定します。その位置が棄却域(希にしか起こらない領域)と呼ばれる中に入っていたら、それは希にしか起こらないことが起こっているのだから、帰無仮説は間違っている。つまり、対立仮説である「表と裏が出る割合は異なっている」を選択することになります(例えばイカサマ硬貨を暴く時など)。
帰無仮説と対立仮説
帰無仮説というと変な名前ですが、検定において実際に採用したいのは対立仮説の方です。従って、本当は積極的に帰無仮説を否定したいというわけで、無に帰る(無に帰して欲しい)仮説ということで帰無仮説というわけです。想像に難くないと思いますが、統計的な処理方法はもちろん大切ですが、帰無仮説をどううまく立てるかが一番肝心なことになります。下手な設定をすると結論(対立仮説)が何なのか分からなくなります。
統計的な検定により、観測事象が希なことなのか、起こりうる範囲のことなのかを判定することで、予測した平均値は正しいのか、昔から語り継がれている値は計測値を反映しているのだろうか、計測したデータは予定した比率に近いのか等々に客観的な判断を下せます。先ほどの棄却域に入る希な現象であることを、別な言い方をすれば「有意な差が認められる」と言いますが、仮説と標本データの互いの関連性を有意差によって立証するわけです。
面倒な検定も一歩一歩、着実に
ただし、検定作業は複数の手順が必要で、途中過程の計算作業も面倒です。そこで、ビジネス統計(検定編)では要点を絞った検定手順を提示して、検定工程を短くすることに配慮しました。また、rpnという電卓ソフトを使って説明していきますので、統計的手法をどうやって使うかということだけに注力して、計算作業なしに結果を得ることができます。
ビジネス統計シリーズの基礎編は推定と検定を学ぶ上での基礎体力になりますが、推定と検定は表裏一体で合わせ鏡のようなものです。母集団の傾向を掴んで数値指標を推定することと、得られた標本が母集団の特徴を反映したものかどうかを検定することを関連させてこそデータを活用していると言えます。
本講座を学び終わる頃には、推定と検定という統計学の要諦を使いこなせるエキスパートになっていることでしょう。
ビジネス統計講座を受講するには、別途rpn標準版を購入する必要があります。詳しくは本ウェブサイトのプロダクトを参照ください。
本講座の記事やプログラムの正確性については最大限の注意を払っていますが、これらを利用することにより生じたいかなる損害についても、一切の責任を負えませんので、あらかじめご了承ください。
本講座は公式の証明、理論的背景の説明には注力せず、統計的な手法を利用することに重点をおいて解説しています。そのため、学術的な表現が厳密ではない部分があります。また、出典明記のないデータは現実に似せて人工的に作成したものなので、現状に即していない可能性があります。