10. 推測統計学
Masahiko Asano
2023-11-07
- このセクションで使う
R パッケージ一覧
1. 統計学の種類
- 統計学は記述統計学 (
descriptive statistics) と推測統計学 (inferential statistics) の二つに分類できる
| 統計学の種類 | 特徴 |
|---|---|
| 記述統計学: | 統計量を使ってデータ傾向や性質をつかむ |
| 推測統計学: | 母集団の母数（母平均や母分散）を検定し推定する |
記述統計学
- 集めたデータの統計量（平均、分散、標準偏差など）を計算して、そのデータを我々が理解できるような形で記述し要約する
- データの分布を明らかにすることで、データ傾向や性質をつかむための統計手法
推測統計学
- 入手可能な記述統計量を使って未観測の事象を予測、推定するスキルが「推測統計学」
- 母集団 (
population) から標本 (sample) を無作為に抽出し、その標本によって得られた標本平均や不偏分散などの統計量を使って、母集団の母数（母平均や母分散）を検定し推定する
- 推測統計学の基本的な考えは、母集団からランダムに抽出した標本を増やし、無限に試行を繰り返せば、全体の一部である標本から、巨大で未知の母集団を推測できる、ということ
- 推測統計学では、分析対象が確率分布すると考える
「推測統計学」の肝は「統計的推測」
- 「統計的推測」とは、標本（サンプル）を使って母集団を推定すること
- 「統計的推測」は「統計的推定」と「仮説検定」から構成される
→ ここでは「統計的推定」と「仮説検定」を解説する
2. 母集団と標本の関係
- 母集団 (population): 明確に定義された分析対象
- 標本 (sample): 母集団から抜き出される一部
- 標本は母集団のミニチュア版
母数と統計量:
推測統統計学では、母数 (parameter) と統計量
(statistic) とを明確に区別しているので注意が必要
母数（パラメタ）
- 母平均: \((μ)\)（ミュー）—
population mean
- 母比率: \((π)\)（パイ）—
population ratio
- 母分散: \((σ^2)\)
—
population variance
- 母標準偏差: \((σ)\)（シグマ）—
population standard deviation
標本統計量
- 標本平均: \(\bar{x}\) —
sample mean
- 標本比率: \((p)\)
—
sample ratio
- 標本分散: \((s^2)\) —
sample variance
- 標本不偏分散: \((u^2)\) —
unbiased variance
- 標本標準偏差: \((s)\) —
sample variance
- 標本不偏標準偏差: \((u)\) —
unbiased standard deviation
統計的推定の方法
・標本から標本統計量（標本平均など）を計算する
→ 母集団の母数（母平均など）を推定する
統計的推定をする際の仮定
・多くの場合、母集団は正規分布していると仮定
・しかし、中心極限定理のおかげで、母集団が正規分布でなくても t
分布で推定可能
I. 統計的推定
3. 点推定と区間推定
「推定」とは：
具体的な値を用いて「母集団の平均値は○○くらいだろう」と予想すること
1) 点推定
- 標本から判断して、具体的な母数の値を pin point で予想する
ex: 「早稲田大学全体で女子学生の平均身長は 160 cm くらいだろう」
2) 区間推定
- 標本から判断して（ある程度の幅を持った区間で）具体的な母数の値を予想する
ex: 「早稲田大学全体で女子学生の平均身長は 160 cm から 165 cm くらいだろう」
推定の際に注意すべきポイント（「母集団の分布」と「母分散 \(\sigma^2\)」）
| 母集団の分布 | 母分散 \(\sigma^2\) | 対処法 |
| 正規分布 | 既知 | 母分散 \(\sigma^2\) を使う |
| 正規分布 | 未知 | 不偏分散を使う・t分布を使う |
| 不明 | 未知 | 不偏分散を使う・t分布を使う・標本を沢山集める |
- 推定方法は「点推定」なのか「区間推定」なのか
- 母集団の分布は「正規分布」なのか
→ 正規分布でなくても「中心極限定理」＋標本数が多い
→ 推定可能
- 「母分散」は既知なのか未知なのか
→ 未知の場合
→ 「母分散」の代わりに「不偏分散」を使う
→ t 分布を使って推定可能
- 推定したいのが「母平均」なのか「母分散」なのか
- 母集団から \(n\)
個の標本をとって、母平均を推定することを考える
- 下の図は、ここで解説する内容のまとめ
4. 点推定
4.1 「平均」の点推定
- 母平均 \(\mu\) も母分散 \(\sigma^2\) もわからない母集団から、\(n\) 個の標本をとる
標本平均 \(\bar{X}\) （エックス・バーと読む）を計算する
\[\bar{X} = \frac{X_1 + X_2 + X_3 + ・・・X_n}{n}\]\(X_1, X_2,...\) などは、無作為に選ばれる
→ どの数が選ばれるかわからないから「確率変数」だといえる
\(\bar{X}\) は確率変数 (\(X_1, X_2,...\)) の「和」だから「確率変数」
標本平均 \(\bar{X}\) は「確率変数」なので大文字で表記
（「小文字の \(x\) は具体的な観測地を表す」）
4.2 「分散」の点推定
- 母平均 \(\mu\) も母分散 \(\sigma^2\) もわからない母集団から、\(n\) 個の標本をとる
- 標本分散 \(S^2\) を計算する
\[S^2= \frac{(X_1-\bar{X}) + (X_2-\bar{X}) + ・・・(X_n-\bar{X})}{n}\] - \(S^2\) は確率変数 (\(X_1, X_2,...\)) の「和」だから「確率変数」
しかし、標本分散は点推定に不適切なので、使わない
- 不偏分散 \(U^2\) の方が点推定には適しているので、不偏分散 \(U^2\) を計算する
\[U^2= \frac{(X_1-\bar{X}) + (X_2-\bar{X}) + ・・・(X_n-\bar{X})}{n-1}\]
\(S^2\) より \(U^2\) の方が大きい
点推定で「標本分散」でなく「不偏分散」を使う理由①
・「標本分散 \(S^2\)」では「真の分散 \(\sigma^2\)」 を過小評価してしまうから
・標本分散 \(S^2\)
の期待値を式で表してみる
\[E[S^2] = \sigma^2 - \frac{1}{n}\sigma^2\]
・標本分散 \(S^2\) は真の分散 \(\sigma^2\) を \(\frac{1}{n}\)
だけ過小評価していることがわかる
・\(n\)
の数が大きくなるほど、過小評価する度合いは小さくなる
・上の式を書き換えてみる
\[E[S^2] = \sigma^2 - \frac{1}{n}\sigma^2 = \frac{n-1}{n}\sigma^2\]
\[E[S^2] = \frac{n-1}{n}\sigma^2\]
・この標本分散 \(S^2\) の期待値が真の分散 \(\sigma^2\) に等しくなるためには \(E[S^2]\) に \(\frac{n}{n-1}\) をかければ良い
・標本分散 \(S^2\) を表す式は次のとおり
\[S^2= \frac{X_1 + X_2 + X_3 + ・・・X_n}{n}\]
・両辺に \(\frac{n}{n-1}\) をかけてみる
\[\frac{n}{n-1}・S^2= \frac{(X_1-\bar{X}) + (X_2-\bar{X}) + ・・・(X_n-\bar{X})}{n}・\frac{n}{n-1}\\ = \frac{(X_1-\bar{X}) + (X_2-\bar{X}) + ・・・(X_n-\bar{X})}{n-1} \\=U^2\]
・これは不偏分散 \(U^2\)
を表す式と一致する
→ 不偏分散の期待値は
\[E[U^2] = \sigma^2\]
点推定で「標本分散」でなく「不偏分散」を使う理由②
母平均 \(\mu\) が未知の場合の標本分散
・ここでは母集団の母平均が未知 (\(\mu =
?\)) である場合に母分散 \(\sigma\) の点推定している
・\(x_1, x_2, x_3\) という 3
つの観測値を入手したとする
・標本分散は \(x_1, x_2, x_3\)
という 3 つの観測値の平均値 \(\bar{x}\)
とそれぞれの観測値の差の二乗の和として計算される
・真の母分散 \(\sigma^2\)
を推定したいのであれば、本来なら、母平均 \(\mu\) を使って標本分散を計算すべき
・しかし、母集団の母平均が未知 (\(\mu\))なので、標本から得られた標本平均
\(\bar{x}\) を使っている
・得られた標本から計算された平均値と個別観測値との差を使っている
→ 真の母平均 \(\mu\)
と個別観測値との差と比較すれば
→ 得られた標本から計算された平均値と個別観測値との差の方が小さくなる
- 次の式を使って標本平均 \(S^2\) を計算できる
\[S^2= \frac{(X_1-\bar{X}) + (X_2-\bar{X}) + ・・・(X_n-\bar{X})}{n}\]
母平均 \(\mu = 既知\) の場合の標本分散
・標本分散は \(x_1, x_2, x_3\)
という 3 つの観測値の平均値 \(\bar{x}\)
の代わりに、母平均 \(\mu\)
の値とそれぞれの観測値の差の二乗の和として計算される
- 次の式を使って標本平均 \(S^2\)
を計算できる
\[S^2= \frac{(X_1-\mu) + (X_2-\mu) + ・・・(X_n-\mu)}{n}\]
・点推定をする上で、真の母平均 \(\mu\) を使った場合と、その代用として 3 つの観測値の平均値 \(\bar{x}\) を使った場合では、観測値の平均値 \(\bar{x}\) を使った場合の方が、標本分散の値が小さい
→ 観測値の平均値 \(\bar{x}\) を使うと、母分散が過小評価される
| 1 個の標本をとる場合 | → 標本自体の分布を考える |
| 複数の標本をとる場合 | → 標本平均の分布を考える |
5. 区間推定
5.1 母分散が既知の場合
- 「点推定」では pin point で母平均や母分散を予想した
- 「区間推定」では幅をもって母平均や母分散を予想する
- ここでは「母分散 (\(\sigma^2\))
は既知」という前提で考える
↑ この前提は現実にはあまりあり得ないが・・・
→ 学習のため、あえてこのような前提を置く
- 「区間推定」では信頼度を使い、幅を持たせて推定する
一個の標本で母平均を区間推定する
下図の左側を参照：
- 母集団は「正規分布」しているとする
- 母平均 \(\mu\) は未知
- 母分散 \(\sigma^2 = 8^2\)
- この母集団から標本 (\(X\)) を 1
個だけ抽出して
→ 信頼度 95% で母平均 \(\mu\) を推定する
上図の右側を参照：
確率は面積に対応するので、グラフと横軸で挟まれた部分の面積 = 1 (= 100%)
\(μ\) から標準偏差 (\(σ\)) の 1.96倍だけ(= 1.96\(σ\))左右に離れると → 95%の面積を占める
この母集団から標本 (\(X\)) を 1 個だけ抽出する
その \(X\) の値が濃い灰色の面積内にある確率は 95%
→ 95%の確率で次の不等式が成り立つ \[μ−1.96σ ≦ X ≦ μ+1.96σ\]この式を \(μ\) についてとく
\[X−1.96σ ≦ μ ≦ X +1.96σ\]この母集団から抽出された標本 (X) が 160 cm だとする
X = 160, σ = 8 を代入
\[144.32 ≦ μ ≦ 175.68\]
- これが 信頼度95%の信頼区間
「信頼度95%の信頼区間」とは？
標本を 2 個とってみる
母平均 \(\mu\) の少しだけ左側から標本をとった場合
→ 95%信頼区間は母平均 \(\mu\) を含む
母平均 \(\mu\) の少しだけ右側から標本をとった場合
→ 95%信頼区間は母平均 \(\mu\) を含む「95% 信頼区間」と聞くと「私たちが知りたい母数の値がこの区間に含まれている確率が 95%」と思うかもしれない
しかし、それは 誤り
区間の中に母数があれば、その信頼区間が母数を含んでいる確率は 100%
区間の中に母数がなければ、その信頼区間が母数を含んでいる確率は0%
一つの信頼区間は母数を「含むか」「含まないか」のいずれか
母数の「真の値(定数)」の存在が想定される限り、私たちがその値を知らなくともこの事実に変わりはない
つまり、ある 95% 信頼区間が推定したい母数を捉えている確率が 95% ということはあり得ない
→ 確率は 100%(うまいこと母数を捉えている)か 0%(母数を捉え損なっている)かのどちらか
それぞれの標本について 95% 信頼区間を求める
求めた95%信頼区間のうち、95% の区間は真の母数を区間の中に捉え、残りの 5%は母数を捉え損ねる
- 20個のサンプルをとった場合
- 「信頼度95%の信頼区間」が意味するのは、19回は母平均 \(\mu\) を含むが、1回は母平均 \(\mu\) を含まないというこ
95%信頼区間を理解するためのポイント
・抽出する値ごとに95%信頼区間（＝横棒）はたくさんできる
・たくさんできる信頼区間のうち、95%が母平均 \(\mu\) を含む
→ 5%は母平均を捉え損ねる
複数の標本で母平均を区間推定する
- 1 個の標本で母平均を区間推定するのは実用的ではない
→ 標本を複数個抽出して母平均を区間推定するのが一般的
- 「標本数が大きくなるほど、分散は小さくなる」という正規分布の性質を利用する
正規分布の性質
5.2 母分散が既知の場合
下図の左側
- 母分散 \(\sigma^2 =
6^2\)、母平均が未知の母集団から 9 つの標本を抽出する
- 信頼度95%で母平均 μ を推定する
- 標本平均 \(\bar{X}\) は 168.5
[1] 168.5
上図の右側
- 標本平均 (\(\bar{X}\)) の分散 =
\(\frac{\sigma^2}{n}\)
- 標本平均 (\(\bar{X}\))の標準偏差 =
\(\frac{σ}{\sqrt{n}}\)
- 信頼度95%で母平均 μ を推定するためには
→ つまり、正規分布で95%を占める面積にするためには
→ 標本平均の標準偏差 \(\frac{\sigma}{\sqrt{n}}\) の 1.96倍だけ標本平均 \(\mu\) から離れれば良い
- 母集団から無作為抽出した標本平均 (\(\bar{X}\)) が95%で成り立つ式は次のとおり
\[μ−1.96\frac{\sigma}{\sqrt{n}}≦ \bar{X} ≦ μ+ 1.96\frac{\sigma}{\sqrt{n}}\]
μ で解くと
\[\bar{X}−1.96\frac{\sigma}{\sqrt{n}}≦ \mu ≦ \bar{X} + 1.96\frac{\sigma}{\sqrt{n}}\]この式に \(\bar{X} = 168.5\)、\(n = 9\)、\(\sigma = 8\)を代入すると
\[168.5−1.96\frac{8}{\sqrt{9}}≦ \mu ≦ 168.5+ 1.96\frac{8}{\sqrt{9}}\\ = 168.5-5.23≦ \mu ≦ 168.5 + 3.23\\ = 163.3 ≦ \mu ≦ 173.7\]
95%信頼区間とサンプルサイズの関係
- 同一の母集団から 1
個だけ無作為抽出した場合と、複数個（ここでは9個）無作為抽出した場合における母集団
\(\mu\)
の95%信頼区間を比較してみる
- 1 個だけ無作為抽出した場合 → 約 144
cm〜176cmと30cm以上もの幅
- 9 個無作為抽出した場合 → 約 166 cm〜173cmと10cmの幅
区間推定のポイント ・より多くの標本をとることによって、より正確な（より幅の狭い）区間推定ができる
その理由：
・標本自体の分布ではなく、標本平均の分布を使って推定したため
・標本平均の分布の方がよりシャープな（つまり、分散が小さい）分布だから
5.3 母分散が未知の場合 (→ t 分布)
- 母平均 \(\mu\) を区間推定するためには次の式を使った
\[\bar{X}−1.96\frac{\sigma}{\sqrt{n}}≦ \mu ≦ \bar{X} + 1.96\frac{\sigma}{\sqrt{n}}\]
- しかし、これは母分散 \(\sigma^2\)
がわかっている場合だけに可能
→ 母分散 \(\sigma^2\) が未知の場合には使えない
母分散 \(\sigma^2\) が未知の場合に区間推定できない理由
確率変数の標準化（標準正規分布）
・期待値と分散の性質
平均の性質（期待値の線形性）
・確率変数を \(a\) 倍して \(b\) を足す → 定数 \(b\) は外にでて、確率変数だけの期待値になる
\[E[aX + b] = aE[X] + b\]
分散の性質
・確率変数を \(a\) 倍して \(b\) を足す → 定数 \(a\) は二乗されて外にでる
\[V[aX + b] = a^2V[X]\]
分散の定義 \[V[X] = E[X-E[X])^2]\\ = E[X^2]-E[X]^2\]
\(\bar{X}\)について考える
・\(\bar{X}\)の平均は \(\mu\)
・\(\bar{X}\)の分散は \(\frac{\sigma^2}{n}\)
| \(\bar{X}\) | ||
|---|---|---|
| 平均 | \(\mu\) | |
| 分散 | \(\frac{\sigma^2}{n}\) | |
・確率変数を「標準化する」とは平均=0、分散=1にすること
・\(\bar{X}\)の平均=0にしたい → \(\mu\) を引く → 0 になる
・\(\bar{X}\)の分散=1にしたい → \(\frac{\sigma^2}{n}\)の平方根（\(\frac{\sigma}{\sqrt{n}}\)）で割る → 1
になる
| \(\bar{X}\) | 標準化 | |
|---|---|---|
| 平均 | \(\mu\) | 0 |
| 分散 | \(\frac{\sigma^2}{n}\) | 1 |
・確率変数 \(Z\) は標準正規分布に従う
→ 標準正規分布の平均は 0、分散は 1
- 確率変数 \(Z\) の定義
\[Z = \frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}}\]
- 95%の確率で次の不等式が成り立つ
\[−1.96 ≦
\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} ≦ 1.96\]
・\(\mu\) について整理すると
\[\bar{X}−1.96\frac{\sigma}{\sqrt{n}}≦ \mu
≦ \bar{X}+1.96\frac{\sigma}{\sqrt{n}}\]
・信頼度95%の信頼区間が得られた
・しかし、これは母分散 \(\sigma^2\)
がわかる時しか使えない
解決策：
\[Z = \frac{\bar{X} - \mu}{\frac{\sigma}{\sqrt{n}}}\]
- 母分散 \(\sigma^2\) の代わりに「分散のようなもの」（= 不偏分散 \(U\)）を作って推定する
\[T = \frac{\bar{X} - \mu}{\frac{U}{\sqrt{n}}}\]
- 確率変数 \(Z\)
は標準正規分布に従う
- 確率変数 \(T\)
も標準正規分布に従うか？
- 係数間の計算なら、標準正規分布に従う
- しかし、\(T\)
を計算する際、確率変数\(U\)で割っている
→ \(T\) は正規分布ではない t 分布に従う
定理 ・平均 \(\mu\)、分散 \(\sigma^2\) の正規分布に従う独立な確率変数
\(X_1, X_2,... X_n\) があるとする
このとき、
\[T = \frac{\bar{X} - \mu}{\frac{U}{\sqrt{n}}}\]
は自由度 \(n-1\) の \(t\) 分布に従う
t 検定を使って信頼度95%信頼区間を調べる
- 4人のゼミ生が受けた TOEFL ITP スコアーを調べた
信頼度95%で母集団（拓大生の TOEFL ITPスコアー） \(μ\) を区間推定する
サンプル数は n = 4 だから、自由度 4-1 = 3 の t 分布に従う
下の表の「自由度 = 3」と「確率95%」が交差する数字「3.182」が両側5%点
t分布は左右対象 → 上側5%点は 3.182、下側5%点は -3.182だとわかる
- 95%の確率で次の不等式が成り立つ
\[−3.182 ≦ \frac{\bar{X}-\mu}{\frac{U}{\sqrt{n}}} ≦ 3.182\]
- \(\mu\) について整理すると
\[\bar{X}−3.182\frac{U}{\sqrt{n}}≦ \mu ≦ \bar{X}+3.182\frac{U}{\sqrt{n}}\]
この式に代入する値を計算してみる
標本平均 \(\bar{X}\)を計算する
\[\bar{X} = \frac{500 + 450 + 623 + 400}{4} = 493.25\]
不偏分散 \(U^2\) を計算する
\[U^2 = \frac{(x_1-\bar{x})^2 + .. + (x_n-\bar{x})^2}{n-1}\\ = \frac{(500-493.25)^2 + .. + (400-493.25)^2}{4-1} = 9149\]不偏標準偏差 \(U =\sqrt{U^2}\) なので U = 95.7
以上の値を下の式に代入してみる
\[\bar{X}−3.182\frac{U}{\sqrt{n}}≦ \mu ≦ \bar{X}+3.182\frac{U}{\sqrt{n}}\]
\[= 493.25−3.182\frac{95.7}{\sqrt{4}}≦ \mu ≦ 493.25+3.182\frac{95.7}{\sqrt{4}}\\ = 493.25−152.3≦ \mu ≦ 493.25+152.3\\ = 341 ≦ \mu ≦ 645\]
- R を使って 95%信頼区間を求めるためにはチャンクの中に次のように打ち込んで実行する
One Sample t-test
data: toefl
t = 10.314, df = 3, p-value = 0.001944
alternative hypothesis: true mean is not equal to 0
95 percent confidence interval:
341.0496 645.4504
sample estimates:
mean of x
493.25 - このコマンドは
t.test(toefl, mu = 0)と同じ意味
- 得られた標本から「母平均が 0 かどうか」を t 検定するもの
「95 percent confidence interval:」の下の値が 95%信頼区間
341.0496 〜 645.4504
→ 上の手計算で求めた値と一致する
参考（推定から検定へ）
母平均は 342?
・ここで「得られた４つのサンプルから、母平均 \(\mu\) は342なのかどうかを検定したい時」には、RStudio に次のように打ち込んで実行する
One Sample t-test
data: toefl
t = 3.1626, df = 3, p-value = 0.05077
alternative hypothesis: true mean is not equal to 342
95 percent confidence interval:
341.0496 645.4504
sample estimates:
mean of x
493.25 - 信頼度95%の信頼区間が 341から645という結果が得られたわけだから
- 母平均 = 342 は 95%信頼区間内に入っている
→p-value = 0.05077で0.05より大きい
→ 帰無仮説 \(H_0 = 342\) は棄却できない
→ 母平均が 342 ということはありうる
母平均は 340?
・ここで「得られた４つのサンプルから、母平均 \(\mu\) は340なのかどうかを検定したい時」には、RStudio に次のように打ち込んで実行する
One Sample t-test
data: toefl
t = 3.2044, df = 3, p-value = 0.04917
alternative hypothesis: true mean is not equal to 340
95 percent confidence interval:
341.0496 645.4504
sample estimates:
mean of x
493.25 - 信頼度95%の信頼区間が 341から645という結果が得られたわけだから
→ 母平均 = 340 は 95%信頼区間外
→p-value = 0.04917で0.05より小さい
→ 帰無仮説 \(H_0 = 340\) は棄却できる
→ 母平均が 340 ということはありえない
→ 得られた標本平均 \(\bar{X}=493.25\) から判断して、母平均は 340 より大きい
- 統計的検定の詳細に関しては「II. 仮説検定」を参照
5.4 中心極限定理
母集団が正規分布していなくても推定できる理由
- 母分散が正規分布でなくても、標本数が増えると、標本平均は正規分布する
→ 中心極限定理のおかげで、母集団の分布を気にせず、標本を集め、母数を推定できる
中心極限定理の定義
- 中心極限定理 (
CLT: Central Limit Theorem) とは、母集団が正規分布していなくても「標本サイズ（サンプルサイズ）が大きくなれば、標本平均は正規分布で近似できる」という定理
- 標本サイズを無限大にすると標本平均を標準化したものが標準正規分布に収束する」という定理
- 統計的推定や検定を行うときに標準正規分布を使えるのはこの定理のおかげである
- この定理のおかげで、世論調査などで統計的推定をするために必要な標本サイズを算出することが可能
正規分布 (Normal Distribution)
「平均値の付近に集積するようなデータの分布を表した連続的な変数に関する確率分布」
様々な分布を正規分布に見立てると、その内容の範囲を確率的に予想することが可能になる
ここでは R を使ってシミュレーションを実行し、中心極限定理の信憑性を「実感」してみよう
中心極限定理のシミュレーション
標本サイズが大きくなると、標本平均は近似的に正規分布に従うのか？
バックに入れた10枚のカードを使ったシミュレーション
- 0 から 9 までの数字が書かれた 10 枚のカードを作成しバックに入れる
- このバックを母集団だとする（人工的に母集団を作成）
- 母集団から一枚カードを無作為に選ぶ
- それぞれのカードが選ばれる確率は等しく 1 / 10
- カードを無作為に選んだ時の数の分布は離散一様 (discrete uniform)
- 母集団の10 枚のカードの母平均は 4.5
なので、標本平均も 4.5 になるのか？
- 標本平均から、通常未知である（ここでは既知である）母平均を推計する試み
- カードは一枚ずつ引き、引いた番号を記録し、カードをバッグに戻す
- カードをシャッフルして、再びカードを一枚引きその番号を記録し、カードをバックに戻す
- 無作為に選んだ 2 枚のカードの平均点を記録する
- 以上の作業を n 回繰り返す
- 1 回目のカードの選び方は 10 通り
（0から9まで10枚カードがあるから）
- 2 回目のカードの選び方は 10 通り
（0から9まで10枚カードがあるから）
→10枚のカードを 2 枚引いた時の 2 枚のカードの組み合わせは 100通り
- カードに書かれている数は 0 から 9 までの 10 個の整数
→可能な合計値は 0 から 18 までの 19 通り（例：選ばれた数字が 2 枚とも 9 なら合計値は 18）
→可能な平均値は 0 から 9 までの 19 通り（例：選ばれた数字が 2 枚とも 9 なら平均値は 9）
- 平均値が得られる確率は次のように表すことができる
- 例えば、ここで想定したような 0 と 8 の 2
枚のカードを引いた時の標本平均 (4) が得られる確率は 0.8 (= 8%)
程度だとわかる
- 母平均である 4.5 が得られる確率は 0.1 (= 10%) である
- R を使って、実際に 1 回引いてみる
bag <- 0:9 # 人工的に 0 から 9 までのカードを作成
exp_1 <- sample(bag, # カードが入っている bag を使う
size = 2, # 引くカードは 2 枚と指定（標本サイズ N = 2）
replace = TRUE) # 取り出したカードは元に戻すと指定
mean(exp_1) # 平均値を計算して表示 [1] 7.5実験をやる度に異なる平均値が得られる（何回か試して下さい）
この実験を 1,000 回繰り返してみよう
「それぞれの回で得られた平均値の分布」はどんな形か確かめる
R で同じ作業を繰り返し行う簡単な方法は、
for ループを使う
for ループの使い方：
例えば、0 からスタートして「10を足す」という作業を 5 回繰り返すには、次のようにする
まず、スタート時の数である 0 を作成し、保存する
- 次に、結果を保存するために、
resultという名前の入れ物を用意する
resultの中身を確認してみる
[1] NA NA NA NA NA- ここでは入れ物を作っただけなので、中には何も入っていない (=
NA)
forループを使って、数を 10 だけ加える作業を 5 回繰り返してみる
forの直後の丸カッコ ( ) の中に繰り返し回数を指定し、ループさせる内容を中括弧 \(\{ \}\) で囲む
for(i in 1:5){ # i が 1 から 5 まで繰り返すという意味
A <- A + 10 # A に 10 を足す
result[i] <- A # i 番目の作業（＝足し算）の結果を result[i] に入れる
}
result # 入れ物の中身を確認[1] 10 20 30 40 50→入れ物 (result) の中に想定どおりの数値 （0
からスタートして 10ずつ足した数） が入っていることがわかる
for ループの使った中心極限定理のシミュレーション
sim1: 標本サイズ = 2, 繰り返し回数 = 10
- この
for ループを利用して、皆さんが授業の実習で実施したように、カードを 2 回引く作業を 10 回繰り返し、結果を可視化してみる
bag <- 0:9 # 人工的にカードを作成
N <- 2 # 標本サイズ（カードを 2 枚選ぶ）
trials <- 10 # 実験の繰り返し回数 = 10
sim1 <- rep(NA, length.out = trials) # 結果の保存容器
for (i in 1:trials) {
experiment <- sample(bag,
size = N,
replace = TRUE) # 復元抽出
sim1[i] <- mean(experiment) # i 回目の平均値を保存
}
df_sim1 <- tibble(avg = sim1)
h_sim1 <- ggplot(df_sim1, aes(x = avg)) +
geom_histogram(binwidth = 1,
boundary = 0.5,
color = "black") +
labs(x = "2枚のカードの平均値",
y = "度数") +
ggtitle("SIM1: N = 2, 繰返回数 = 10") +
scale_x_continuous(breaks = 0:9) +
geom_vline(xintercept = mean(df_sim1$avg), # 平均値に縦線を引く
col = "lightgreen") +
theme_bw(base_size = 14,base_family = "HiraKakuPro-W3") # 文字化けしないためのコマンド（マックユーザのみ）
plot(h_sim1) # 結果を可視化して表示
- 正規分布には見えない
# A tibble: 10 × 1
avg
<dbl>
1 2.5
2 6
3 6
4 2.5
5 3.5
6 2
7 4.5
8 3.5
9 3.5
10 4.5- この実験で得られた平均値を知りたければ次のコマンドを実行すればよい
[1] 3.85sim2: 標本サイズ = 5, 繰り返し回数 = 100
- カードを 5 枚引く作業を 100 回繰り返してみる
bag <- 0:9 # 人工的にカードを作成
N <- 5 # 標本サイズ（カードを 5 枚選ぶ）
trials <- 100 # 実験の繰り返し回数 = 100
sim2 <- rep(NA, length.out = trials) # 結果の保存容器
for (i in 1:trials) {
experiment <- sample(bag,
size = N,
replace = TRUE) # 復元抽出
sim2[i] <- mean(experiment) # i 回目の平均値を保存
}
df_sim2 <- tibble(avg = sim2)
h_sim2 <- ggplot(df_sim2, aes(x = avg)) +
geom_histogram(binwidth = 1,
boundary = 0.5,
color = "black") +
labs(x = "5 枚のカードの平均値",
y = "度数") +
ggtitle("SIM2: N = 5, 繰返回数 = 100") +
scale_x_continuous(breaks = 0:9) +
geom_vline(xintercept = mean(df_sim2$avg), # 平均値に縦線を引く
col = "lightgreen") +
theme_bw(base_size = 14,base_family = "HiraKakuPro-W3")
plot(h_sim2)
- 正規分布には見えない
# A tibble: 100 × 1
avg
<dbl>
1 4.6
2 2.4
3 3.8
4 4.4
5 5.2
6 3.8
7 5.6
8 5.4
9 5.2
10 2.2
# ℹ 90 more rows- この実験で得られた平均値を知りたければ次のコマンドを実行すればよい
[1] 4.606sim3: 標本サイズ = 100, 繰り返し回数 = 1000
- カードを 100 枚選ぶ作業を 1000 回繰り返してみる
bag <- 0:9 # 人工的にカードを作成
N <- 100 # 標本サイズ（カードを 100 枚選ぶ）
trials <- 1000 # 実験の繰り返し回数
sim3 <- rep(NA, length.out = trials) # 結果の保存容器
for (i in 1:trials) {
experiment <- sample(bag, size = N, replace = TRUE) # 復元抽出
sim3[i] <- mean(experiment) # i 回目の平均値を保存
}
df_sim3 <- tibble(avg = sim3)
h_sim3 <- ggplot(df_sim3, aes(x = avg)) +
geom_histogram(binwidth = 0.125,
color = "black") +
labs(x = "100枚のカードの平均値", y = "度数")+
ggtitle("SIM3: N = 100, 繰返回数 = 1000") +
scale_x_continuous(breaks = 0:9) +
geom_vline(xintercept = mean(df_sim3$avg), # 平均値に縦線を引く
col = "lightgreen") +
theme_bw(base_size = 14,base_family = "HiraKakuPro-W3")
plot(h_sim3)
# A tibble: 1,000 × 1
avg
<dbl>
1 4.45
2 4.83
3 4.33
4 4.59
5 4.42
6 4.17
7 4.39
8 4.5
9 4.32
10 4.13
# ℹ 990 more rows- この実験で得られた平均値を知りたければ次のコマンドを実行すればよい
[1] 4.48991- N = 2 と N = かなり正規分布に近くなったことがわかる
まとめ ・元になる母集の分布は一様分布でも、サンプルサイズ N を増やすと「平均値の分布」は正規分布に近づく
→サンプルサイズ N が十分大きい（大まかな目安はN >100）とき、正規分布を使って統計的推定や検定を行うことが許される
5.5 母比率の推定（ベルヌーイ分布）
- ここでは政権支持率を事例として、母集団の母比率を推定してみる
- 「あなたは現政権を支持しますか？」というサーベイを実施したとする
- サンプル数 N = 5
上図の右側
- 得られたサンプルは 支持、支持、支持、支持、不支持だったとする
- 便宜上、「支持」を 1、「不支持」を 0 と表してみる
→ 確率変数 \(X_i\) が 1 か 0 の値をとる
- 母比率の 95% 信頼区間を求める
- 0 か 1 の分布 → \(X_i (i = 1, 2, ... n)\) はベルヌーイ分布に従う
ベルヌーイ分布とは ・「当選か落選か」「表か裏か」「合格か不合格か」のように２種類のみの結果しか得られないような実験や試行（ベルヌーイ試行）の結果を0と1で表した分布
・1である確率が \(p\) であるとき、0である確率は \(1-p\) となるシンプルな確率分布
・\(k\)・・・成功か失敗を表すパラメータ（1は成功、0は失敗を表す）
・\(p\)・・・成功確率
ベルヌーイ分布の期待値（＝平均）
\[E(X) =\sum kP(X = k) = p\]
ベルヌーイ分布の分散
\[V(X) = E(X^2)-(E(X))^2\\ = p(1-p)\]
- 標本平均 (\(\bar{X}\)) の分散 =
\(\frac{p(1-p)}{n}\)
- 標本平均 (\(\bar{X}\))の標準偏差 =
\(\sqrt{\frac{p(1-p)}{n}}\)
- 信頼度95%で母平均 μ を推定するためには
→ つまり、正規分布で95%を占める面積にするためには
→ 標本平均の標準偏差 \(\sqrt{\frac{p(1-p)}{n}}\) の 1.96倍だけ標本平均 \(\mu\) から離れれば良い
- 母集団から無作為抽出した標本平均 (\(\bar{X}\)) が95%で成り立つ式は次のとおり
\[p−1.96\sqrt{\frac{p(1-p)}{n}}≦ \bar{X} ≦ p+ 1.96\sqrt{\frac{p(1-p)}{n}}\]
- \(\bar{X} = \frac{X_1 + X_2 + .... +X_n}{n}=R\)（標本比率） なので（中心極限定理より）
\[R−1.96\sqrt{\frac{p(1-p)}{n}}≦ p≦ R+ 1.96\sqrt{\frac{p(1-p)}{n}}\]
- 式に \(p\) が含まれている
- 母比率 \(p\)
は標本からは直接知ることができない
→ \(p\) の区間が絞れないので、95%信頼区間を計算できない
→ 推定できない
n が十分大きい
→ \(p\) を評価できる形にし、式を変形できる
- n が十分大きい → \(p\) はほとんど \(R\) に近い（大数の法則）
大数の法則 ・独立で同じ分布からなる確率変数の標本平均は母平均に収束する
\[R−1.96\sqrt{\frac{p(1-p)}{n}}≦ p≦ R+ 1.96\sqrt{\frac{p(1-p)}{n}}\]
- \(\frac{\sqrt{p(1-p)}}{{n}}\) を \(\frac{\sqrt{R(1-R)}}{{n}}\) に置き換える
- 上の式は次のように置き換えることができる
（推定したい真ん中の \(p\) は置き換えない）
\[R−1.96\sqrt{\frac{R(1-R)}{n}}≦ p≦ R+ 1.96\sqrt{\frac{R(1-R)}{n}}\] → 95%信頼区間
練習問題
Q:
早稲田大学で無作為に100人の学生に「現政権を支持しているか？」と聞いたところ、75人が「支持する」と回答した
早大生の政権支持率を信頼度95%で推定しなさい
A:
100人中75人は 0.75 に相当なので標本比率 \(R=0.75\) は
n = 100 とここで得られた \(R=0.75\) を下の式に代入する
\[R−1.96\sqrt{\frac{R(1-R)}{n}}≦ p≦ R+ 1.96\sqrt{\frac{R(1-R)}{n}}\]
\[0.75-1.96\sqrt{\frac{0.25}{100}}≦ p≦ 0.75+1.96\sqrt{\frac{0.25}{100}}\]
\[0.75-1.96\frac{0.5}{10}≦ p≦
0.75+1.96\frac{0.5}{10}\]
\[0.75-0.0098≦ p≦ 0.75
+ 0.0098\] \[0.74≦ p≦
0.76\]
- これが95% 信頼区間
5.6 母分散の推定（カイ二乗分布）
- 母平均も母分散も未知だとする
- 知りたいのは「母分散」
- 実生活で母分散を知りたい状況の例：
・スタバで提供されているコーヒーの量のばらつき
・工場で生産されているネジの直径のばらつき
- 母集団は正規分布していると仮定
- 推定では標本から作ることができる分散の分布が必要
- 推定から作る分散がどのような分布に従うか？
→ カイ二乗 \(\chi^2\) を使う
カイ二乗 \(\chi^2\) の定理 ・分散 \(\sigma^2\) の正規分布に従う独立な確率変数
\(X_1, X_2,..., X_n\)
があるとする
・このとき
\[T =
\frac{(n-1)U^2}{\sigma^2}\]
は自由度 \(n-1\) の \(\chi^2\) 分布に従う
・\(U\): 不偏分散
・\(\sigma^2\): 母分散
・n 個の標本を抽出
・\(T\) の確率変数が\(\chi^2\) 分布に従う
・式の右辺は \(U\) だけが確率変数
→ \(T\) が自由度 \(n-1\) の\(\chi^2\) 分布に従う
→ 不偏分散 \(U\) が従う形が自由度
\(n-1\) の\(\chi^2\) 分布
\(T\) という確率変数を想定する理由
\[T = \frac{(n-1)U^2}{\sigma^2}\]
- 上の式は、下のように書き換えることができる
\[T = (\frac{X_1-\bar{X}}{\sigma})^2 + (\frac{X_2-\bar{X}}{\sigma})^2 +...+ (\frac{X_n-\bar{X}}{\sigma})^2\]
- \(\sigma^2\)・・・母分散
- \(\sigma\)・・・標準偏差
- \(X_1-\bar{X}\)・・・\(X_1\)が標本平均からどれだけ離れているか
- \((\frac{X_1-\bar{X}}{\sigma})^2\)・・・平均からのずれの程度
\(T\) が表しているもの ・それぞれの標本 \(X_1, X_2,..., X_n\) が、標本平均 \(\bar{X}\) からどれくらいずれているかの合計
\[T = (\frac{X_1-\bar{X}}{\sigma})^2 +
(\frac{X_2-\bar{X}}{\sigma})^2
+...+ (\frac{X_n-\bar{X}}{\sigma})^2\]
\[= \frac{n-1}{\sigma^2}\frac{(X_1-\bar{X})^2
+ (X_2-\bar{X})^2 + (X_n-\bar{X})^2}{n-1}\]
・上の式の右半分である \(\frac{(X_1-\bar{X})^2 + (X_2-\bar{X})^2 + (X_n-\bar{X})^2}{n-1}\) は不偏分散 \(U^2\) なので
\[= \frac{(n-1)U^2}{\sigma^2}\]
カイ二乗分布の形状に従う意味を考えてみる
- 例えば、自由度 3 の場合、\(t\)
の値が小さい (1 のあたり) に確率が集中している
- 自由度が 5, 10, 20 と大きくなると、次第に \(t\) の値が大きいところに確率が集中している
自由度（サンプル数）が小さい時
→ 標本平均と標本の値のずれは小さい
→ t の値は小さい
自由度（サンプル数）が大きい時
→ 標本平均と標本の値のずれは大きい
→ t の値は大きい
練習問題
- 母平均も母分散も不明の母集団から 10 個の標本をランダムに抽出
- 信頼度95%の信頼区間で母集団の分散を推定する
- 標本平均 \(\bar{X}\) = 5.8
- 不偏分散 \(U^2\) = 10
解答
- サンプル数 (n = 10) なので自由度9 (10-1)のカイ2乗分布を考える
- 自由度 (df) 9 のカイ2乗分布は下図の左側のような形をしている
- 上図の右側にあるカイ2乗分布表を使って、信頼度95%の信頼区間に収まるための値(\(\chi^2\)値)を調べる
- 5%の棄却域を左側と右側で確率（＝面積）を均等に配分する
- 自由度 9 の下側2.5%点の値・・・ 2.7
- 自由度 9 の上側2.5%点の値・・・ 19.2
\(T\) という確率変数が表しているもの （＝カイ2乗値: \(\chi^2\)） ・それぞれの標本 \(X_1, X_2,..., X_n\) が、標本平均 \(\bar{X}\) からどれくらいずれているかの合計（＝カイ2乗値: \(\chi^2\)）
\[T = \frac{(n-1)U^2}{\sigma^2}\]
- 次の式を満たす確率が 95%ということ
\[2.7 ≦ \frac{(n-1)U^2}{\sigma^2}≦ 19.2\]
- ここで求めたいのは母分散 \(\sigma^2\) に対する評価
→ \(\sigma^2\) で式を整理してみる
\[\frac{(n-1)U^2}{19.2}≦ \sigma^2 ≦ \frac{(n-1)U^2}{2.7}\]
- 上の式に n = 10, \(U^2 = 9.2\) を代入すると
\[\frac{82.8}{19.2}≦ \sigma^2 ≦ \frac{82.8}{2.7}\] \[4.3 ≦ \sigma^2 ≦ 30.7\]
- これが信頼度 95%の信頼区間
II. 仮説検定
6. 母平均の検定
統計的検定：
母集団に関する仮説を、標本から得た情報に基づき検証すること
- 統計的検定で使う数学的手法は、推定の際に使った手法とほぼ同じ
- 論証の手法が独特（確率論特有な方法で論証する）.
6.1 母分散が未知の場合（両側検定）
- 母集団から 4個の標本（テストの点数）をランダムに抽出
- 母集団は「正規分布」していると想定
- 推定したい母平均も母分散も未知だとする
- 4個の標本平均・・・493.3点
- 4個の不偏標準偏差・・・95.7点
- この事実から「母平均は 300点」だといえるか?
- 有意水準5%で母集団の平均点を推定する
仮説検定の手順
1. 帰無仮説 (null hypothesis) を決める
\(H_0\)：母平均は300点・・・否定したい仮説
→ \(\mu = 300\)
2. 対立仮説 (alternative hypothesis) を決める
\(H_1\)：母平均は
300点ではない・・・主張したい仮説
→ \(\mu < 300\) もしくは \(\mu > 300\)
→ 両側検定
3. 相手の主張（帰無仮説 \(H_0\)）を認める
- 対立仮説 \(H_1\)
のもとで、対象となる統計量の分布を調べる
- 「一応、母平均が 300点だとしましょう」と認める
4. 有意水準 \(\alpha\)
を決める（通常は 0.05 = 5%）
5. t 分布表上で \(H_1\) に有利な棄却域を設定する
- 標本平均 \(\bar{X}\)
の分布を調べる
- 自由度 \(df\) と有意水準 \(\alpha\) ごとの閾値を調べる
- その際、対抗仮説 \(H_1\)
の有利になるような棄却域を設定する
- 「\(H_1\)：母平均は
300点ではない」という主張にとって、棄却域が二つある方が有利
→ 有意水準5%を二つに分けて上側 2.5% と下側 2.5% に分割する
→ これが両側検定
- 自由度 = 3、有意水準 5% の閾値は 3.182
5. 標本から得られた t 値を計算する
定理 ・平均 \(\mu\)、分散 \(\sigma^2\) の正規分布に従う独立な確率変数
\(X_1, X_2,... X_n\) があるとする
このとき、
\[T = \frac{\bar{X} - \mu}{\frac{U}{\sqrt{n}}}\]
は自由度 \(n-1\) の \(t\) 分布に従う
- 上の式に次の値を代入して T を計算する
- \(\bar{X}=493.3\)
- \(\mu = 300\)
- \(U = 95.3\)
- \(n = 4\)
\[T = \frac{\bar{X} -
\mu}{\frac{U}{\sqrt{n}}}\]
\[=
\frac{493.3-300}{\frac{95.3}{\sqrt{4}}}\]
\[= \frac{193.3}{47.65}=4.06\]
\[T = \frac{\bar{X} - \mu}{\frac{U}{\sqrt{n}}} = \frac{493.3-300}{\frac{95.3}{\sqrt{4}}}= \frac{193.3}{47.65}=4.06\]
6. 検定
標本から得られた t 値 (4.06) が棄却域 (3.182以上) にある
→ 帰無仮説「\(H_0:\) 母平均は
300点」を棄却
→ 対抗仮説を受け入れる「母平均は 300点以上」（平均点が493点だから）
標本から得られた t 値が棄却域外にある
→ 帰無仮説を棄却できず
6.2 母分散が未知の場合（片側検定）
同じ帰無仮説でも、帰無仮説の立て方で、異なる結果が得られることがある
- 母集団から 4個の標本（テストの点数）をランダムに抽出
- 母集団は「正規分布」していると想定
- 推定したい母平均も母分散も未知だとする
- 4個の標本平均・・・493.3点
- 4個の不偏標準偏差・・・95.7点
- この事実から「母平均は 300点以下」だといえるか?
- 有意水準5%で母集団の平均点を推定する
仮説検定の手順
1. 帰無仮説 (null hypothesis) を決める
\(H_0\)：母平均は300点以下・・・否定したい仮説
→ \(\mu < 300\)
2. 対立仮説 (alternative hypothesis) を決める
\(H_1\)：母平均は
300点以上・・・主張したい仮説
→ \(\mu > 300\)
→ 片側検定
3. 相手の主張（帰無仮説 \(H_0\)）を認める
- 対立仮説 \(H_1\)
のもとで、対象となる統計量の分布を調べる
- 「一応、母平均が 300点だとしましょう」と認める
4. 有意水準 \(\alpha\)
を決める（通常は 0.05 = 5%）
5. t 分布表上で \(H_1\) に有利な棄却域を設定する
- 標本平均 \(\bar{X}\)
の分布を調べる
- 自由度 \(df\) と有意水準 \(\alpha\) ごとの閾値を調べる
- その際、対抗仮説 \(H_1\)
の有利になるような棄却域を設定する
- 「\(H_1\)：母平均は
300点以上」という主張にとって、有利なゾーンを設定する
→ 棄却域が大きい方にある方が（帰無仮説が棄却されやすいから、対抗仮説には）有利
→ 有意水準5%を上側5%に設定する
→ これが片側検定
5. 標本から得られた t 値を計算する
定理 ・平均 \(\mu\)、分散 \(\sigma^2\) の正規分布に従う独立な確率変数
\(X_1, X_2,... X_n\) があるとする
このとき、
\[T = \frac{\bar{X} - \mu}{\frac{U}{\sqrt{n}}}\]
は自由度 \(n-1\) の \(t\) 分布に従う
- 上の式に次の値を代入して T を計算する
- \(\bar{X}=493.3\)
- \(\mu = 300\)
- \(U = 95.3\)
- \(n = 4\)
\[T = \frac{\bar{X} -
\mu}{\frac{U}{\sqrt{n}}}\]
\[=
\frac{493.3-300}{\frac{95.3}{\sqrt{4}}}\]
\[= \frac{193.3}{47.65}=4.06\]
\[T = \frac{\bar{X} - \mu}{\frac{U}{\sqrt{n}}} = \frac{493.3-300}{\frac{95.3}{\sqrt{4}}}= \frac{193.3}{47.65}=4.06\]
6. 検定
標本から得られた t 値 (4.06) が棄却域 (2.353以上) にある
→ 帰無仮説「\(H_0:\) 母平均は
300点以下」を棄却
→ 対抗仮説を受け入れる「母平均は 300点以上」（平均点が493点だから）
標本から得られた t 値が棄却域外にある
→ 帰無仮説を棄却できず
Rを使って確認（片側検定）
One Sample t-test
data: test
t = 4.0408, df = 3, p-value = 0.01364
alternative hypothesis: true mean is greater than 300
95 percent confidence interval:
380.7004 Inf
sample estimates:
mean of x
493.25