十の並列した脳

何でも勉強する，毎週月木曜に投稿予定

確率・統計の勉強 #9 確率分布を定義する関数

統計学 問題演習を通して理解する基礎統計勉強会まとめ

藤田 岳彦「弱点克服大学生の確率・統計」：

 

弱点克服大学生の確率・統計

弱点克服大学生の確率・統計

 

 

前回↓

 

ryosuke-okubo.hatenablog.com

 


本記事では「確率母関数」「モーメント母関数」について，練習問題を通して解説する。両者とも，確率分布を定義する関数として解析的に用いられる。

 

問題

問題45 確率母関数，問題46 モーメント母関数より改題

(1) 2項分布を確率母関数g_X(t)で表し，その確率母関数から期待値E(B(n,p))と分散V(B(n,p))を導出せよ。

 

(2) 正規分布をモーメント母関数M_{N(\mu,\sigma)}(\alpha)で表し，そのモーメント母関数から期待値と分散を導出せよ。

 

解説

確率母関数(1)

確率変数Xは0以上の整数値とする。確率分布P(X=k)に対して，

{\displaystyle g_X(t) = E(t^X) = \sum_{k=0}^{\infty} P(X=k) t^k}

をXの確率母関数という。

 

確率母関数の性質として，以下のものが重要である。 これらは定義より確認できる。

  • g_X(1) = 1
  • g'_X(t) =E(Xt^{X-1})より，E(X) = g'_X(1)
  • g''_X(1) =E(X(X-1))より，V(X) = g''_X(1) + g'_X(1) - (g'_X(1))^2

 

 (1)

確率母関数の定義より，

{\displaystyle g_{B(n,p)}(t) = E(t^{B(n,p)}) = \sum_{k=0}^{n} \binom nk p^k (1-p)^{n-k} t^k }

整理して2項定理を用いると，

{\displaystyle \sum_{k=0}^{n} \binom nk (pt)^k (1-p)^{n-k} = (1-p-pt)^n}

 

よって2項分布の確率母関数はg_{B(n,p)}(t) = (1-p-pt)^nと表される。

 

g'_{B(n,p)}(t) = n(1-p-pt)^{n-1}pなので，期待値は

E(B(n,p)) = g'_{B(n,p)}(1) = np

 

g''_{B(n,p)}(t) = n(n-1)(1-p-pt)^{n-2}p^2より，分散は

V(B(n,p)) = g''_{B(n,p)}(1) + g'_{B(n,p)}(1) - (g'_{B(n,p)}(1))^2 \\ = np(1-p)

 

その他，代表的な確率母関数を列挙する。

  • 幾何分布：{\displaystyle g_{Ge(p)}(t) = \frac{p}{1-(1-p)t}, \ \Biggl( |t| \lt \frac{1}{1-p} \Biggl) }

 

モーメント母関数(2)

確率母関数では離散確率分布のみが対象であるのに対して，モーメント母関数は連続確率分布においても定義が可能である。モーメント母関数は，確率変数Xに対して

M_X(\alpha) = E(e^{\alpha X})

と定義される。 

 

確率母関数と似たような性質が，モーメント母関数においても当てはまる。

  • M_X(0) = 1
  • M'_X(\alpha) = E(Xe^{\alpha X})より，E(X) = M'_X(0)
  • M''_X(\alpha) = E(X^2 e^{\alpha X})より，V(X) = M''_X(0) - (M'_X(0))^2

 

(2)

Y \sim N(\mu,\sigma)とすると，Yの標準化{\displaystyle \frac{Y-\mu}{\sigma} = X \sim N(0,1)}より，Y = \mu + \sigma X

 

モーメント母関数の定義より，

M_Y(\alpha) = E(e^{\alpha(\mu + \sigma X)})

整理して，

= e^{\alpha \mu}E(e^{\alpha \sigma X}) = e^{\alpha \mu} M_X(\alpha \sigma)

ここで，標準正規分布のモーメント母関数は

{\displaystyle M_{N(0,1)}(\alpha) = e^{\frac{\alpha^2}{2}}}

であることは，#7で触れた。 

ryosuke-okubo.hatenablog.com

 これを用いると，

{\displaystyle = e^{\alpha \mu} e^{\frac{\alpha^2 \sigma^2}{2}} = e^{\alpha \mu + \frac{\alpha^2 \sigma^2}{2}}}

 

よって正規分布のモーメント母関数M_{N(\mu,\sigma)}(\alpha)は{\displaystyle e^{\alpha \mu + \frac{\alpha^2 \sigma^2}{2}}}と表される。

 

M'_Y(\alpha) = (\mu + \sigma^2 \alpha) M_Y(\alpha)より，

E(Y) = \mu M'_Y(0) = \mu

 

M''_Y(\alpha) = \sigma^2 M_Y(\alpha) + (\mu + \sigma^2 \alpha)^2 M_Y(\alpha)より，

V(X) = M''_Y(0) - (M'_Y(0))^2 = \sigma^2

 

その他，代表的なモーメント母関数を列挙する。

  • 指数分布：{\displaystyle M_{Exp(\lambda)}(\alpha) = \frac{\lambda}{\lambda - \alpha}}, \ (\alpha \lt \lambda)
  • ガンマ分布：{\displaystyle M_{\Gamma(p,\lambda)}(\alpha) = \Biggl( \frac{\lambda}{\lambda - \alpha} \Biggl) ^p, \ (\alpha \lt \lambda)}

 

より一般的な話題

もう少しモーメント母関数の性質について見ていく。

 

モーメント

まずはモーメントの定義を示す。確率変数X，定数\alphaについてn次モーメントは，

E( (X-\alpha)^n )

で定義される。変形して，

  • 離散：{\displaystyle \sum_{i=0}^{\infty} (x_i - \alpha)^n P(X=x_i)}
  • 連続：{\displaystyle \int_{-\infty}^{\infty} (x - \alpha)^n p(x) dx}

 

特に\alpha = 0の場合，モーメントはm_nと表される。

 

定義より，期待値と分散がモーメントで表せる。

  • 期待値：E(X^1) = m_1，1次モーメント
  • 分散：E(X^2) - (E(X^1))^2 = m_2 - m_1^2，2次中心モーメント

ここで，n次中心モーメントをm_1を用いてE( (X - m_1)^n )と定義した。

 

モーメント母関数

定義（再掲）：

M_X(\alpha) = E(e^{\alpha X})

 

モーメント母関数をマクローリン展開すると，

{\displaystyle = E(1 + \alpha X + \frac{\alpha^2}{2!} X^2 + ... ) }

期待値の線型性より，

{\displaystyle = 1 + \alpha E(X) + \frac{\alpha^2}{2!} E(X^2)+ ... \\ \displaystyle = 1 + \alpha m_1 + \frac{\alpha^2}{2!} m_2 + ...}

 

よって，モーメント母関数をn回微分して，\alpha = 0とすることで，n次モーメントm_nが得られる。

 {\displaystyle m_n =\left. \frac{d^n M(\alpha)}{d \alpha^n}\right|_{\alpha=0} }

 

特性関数

 より一般的な概念である特性関数について紹介する。

定義：

\Phi_X(\alpha) = E(e^{i \alpha X})

モーメントの取得：

 {\displaystyle m_n =\left. \frac{1}{i^n}\frac{d^n \Phi(\alpha)}{d \alpha^n}\right|_{\alpha=0} }

 

次回↓

 

ryosuke-okubo.hatenablog.com