Meet Our Team
home

Derivation of the Probability Distribution Functions

오태호 (Taeho Oh)
오태호 (Taeho Oh)
안녕하세요. 오태호입니다.
통계학을 공부하다 보면 각종 확률분포함수(Probability Distribution Function)를 접하게 되는데 왜 이렇게 생긴 함수를 사용하는지 이해를 제대로 하지 못하고 사용하는 경우가 많이 있습니다. 통계를 잘 다루기 위해서는 각종 확률분포의 의미를 정확히 이해하는 것이 매우 중요합니다. 여기서는 각종 확률분포함수의 의미를 살펴보고 유도를 해 보도록 하겠습니다.
이해가 잘 되지 않는 확률분포함수가 있을 때 이 글을 읽어보면 이해하는데 도움을 줄 수 있을 것으로 생각합니다.

Rademacher Distribution

•
−1 이 나올 확률이 1/2 이고 +1 이 나올 확률이 1/2 입니다.
•
PX(x)={12 if x=−112 if x=+10 otherwise P_{X}(x)=\left\{\begin{array}{ll}\frac{1}{2} & \text { if } x=-1 \\\frac{1}{2} & \text { if } x=+1 \\0 & \text { otherwise }\end{array}\right.

Bernoulli Distribution

•
1이 나올 확률이 pp이고 0이 나올 확률이 1−p1-p입니다.
•
X∼ Bernoulli (p)X \sim \text { Bernoulli }(p)
•
PX(x)={  if x=11−p if x=00 otherwise P_{X}(x)=\left\{\begin{array}{ll} & \text { if } x=1 \\1-p & \text { if } x=0 \\0 & \text { otherwise }\end{array}\right.

Geometric Distribution

•
 Bernoulli (p)\text { Bernoulli }(p) 시도를 xx번 할 때 x−1x - 1번 나오고 1이 xx번째에 나올 확률입니다.
•
X∼Geometric⁡(p)X \sim \operatorname{Geometric}(p)
•
PX(x)={1, if x=1,2,3,⋯0 otherwise P_{X}(x)=\left\{\begin{array}{ll}1, & \text { if } x=1,2,3, \cdots \\0 & \text { otherwise }\end{array}\right.

Pascal Distribution

•
Negative Binomial Distribution이라고도 부릅니다.
•
Pascal Distribution은 사용하는 사람마다 조금씩 다른 의미로 정의하는 경우가 많아서 주의가 필요합니다.
•
Geometric Distribution의 일반형입니다.
•
 Bernoulli (p)\text { Bernoulli }(p) 시도를 xx번 할 때 x−1x - 1번 시도할 때까지 m−1m-1번 1이 나오고 xx번째 시도에서 mm번째 1이 나올 확률입니다.
•
X∼Pascal⁡(m,p)X \sim \operatorname{Pascal}(m, p)
•
PX(x)={(x−1m−1)pm(1−p)x−m if x=m,m+1,m+2,⋯0 otherwise P_{X}(x)=\left\{\begin{array}{ll}\binom{x-1}{m-1} p^{m}(1-p)^{x-m} & \text { if } x=m, m+1, m+2, \cdots \\0 & \text { otherwise }\end{array}\right.

Binomial Distribution

•
Bernoulli(p)Bernoulli(p) 시도를 nn 번 할 때 그중에 11 이 xx 번 나올 확률입니다.
•
X∼Binomial(n,p)X \sim Binomial(n,p)
•
PX(x)={(nx)px(1−p)n−x if x=0,1,2,⋯ ,n0 otherwise \begin{array}{c} P_X(x)=\begin{cases}\binom{n}{x}p^x(1-p)^{n-x} & \text{ if } x = 0, 1, 2, \cdots, n \\0 & \text{ otherwise }\end{cases} \end{array}

Multinomial Distribution

•
Binomial Distribution의 일반형입니다.
•
kk 가지의 다른 색을 가지고 있는 공이 주머니에 있을 때 11 번 색 공을 x1x_1 개 뽑고, 22 번 색 공을 x2x_2 개 뽑고, …, kk 번 색 공을 xkx_k 개 뽑을 확률입니다. 여기서 ii 번 색 공이 뽑힐 확률은 pip_i 이고, 총 뽑는 공의 갯수는 nn 개 이며, 공은 하나 뽑아서 색을 확인한 후 다시 주머니에 넣습니다.
•
(X1,X2,⋯ ,Xk)∼Multinomial(n,p1,p2,⋯ ,pk)(X_1, X_2, \cdots, X_k) \sim Multinomial(n, p_1, p_2, \cdots, p_k)
•
PX1,X2,⋯ ,Xk(x1,x2,⋯ ,xk)={n!x1!x2!⋯xk!p1x1p2x2⋯pkxk if ∑i=1kxi=n0 otherwise \begin{array}{c} P_{X_1, X_2, \cdots, X_k}(x_1, x_2, \cdots, x_k) =\begin{cases}\frac{n!}{x_1! x_2! \cdots x_k!}p_1^{x_1} p_2^{x_2} \cdots p_k^{x_k} & \text{ if } \sum_{i=1}^kx_i=n \\0 & \text{ otherwise }\end{cases} \end{array}

Hypergeometric Distribution

•
bb 개의 파란 공과 rr 개의 빨간 공이 주머니에 있을 때 kk 개의 공을 뽑았을 때 xx 개의 파란 공을 뽑을 확률입니다.
•
X∼Hypergeometric(b,r,k)X \sim Hypergeometric(b,r,k)
•
PX(x)={(bx)(rk−x)(b+rk) if max⁡(0,k−r)≤x≤min⁡(k,b)0 otherwise \begin{array}{c} P_X(x)=\begin{cases}\frac{\binom{b}{x}\binom{r}{k-x}}{\binom{b+r}{k}} & \text{ if } \max(0, k-r) \leq x \leq \min(k, b) \\0 & \text{ otherwise }\end{cases} \end{array}

Poisson Distribution

•
한 달에 λ\lambda 번의 고장이 평균적으로 발생하는 기계가 한 달 동안에 xx 번의 고장이 발생할 확률입니다.
•
X∼Poisson(λ)X \sim Poisson(\lambda)
•
PX(x)={e−λλxx! if x=0,1,2,⋯0 otherwise \begin{array}{c} P_X(x)=\begin{cases}\frac{e^{-\lambda}\lambda^x}{x!} & \text{ if } x=0,1,2,\cdots \\0 & \text{ otherwise }\end{cases} \end{array}
•
한 달을 nn 개의 구간으로 나누면 한 구간에 고장이 발생할 확률은 λn\frac{\lambda}{n} 이 됩니다. X∼Binomial(n,λn)X \sim Binomial(n, \frac{\lambda}{n}) 에서 n→∞n \to \infty 가 되면 X∼Poisson(λ)X \sim Poisson(\lambda) 이 됩니다.
PX(x)=lim⁡n→∞(nx)(λn)x(1−λn)n−x=λxlim⁡n→∞n!x!(n−x)!(1nx)(1−λn)n(1−λn)−x=λxx!lim⁡n→∞n(n−1)⋯(n−x+1)nx(1+(−λn))(−nλ)(−λ)(1−λn)−x=λxx!1⋅e−λ⋅1=e−λλxx!\begin{aligned}P_X(x)&=\lim_{n \to \infty}\binom{n}{x}(\frac{\lambda}{n})^x(1-\frac{\lambda}{n})^{n-x} \\&=\lambda^x\lim_{n \to \infty}\frac{n!}{x!(n-x)!}(\frac{1}{n^x})(1-\frac{\lambda}{n})^n(1-\frac{\lambda}{n})^{-x} \\&=\frac{\lambda^x}{x!}\lim_{n \to \infty}\frac{n(n-1)\cdots(n-x+1)}{n^x}(1+(-\frac{\lambda}{n}))^{(-\frac{n}{\lambda})(-\lambda)}(1-\frac{\lambda}{n})^{-x} \\&=\frac{\lambda^x}{x!} 1 \cdot e^{-\lambda} \cdot 1 \\&=\frac{e^{-\lambda}\lambda^x}{x!}\end{aligned}

Uniform Distribution

•
aa 와 bb 사이의 값이 균일한 확률로 xx 가 뽑힙니다.
•
X∼Uniform(a,b)X \sim Uniform(a,b)
•
fX(x)={1b−a if a<x<b0 otherwise \begin{array}{c} f_X(x)=\begin{cases}\frac{1}{b-a} & \text{ if } a \lt x \lt b \\0 & \text{ otherwise }\end{cases} \end{array}

Exponential Distribution

•
한 달에 λ\lambda 번의 고장이 평균적으로 발생하는 기계가 xx 달 동안 기계가 고장이 나지 않았다가 xx 달 만에 기계가 고장이 날 확률밀도입니다.
•
X∼Exponential(λ)X \sim Exponential(\lambda)
•
fX(x)={λe−λx if x≥00 if x<0\begin{array}{c} f_X(x) =\begin{cases}\lambda e^{-\lambda x} & \text{ if } x \geq 0 \\0 & \text{ if } x \lt 0\end{cases} \end{array}
•
xx 달 동안 기계가 고장이 나지 않을 확률은 Poisson Distribution을 이용해 계산해 보면 다음과 같습니다. e−λx(λx)00!=e−λx\frac{e^{-\lambda x}(\lambda x)^0}{0!}=e^{-\lambda x}
•
xx 달 동안 기계가 고장이 나지 않았다가 xx 달 이후에 기계가 고장이 날 확률은 다음과 같습니다. FX(x)=1−e−λxF_X(x)=1-e^{-\lambda x}
•
xx 달 동안 기계가 고장이 나지 않았다가 xx 달 만에 기계가 고장이 날 확률밀도는 다음과 같습니다. fX(x)=λe−λxf_X(x)=\lambda e^{-\lambda x}

Laplace Distribution

•
Double Exponential Distribution이라고도 부릅니다. 한 달에 λ\lambda 번의 고장이 평균적으로 발생하는 기계가 두 대 있을 때 첫 번째 기계가 고장나는데 걸리는 시간은 X1∼Exponential(λ)X_1 \sim Exponential(\lambda) 달이고, 두 번째 기계가 고장나는데 걸리는 시간은 X2∼Exponential(λ)X_2 \sim Exponential(\lambda) 달일 때, 두 기계가 고장나는데 걸리는 시간의 차는 Y=X1−X2∼Laplace(0,1λ)Y = X_1 - X_2 \sim Laplace(0, \frac{1}{\lambda}) 가 됩니다.
•
X∼Laplace(μ,b)X \sim Laplace(\mu, b)
•
fX(x)=12bexp⁡(−∣x−μ∣b)f_X(x)=\frac{1}{2b}\exp(-\frac{\left | x - \mu \right |}{b})
•
X1X_1 과 X2X_2 가 independent, X1∼Exponential(λ)X_1 \sim Exponential(\lambda), X2∼Exponential(λ)X_2 \sim Exponential(\lambda) 이면 Y=X1−X2∼Laplace(0,1λ)Y=X_1-X_2 \sim Laplace(0, \frac{1}{\lambda}) 임은 다음과 같이 증명합니다.
fX1(x1)=λe−λx1fX2(x2)=λe−λx2fX1X2(x1,x2)=λ2e−λ(x1+x2)if y≤0FY(y)=P(Y≤y)=P(X1−X2≤y)=P(X2≥X1−y)=∫0∞∫x1−y∞fX1X2(x1,x2)dx2dx1=∫0∞∫x1−y∞λ2e−λ(x1+x2)dx2dx1=∫0∞[λ2e−λx1(−1λe−λx2)]x1−y∞dx1=∫0∞λeλye−2λx1dx1=[λeλy(−12λe−2λx1)]0∞=λeλy12λ=12eλyfY(y)=12λeλy(y≤0)if y>0FY(y)=P(Y≤y)=1−P(Y>y)=1−P(X1−X2>y)=1−P(X2<X1−y)=1−∫y∞∫0x1−yfX1X2(x1,x2)dx2dx1=1−∫y∞∫0x1−yλ2e−λ(x1+x2)dx2dx1=1−∫y∞[λ2e−λx1(−1λe−λx2)]0x1−ydx1=1−∫y∞(−λeλye−2λx1+λe−λx1)dx1=1−[−λeλy1−2λe−2λx1+λ1−λe−λx1]y∞=1−12e−λyfY(y)=12λe−λy(y>0)fY(y)=12λe−λ∣y∣\begin{aligned} f_{X_1}(x_1)&=\lambda e^{-\lambda x_1} \\f_{X_2}(x_2)&=\lambda e^{-\lambda x_2} \\f_{X_1 X_2}(x_1, x_2)&=\lambda^2 e^{-\lambda(x_1+x_2)} \\\text{if } y \le 0 \\F_Y(y)&=P(Y \le y) \\&=P(X_1-X_2 \le y) \\&=P(X_2 \ge X_1-y) \\&=\int_0^\infty\int_{x_1-y}^\infty f_{X_1 X_2}(x_1,x_2)dx_2 dx_1 \\&=\int_0^\infty\int_{x_1-y}^\infty \lambda^2 e^{-\lambda(x_1+x_2)}dx_2 dx_1 \\&=\int_0^\infty \left [ \lambda^2 e^{-\lambda x_1}(-\frac{1}{\lambda}e^{-\lambda x_2}) \right ]_{x_1-y}^\infty dx_1 \\&=\int_0^\infty \lambda e^{\lambda y}e^{-2\lambda x_1}dx_1 \\&=\left [ \lambda e^{\lambda y}(-\frac{1}{2\lambda}e^{-2\lambda x_1}) \right ]_0^\infty \\&=\lambda e^{\lambda y} \frac{1}{2 \lambda} \\&=\frac{1}{2}e^{\lambda y} \\f_Y(y)&=\frac{1}{2}\lambda e^{\lambda y} \hspace{2em}(y \le 0) \\\text{if } y > 0 \\F_Y(y)&=P(Y \le y) \\&=1-P(Y>y) \\&=1-P(X_1-X_2>y) \\&=1-P(X_2<X_1-y) \\&=1-\int_y^\infty\int_0^{x_1-y} f_{X_1 X_2}(x_1,x_2)dx_2 dx_1 \\&=1-\int_y^\infty\int_0^{x_1-y} \lambda^2 e^{-\lambda(x_1+x_2)}dx_2 dx_1 \\&=1-\int_y^\infty \left [ \lambda^2 e^{-\lambda x_1}(-\frac{1}{\lambda}e^{-\lambda x_2}) \right ]_0^{x_1-y} dx_1 \\&=1-\int_y^\infty(-\lambda e^{\lambda y}e^{-2\lambda x_1}+\lambda e^{-\lambda x_1})dx_1 \\&=1-\left [ -\lambda e^{\lambda y}\frac{1}{-2 \lambda}e^{-2\lambda x_1}+\lambda\frac{1}{-\lambda}e^{-\lambda x_1}\right ]_y^\infty \\&=1-\frac{1}{2}e^{-\lambda y} \\f_Y(y)&=\frac{1}{2}\lambda e^{-\lambda y} \hspace{2em}(y > 0) \\f_Y(y)&=\frac{1}{2}\lambda e^{-\lambda \left | y \right |} \end{aligned}

Gamma Distribution

•
α\alpha 가 양의 정수인 경우 Erlang Distribution이라고도 부릅니다.
•
Chi-squared Distribution, Exponential Distribution의 일반형입니다.
•
한 달에 λ\lambda 번의 고장이 평균적으로 발생하는 기계가 xx 달 동안 기계가 α−1\alpha-1 번 고장이 나고 xx 달 만에 기계가 α\alpha 번째 고장이 날 확률밀도입니다.
•
X∼Gamma(α,λ)X \sim Gamma(\alpha, \lambda)
•
Γ(α)=∫0∞xα−1e−xdxfX(x)={λαxα−1e−λxΓ(α) if x>00 otherwise \begin{aligned} \Gamma(\alpha)&=\int_0^\infty x^{\alpha-1}e^{-x}dx \\f_X(x)&=\begin{cases}\frac{\lambda^\alpha x^{\alpha-1}e^{-\lambda x}}{\Gamma(\alpha)} & \text{ if } x \gt 0 \\0 & \text{ otherwise }\end{cases} \end{aligned}
•
XiX_i 는 iid, Xi∼Exponential(λ)X_i \sim Exponential(\lambda) 일 때 Yα=∑i=1αXi∼Gamma(α,λ)Y_\alpha = \sum_{i=1}^{\alpha}X_i \sim Gamma(\alpha, \lambda) 가 됨을 다음과 같이 증명합니다.
MXi(s)=E(esXi)=∫0∞λe−λxesxdx=∫0∞λe−(λ−s)xdx=[−λλ−se−(λ−s)x]0∞=λλ−sMYα(s)=(MXi(s))α=(λλ−s)α∫0∞fYα(x)esxdx=∫0∞λαxα−1e−λxesxΓ(α)dx=λαΓ(α)∫0∞xα−1e−(λ−s)xdx=λαΓ(α)∫0∞xα−1e−txdx (t=λ−s)=λαΓ(α)Γ(α)tα (Γ(α)tα=∫0∞xα−1e−txdx)=(λt)α=(λλ−s)α=MYα(s)\begin{aligned}M_{X_i}(s)&=E(e^{sX_i})\\&=\int_0^\infty \lambda e^{-\lambda x}e^{sx}dx \\&=\int_0^\infty \lambda e^{-(\lambda-s)x}dx \\&=\left[ -\frac{\lambda}{\lambda-s}e^{-(\lambda-s)x} \right]_0^\infty \\&=\frac{\lambda}{\lambda-s} \\M_{Y_\alpha}(s)&=(M_{X_i}(s))^\alpha \\&=(\frac{\lambda}{\lambda-s})^\alpha \\\int_0^\infty f_{Y_\alpha}(x)e^{sx}dx&=\int_0^\infty \frac{\lambda^\alpha x^{\alpha-1}e^{-\lambda x}e^{sx}}{\Gamma(\alpha)}dx \\&=\frac{\lambda^\alpha}{\Gamma(\alpha)}\int_0^\infty x^{\alpha-1}e^{-(\lambda-s)x}dx \\&=\frac{\lambda^\alpha}{\Gamma(\alpha)}\int_0^\infty x^{\alpha-1}e^{-tx}dx & \text{ } (t=\lambda-s) \\&=\frac{\lambda^\alpha}{\Gamma(\alpha)}\frac{\Gamma(\alpha)}{t^\alpha} & \text{ } (\frac{\Gamma(\alpha)}{t^\alpha}=\int_0^\infty x^{\alpha-1}e^{-tx}dx) \\&=(\frac{\lambda}{t})^\alpha \\&=(\frac{\lambda}{\lambda-s})^\alpha \\&=M_{Y_\alpha}(s)\end{aligned}

Beta Distribution

•
은행에 가서 일을 처리하고 우체국에 가서 일을 처리할 때, 은행에서 앞에 기다리는 사람이 aa 명이고 우체국에서 앞에 기다리는 사람이 bb 명일 때 은행과 우체국에서 11 시간당 평균 λ\lambda 명을 처리하는 경우 은행에서 기다리는 시간은 X∼Gamma(a,λ)X \sim Gamma(a, \lambda) 이고 우체국에서 기다리는 시간은 Y∼Gamma(b,λ)Y \sim Gamma(b, \lambda) 이 됩니다. 이때 총 기다린 시간은 T=X+YT=X+Y 가 되며 총 기다린 시간과 은행에서 기다린 시간의 비율은 W=XX+YW=\frac{X}{X+Y} 가 됩니다. 이때 T∼Gamma(a+b,λ)T \sim Gamma(a+b, \lambda) 이고 W∼Beta(a,b)W \sim Beta(a, b) 가 됩니다.
•
X∼Beta(a,b)X \sim Beta(a, b)
•
β(a,b)=Γ(a)Γ(b)Γ(a+b)fX(x)=xa−1(1−x)b−1β(a,b)\begin{array}{c} \beta(a,b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)} \\f_X(x)=\frac{x^{a-1}(1-x)^{b-1}}{\beta(a,b)} \end{array}
•
X∼Gamma(a,λ)X \sim Gamma(a, \lambda) 이고 Y∼Gamma(b,λ)Y \sim Gamma(b, \lambda) 일 때 T=X+YT=X+Y 과 W=XX+YW=\frac{X}{X+Y} 의 Joint Distribution을 계산하여 W∼Beta(a,b)W \sim Beta(a, b) 임을 다음과 같이 증명합니다.
t=x+yw=xx+yh1(t,w)=x=twh2(t,w)=y=t(1−w)J=det⁡[∂h1∂t∂h1∂w∂h2∂t∂h2∂w]=det⁡[wt1−w−t]=tfTW(t,w)=fXY(h1(t,w),h2(t,w))∣J∣=fX(x)fY(y)t=λaxa−1e−λxΓ(a)λbyb−1e−λyΓ(b)t=λa(tw)a−1e−λtwΓ(a)λb(t(1−w))b−1e−λt(1−w)Γ(b)t=wa−1(1−w)b−1λa+bta+b−1e−λtΓ(a)Γ(b)=(Γ(a+b)Γ(a)Γ(b)wa−1(1−w)b−1)(1Γ(a+b)λa+bta+b−1e−λt)=fW(w)fT(t)T∼Gamma(a+b,λ)W∼Beta(a,b)\begin{aligned} t&=x+y \\w&=\frac{x}{x+y} \\h_1(t,w)&=x=tw \\h_2(t,w)&=y=t(1-w) \\J&=\det\begin{bmatrix}\frac{\partial h_1}{\partial t} & \frac{\partial h_1}{\partial w} \\\frac{\partial h_2}{\partial t} & \frac{\partial h_2}{\partial w}\end{bmatrix}=\det\begin{bmatrix}w & t \\1-w & -t\end{bmatrix}=t \\f_{TW}(t,w)&=f_{XY}(h_1(t,w),h_2(t,w)) \left | J \right | \\&=f_X(x)f_Y(y)t \\&=\frac{\lambda^a x^{a-1}e^{-\lambda x}}{\Gamma(a)}\frac{\lambda^b y^{b-1}e^{-\lambda y}}{\Gamma(b)}t \\&=\frac{\lambda^a (tw)^{a-1}e^{-\lambda tw}}{\Gamma(a)}\frac{\lambda^b (t(1-w))^{b-1}e^{-\lambda t(1-w)}}{\Gamma(b)}t \\&=\frac{w^{a-1}(1-w)^{b-1}\lambda^{a+b}t^{a+b-1}e^{-\lambda t}}{\Gamma(a)\Gamma(b)} \\&=(\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}w^{a-1}(1-w)^{b-1})(\frac{1}{\Gamma(a+b)}\lambda^{a+b}t^{a+b-1}e^{-\lambda t}) \\&=f_W(w)f_T(t) \\T &\sim Gamma(a+b, \lambda) \\W &\sim Beta(a, b) \end{aligned}

Dirichlet Distribution

•
Multivariate Beta Distribution이라고도 부릅니다.
•
Beta Distribution의 일반형입니다.
•
kk 가지의 장소에 가서 각각 일을 처리할 때 11 번 장소에서 α1\alpha_1 명이 앞에서 기다리고 있고, 22 번 장소에서 α2\alpha_2 명이 앞에서 기다리고 있고, …, kk 번 장소에서 αk\alpha_k 명이 앞에서 기다리고 있을 때 각각의 장소에서 11 시간당 평균 λ\lambda 명을 처리하는 경우 11 번 장소에서 기다리는 시간은 X1∼Gamma(α1,λ)X_1 \sim Gamma(\alpha_1, \lambda) 이고, 22 번 장소에서 기다리는 시간은 X2∼Gamma(α2,λ)X_2 \sim Gamma(\alpha_2, \lambda) 이고, …, kk 번 장소에서 기다리는 시간은 Xk∼Gamma(αk,λ)X_k \sim Gamma(\alpha_k, \lambda) 이 됩니다. 이때 총 기다린 시간과 11 번 장소에서 기다린 시간의 비율은 Y1=X1∑i=1kXiY_1=\frac{X_1}{\sum_{i=1}^k X_i} 이 되며, 총 기다린 시간과 22 번 장소에서 기다린 시간의 비율은 Y2=X2∑i=1kXiY_2=\frac{X_2}{\sum_{i=1}^k X_i} 이 되며, …, 총 기다린 시간과 kk 번 장소에서 기다린 시간의 비율은 Yk=Xk∑i=1kXiY_k=\frac{X_k}{\sum_{i=1}^k X_i} 이 되며, (Y1,Y2,⋯ ,Yk)∼Dirichlet(α1,α2,⋯ ,αk)(Y_1, Y_2, \cdots, Y_k) \sim Dirichlet(\alpha_1, \alpha_2, \cdots, \alpha_k) 가 됩니다.
•
(X1,X2,⋯ ,Xk)∼Dirichlet(α1,α2,⋯ ,αk)(X_1, X_2, \cdots, X_k) \sim Dirichlet(\alpha_1, \alpha_2, \cdots, \alpha_k)
•
fX1X2⋯Xk(x1,x2,⋯ ,xk)=Γ(∑i=1kαi)∏i=1kxiαi−1∏i=1kΓ(αi)f_{X_1 X_2 \cdots X_k}(x_1, x_2, \cdots, x_k)=\frac{\Gamma(\sum_{i=1}^k \alpha_i)\prod_{i=1}^k x_i^{\alpha_i-1}}{\prod_{i=1}^k\Gamma(\alpha_i)}

Normal Distribution

•
Gaussian Distribution이라고도 부릅니다.
•
XiX_i 가 iid, E(Xi)=μE(X_i)=\mu , Var(Xi)=σ2Var(X_i)=\sigma^2 , Xˉ=1n∑i=1nXi\bar{X}=\frac{1}{n}\sum^n_{i=1}X_i 라고 하면, E(Xˉ)=μE(\bar{X})=\mu , Var(Xˉ)=σ2nVar(\bar{X})=\frac{\sigma^2}{n} 이 된다. Z=Xˉ−μσnZ=\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}} 가 n→∞n \to \infty 일 때, Z∼N(0,1)Z \sim N(0, 1) 이 됩니다.
•
XiX_i 가 E(Xi)E(X_i) , Var(Xi)Var(X_i) 가 존재하는 경우 nn 이 클 때 ZZ 가 Normal Distribution을 따릅니다. Poisson(n)Poisson(n) 은 Poisson(1)Poisson(1) 의 합으로 나타낼 수 있고, Gamma(n,λ)Gamma(n,\lambda) 는 Exponential(λ)Exponential(\lambda) 의 합으로 나타낼 수 있으며, Binomial(n,p)Binomial(n,p) 는 Bernoulli(p)Bernoulli(p) 의 합으로 나타낼 수 있기 때문에, n→∞n \to \infty 이면 Poisson(n)Poisson(n) , Gamma(n,λ)Gamma(n,\lambda) , Binomial(n,p)Binomial(n,p) 가 Normal Distribution을 따릅니다. 이런 특성으로 인해 주변에서 Normal Distribution이 빈번하게 관측됩니다.
•
X∼N(μ,σ2)X \sim N(\mu, \sigma^2)
•
fX(x)=1σ2πexp⁡(−(x−μ)22σ2)f_X(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})
•
Z∼N(0,1)Z \sim N(0, 1) , XiX_i 가 iid, E(Xi)=0E(X_i)=0 , Var(Xi)=1Var(X_i)=1 , Xˉ=1n∑i=1nXi\bar{X}=\frac{1}{n}\sum^n_{i=1}X_i , n→∞n \to \infty 일 때 nXˉ∼N(0,1)\sqrt{n}\bar{X} \sim N(0, 1) 임을 다음과 같이 증명합니다.
∫−∞∞fZ(x)dx=∫−∞∞12πexp⁡(−x22)dx=22π∫0∞exp⁡(−x22)dx=22π∫0∞exp⁡(−t)12tdt (t=x22)=1π∫0∞t−12exp⁡(−t)dt=1πΓ(12)=1ππ (Γ(12)=π)=1MZ(s)=∫−∞∞fZ(x)exp⁡(sx)dx=∫−∞∞12πexp⁡(−x22)exp⁡(sx)dx=∫−∞∞12πexp⁡(−x2−2sx+s2−s22)dx=exp⁡(s22)∫−∞∞12πexp⁡(−(x−s)22)dx=exp⁡(s22)MXi(s)=E(exp⁡(sXi))MXi(0)=1MXi′(0)=0MXi′′(0)=1MnXˉ(s)=E(exp⁡(snXˉ))=E(exp⁡(snX1+X2+⋯+Xnn))=E(exp⁡(sX1n))E(exp⁡(sX2n))⋯E(exp⁡(sXnn))=(E(exp⁡(sXin)))n=(MXi(sn))nlim⁡n→∞ln⁡(MnXˉ(s))=lim⁡n→∞ln⁡(MXi(sn))n=lim⁡n→∞nln⁡(MXi(sn))=lim⁡y→0ln⁡(MXi(sy))y2 (y=1n)=lim⁡y→01MXi(sy)MXi′(sy)s2y (L’Hopital’s rule)=lim⁡y→0MXi′(sy)s2y (MXi(0)=1)=lim⁡y→0MXi′′(sy)ss2 (L’Hopital’s rule)=s22 (MXi′′(0)=1)MnXˉ(s)=exp⁡(s22)MZ(s)=MnXˉ(s)nXˉ∼N(0,1)\begin{aligned}\int_{-\infty}^{\infty}f_Z(x)dx&=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp(-\frac{x^2}{2})dx \\&=\frac{2}{\sqrt{2\pi}}\int_{0}^{\infty}\exp(-\frac{x^2}{2})dx \\&=\frac{2}{\sqrt{2\pi}}\int_{0}^{\infty}\exp(-t)\frac{1}{\sqrt{2t}}dt & \text{ } (t=\frac{x^2}{2}) \\&=\frac{1}{\sqrt{\pi}}\int_{0}^{\infty}t^{-\frac{1}{2}}\exp(-t)dt \\&=\frac{1}{\sqrt{\pi}}\Gamma(\frac{1}{2}) \\&=\frac{1}{\sqrt{\pi}}\sqrt{\pi} & \text{ } (\Gamma(\frac{1}{2})=\sqrt \pi)\\&=1\end{aligned} \\\begin{aligned}M_Z(s)&=\int_{-\infty}^{\infty}f_Z(x)\exp(sx)dx \\&=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp(-\frac{x^2}{2})\exp(sx)dx \\&=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp(-\frac{x^2-2sx+s^2-s^2}{2})dx \\&=\exp(\frac{s^2}{2})\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\exp(-\frac{(x-s)^2}{2})dx \\&=\exp(\frac{s^2}{2})\end{aligned} \\M_{X_i}(s)=E(\exp(sX_i)) \\M_{X_i}(0)=1 \\M_{X_i}'(0)=0 \\M_{X_i}''(0)=1 \\\begin{aligned}M_{\sqrt n\bar{X}}(s)&=E(\exp(s\sqrt n \bar{X})) \\&=E(\exp(s\sqrt n \frac{X_1+X_2+\cdots+X_n}{n})) \\&=E(\exp(s\frac{X_1}{\sqrt n}))E(\exp(s\frac{X_2}{\sqrt n}))\cdots E(\exp(s\frac{X_n}{\sqrt n})) \\&=(E(\exp(s\frac{X_i}{\sqrt n})))^n \\&=(M_{X_i}(\frac{s}{\sqrt n}))^n\end{aligned} \\\begin{aligned}\lim_{n \to \infty}\ln(M_{\sqrt n\bar{X}}(s))&=\lim_{n \to \infty}\ln(M_{X_i}(\frac{s}{\sqrt n}))^n \\&=\lim_{n \to \infty}n\ln(M_{X_i}(\frac{s}{\sqrt n})) \\&=\lim_{y \to 0}\frac{\ln(M_{X_i}(sy))}{y^2} & \text{ } (y=\frac{1}{\sqrt n}) \\&=\lim_{y \to 0}\frac{\frac{1}{M_{X_i}(sy)}M_{X_i}'(sy)s}{2y} & \text{ }(\text{L'Hopital's rule}) \\&=\lim_{y \to 0}\frac{M'_{X_i}(sy)s}{2y} & \text{ } (M_{X_i}(0)=1) \\&=\lim_{y \to 0}\frac{M''_{X_i}(sy)ss}{2} & \text{ } (\text{L'Hopital's rule}) \\&=\frac{s^2}{2} & \text{ } (M_{X_i}''(0)=1)\end{aligned} \\M_{\sqrt n\bar{X}}(s)=\exp(\frac{s^2}{2}) \\M_Z(s)=M_{\sqrt n\bar{X}}(s) \\\sqrt n\bar{X} \sim N(0,1)

Chi-squared Distribution

•
XiX_i 가 iid, Xi∼N(0,1)X_i \sim N(0, 1) , Y=∑i=1nXi2Y=\sum_{i=1}^{n}X_i^2 이면 Y∼χn2Y \sim \chi_n^2 이 됩니다. nn 은 degree of freedom이라고 부릅니다.
•
X∼χn2X \sim \chi_n^2
•
fX(x)=(12)n2xn2−1e−x2Γ(n2)f_X(x)=\frac{(\frac{1}{2})^{\frac{n}{2}} x^{\frac{n}{2}-1}e^{-\frac{x}{2}}}{\Gamma(\frac{n}{2})}
•
Xi∼N(0,1)X_i \sim N(0,1) 이면 Y∼Gamma(12,12)Y \sim Gamma(\frac{1}{2},\frac{1}{2}) 임을 다음과 같이 증명합니다.
fY(y)=2fX(g−1(y))∣dg−1(y)dy∣g−1(y)=ydg−1(y)dy=12yfY(y)=212πe−y212y=12πye−y2=(12)12y−12e−y2Γ(12)Y∼Gamma(12,12)\begin{aligned} f_Y(y)&=2f_X(g^{-1}(y))\left | \frac{dg^{-1}(y)}{dy} \right | \\g^{-1}(y)&=\sqrt y \\\frac{dg^{-1}(y)}{dy}&=\frac{1}{2\sqrt y} \\f_Y(y)&=2\frac{1}{\sqrt{2\pi}}e^{-\frac{y}{2}}\frac{1}{2\sqrt y} \\&=\frac{1}{\sqrt{2\pi y}}e^{-\frac{y}{2}} \\&=\frac{(\frac{1}{2})^{\frac{1}{2}} y^{-\frac{1}{2}}e^{-\frac{y}{2}}}{\Gamma(\frac{1}{2})} \\Y &\sim Gamma(\frac{1}{2},\frac{1}{2}) \end{aligned}
•
XiX_i 가 iid, Xi∼N(0,1)X_i \sim N(0, 1) 이면 Xi2∼Gamma(12,12)X_i^2 \sim Gamma(\frac{1}{2},\frac{1}{2}) 이 되고, Y=∑i=1nXi2Y=\sum_{i=1}^n X_i^2 이면 Y∼Gamma(n2,12)Y \sim Gamma(\frac{n}{2},\frac{1}{2}) 가 되고, Y∼χn2Y \sim \chi_n^2 이 됩니다.

Cauchy Distribution

•
Lorentz Distribution이라고도 부릅니다.
•
X1X_1 과 X2X_2 가 independent이고, X1∼N(0,1)X_1 \sim N(0,1) , X2∼N(0,1)X_2 \sim N(0,1) 일 때 Y=X1X2Y=\frac{X_1}{X_2} 라면 Y∼Cauchy(0,1)Y \sim Cauchy(0,1) 이 됩니다.
•
E(Y)E(Y) , Var(Y)Var(Y) 가 존재하지 않습니다.
•
X∼Cauchy(μ,σ)X \sim Cauchy(\mu,\sigma)
•
fX(x)=1πσ(1+(x−μσ)2)f_X(x)=\frac{1}{\pi \sigma(1+(\frac{x-\mu}{\sigma})^2)}
•
X1X_1 과 X2X_2 가 independent이고, X1∼N(0,1)X_1 \sim N(0,1) , X2∼N(0,1)X_2 \sim N(0,1) 일 때 Y=X1X2Y=\frac{X_1}{X_2} 라면 Y∼Cauchy(0,1)Y \sim Cauchy(0,1) 이 됨은 다음과 같이 증명합니다.
fX1(x1)=12πexp⁡(−x122)fX2(x2)=12πexp⁡(−x222)fX1X2(x1,x2)=12πexp⁡(−x12+x222)y1=g1(x1,x2)=x1x2y2=g2(x1,x2)=x2x1=g1−1(y1,y2)=y1y2x2=g2−1(y1,y2)=y2J=det⁡[∂x1∂y1∂x1∂y2∂x2∂y1∂x2∂y2]=det⁡[y2y101]=y2fY1Y2(y1,y2)=fX1X2(g1−1(y1,y2),g2−1(y1,y2))∣J∣=12πexp⁡(−y12y22+y222)∣y2∣=12πexp⁡(−y22(y12+1)2)∣y2∣t=y22(y12+1)2dtdy2=y2(y12+1)dy2=1y2(y12+1)dtfY1(y1)=∫−∞∞fY1Y2(y1,y2)dy2=2∫0∞fY1Y2(y1,y2)dy2=212π∫0∞y2exp⁡(−y22(y12+1)2)dy2=1π∫0∞y2exp⁡(−t)1y2(y12+1)dt=1π1y12+1∫0∞exp⁡(−t)dt=1π(y12+1)\begin{aligned} f_{X_1}(x_1)&=\frac{1}{\sqrt{2\pi}}\exp(-\frac{x_1^2}{2}) \\f_{X_2}(x_2)&=\frac{1}{\sqrt{2\pi}}\exp(-\frac{x_2^2}{2}) \\f_{X_1 X_2}(x_1,x_2)&=\frac{1}{2\pi}\exp(-\frac{x_1^2+x_2^2}{2}) \\y_1&=g_1(x_1,x_2)=\frac{x_1}{x_2} \\y_2&=g_2(x_1,x_2)=x_2 \\x_1&=g_1^{-1}(y_1,y_2)=y_1 y_2 \\x_2&=g_2^{-1}(y_1,y_2)=y_2 \\J&=\det\begin{bmatrix}\frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} \\\frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2}\end{bmatrix}=\det\begin{bmatrix}y_2 & y_1 \\0 & 1\end{bmatrix}=y_2 \\f_{Y_1 Y_2}(y_1,y_2)&=f_{X_1 X_2}(g_1^{-1}(y_1,y_2),g_2^{-1}(y_1,y_2)) \left | J \right | \\&=\frac{1}{2\pi}\exp(-\frac{y_1^2 y_2^2+y_2^2}{2})\left | y_2 \right | \\&=\frac{1}{2\pi}\exp(-\frac{y_2^2(y_1^2+1)}{2})\left | y_2 \right | \\t&=\frac{y_2^2(y_1^2+1)}{2} \\\frac{dt}{dy_2}&=y_2(y_1^2+1) \\dy_2&=\frac{1}{y_2(y_1^2+1)}dt \\f_{Y_1}(y_1)&=\int_{-\infty}^{\infty}f_{Y_1 Y_2}(y_1, y_2)dy_2 \\&=2\int_{0}^{\infty}f_{Y_1 Y_2}(y_1, y_2)dy_2 \\&=2\frac{1}{2\pi}\int_{0}^{\infty}y_2\exp(-\frac{y_2^2(y_1^2+1)}{2})dy_2 \\&=\frac{1}{\pi}\int_0^\infty y_2\exp(-t)\frac{1}{y_2(y_1^2+1)}dt \\&=\frac{1}{\pi}\frac{1}{y_1^2+1}\int_0^\infty \exp(-t)dt \\&=\frac{1}{\pi(y_1^2+1)}\end{aligned}

F Distribution

•
Snedecor’s F Distribution이라고도 부르며, Fisher–Snedecor Distribution이라고도 부릅니다.
•
X1X_1 과 X2X_2 가 independent이고, X1∼χn2X_1 \sim \chi_n^2 , X2∼χm2X_2 \sim \chi_m^2 , Y=X1nX2mY=\frac{\frac{X_1}{n}}{\frac{X_2}{m}} 일 때 Y∼F(n,m)Y \sim F(n,m) 입니다.
•
X∼F(n,m)X \sim F(n,m)
•
fX(x)=(nm)n2xn2−1β(n2,m2)(nmx+1)n+m2f_X(x)=\frac{(\frac{n}{m})^{\frac{n}{2}}x^{\frac{n}{2}-1}}{\beta(\frac{n}{2},\frac{m}{2})(\frac{n}{m}x+1)^{\frac{n+m}{2}}}
•
X1X_1 과 X2X_2 가 independent이고, X1∼χn2X_1 \sim \chi_n^2 , X2∼χm2X_2 \sim \chi_m^2 , Y=X1nX2mY=\frac{\frac{X_1}{n}}{\frac{X_2}{m}} 일 때 Y∼F(n,m)Y \sim F(n,m) 이 됨은 다음과 같이 증명합니다.
fX1(x1)=(12)n2x1n2−1e−x12Γ(n2)fX2(x2)=(12)m2x2m2−1e−x22Γ(m2)fX1X2(x1,x2)=(12)n+m2x1n2−1x2m2−1e−x1+x22Γ(n2)Γ(m2)y1=g1(x1,x2)=x1x2y2=g2(x1,x2)=x1x1=g1−1(y1,y2)=y1y2x2=g2−1(y1,y2)=y2J=det⁡[∂x1∂y1∂x1∂y2∂x2∂y1∂x2∂y2]=det⁡[y2y101]=y2fY1Y2(y1,y2)=fX1X2(g1−1(y1,y2),g2−1(y1,y2))∣J∣=(12)n+m2y1n2−1y2n2−1y2m2−1e−y1y2+y22Γ(n2)Γ(m2)∣y2∣=(12)n+m2y1n2−1y2n+m2−1e−y2(y1+1)2Γ(n2)Γ(m2)fY1(y1)=∫0∞(12)n+m2y1n2−1y2n+m2−1e−y2(y1+1)2Γ(n2)Γ(m2)dy2=(12)n+m2y1n2−1Γ(n2)Γ(m2)∫0∞(2ty1+1)n+m2−1e−t2y1+1dt (t=y2(y1+1)2)=(12)n+m2y1n2−1Γ(n2)Γ(m2)(2y1+1)n+m2∫0∞tn+m2−1e−tdt=y1n2−1Γ(n2)Γ(m2)(y1+1)n+m2Γ(n+m2)y=h(y1)=mny1y1=h−1(y)=nmyfY(y)=fY1(h−1(y))∣dy1dy∣=fY1(nmy)∣nm∣=nmΓ(n+m2)(nmy)n2−1Γ(n2)Γ(m2)(nmy+1)n+m2=(nm)n2yn2−1β(n2,m2)(nmy+1)n+m2Y∼F(n,m)\begin{aligned} f_{X_1}(x_1)&=\frac{(\frac{1}{2})^{\frac{n}{2}} x_1^{\frac{n}{2}-1}e^{-\frac{x_1}{2}}}{\Gamma(\frac{n}{2})} \\f_{X_2}(x_2)&=\frac{(\frac{1}{2})^{\frac{m}{2}} x_2^{\frac{m}{2}-1}e^{-\frac{x_2}{2}}}{\Gamma(\frac{m}{2})} \\f_{X_1 X_2}(x_1,x_2)&=\frac{(\frac{1}{2})^{\frac{n+m}{2}} x_1^{\frac{n}{2}-1}x_2^{\frac{m}{2}-1}e^{-\frac{x_1+x_2}{2}}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})} \\y_1=g_1(x_1,x_2)&=\frac{x_1}{x_2} \\y_2=g_2(x_1,x_2)&=x_1 \\x_1=g_1^{-1}(y_1,y_2)&=y_1 y_2 \\x_2=g_2^{-1}(y_1,y_2)&=y_2 \\J&=\det\begin{bmatrix}\frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} \\\frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2}\end{bmatrix}=\det\begin{bmatrix}y_2 & y_1 \\0 & 1\end{bmatrix}=y_2 \\f_{Y_1 Y_2}(y_1,y_2)&=f_{X_1 X_2}(g_1^{-1}(y_1,y_2),g_2^{-1}(y_1,y_2)) \left | J \right | \\&=\frac{(\frac{1}{2})^{\frac{n+m}{2}} y_1^{\frac{n}{2}-1}y_2^{\frac{n}{2}-1}y_2^{\frac{m}{2}-1}e^{-\frac{y_1 y_2+y_2}{2}}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})}\left | y_2 \right | \\&=\frac{(\frac{1}{2})^{\frac{n+m}{2}} y_1^{\frac{n}{2}-1}y_2^{\frac{n+m}{2}-1}e^{-\frac{y_2(y_1+1)}{2}}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})} \\f_{Y_1}(y_1)&=\int_0^\infty \frac{(\frac{1}{2})^{\frac{n+m}{2}} y_1^{\frac{n}{2}-1}y_2^{\frac{n+m}{2}-1}e^{-\frac{y_2(y_1+1)}{2}}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})} dy_2 \\&=\frac{(\frac{1}{2})^{\frac{n+m}{2}} y_1^{\frac{n}{2}-1}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})}\int_0^\infty (\frac{2t}{y_1+1})^{\frac{n+m}{2}-1}e^{-t}\frac{2}{y_1+1}dt & \text{ } (t=\frac{y_2(y_1+1)}{2}) \\&=\frac{(\frac{1}{2})^{\frac{n+m}{2}} y_1^{\frac{n}{2}-1}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})}(\frac{2}{y_1+1})^{\frac{n+m}{2}}\int_0^\infty t^{\frac{n+m}{2}-1}e^{-t}dt \\&=\frac{y_1^{\frac{n}{2}-1}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})(y_1+1)^{\frac{n+m}{2}}}\Gamma(\frac{n+m}{2}) \\ \\y&=h(y_1)=\frac{m}{n}y_1 \\y_1&=h^{-1}(y)=\frac{n}{m}y \\f_Y(y)&=f_{Y_1}(h^{-1}(y))\left | \frac{dy_1}{dy} \right | \\&=f_{Y_1}(\frac{n}{m}y)\left | \frac{n}{m} \right | \\&=\frac{\frac{n}{m}\Gamma(\frac{n+m}{2})(\frac{n}{m}y)^{\frac{n}{2}-1}}{\Gamma(\frac{n}{2})\Gamma(\frac{m}{2})(\frac{n}{m}y+1)^{\frac{n+m}{2}}} \\&=\frac{(\frac{n}{m})^{\frac{n}{2}}y^{\frac{n}{2}-1}}{\beta(\frac{n}{2},\frac{m}{2})(\frac{n}{m}y+1)^{\frac{n+m}{2}}} \\ \\Y &\sim F(n,m) \end{aligned}

t Distribution

•
Student’s t Distribution이라고도 부릅니다. XiX_i 는 iid, Xi∼N(μ,σ2)X_i \sim N(\mu,\sigma^2) , Xˉ=1n∑i=1nXi\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i , s2=1n−1∑i=1n(Xi−Xˉ)2s^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2 일 때 Z=Xˉ−μσn∼N(0,1)Z=\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt n}} \sim N(0,1) , T=Xˉ−μsn∼tn−1T=\frac{\bar{X}-\mu}{\frac{s}{\sqrt n}} \sim t_{n-1} 입니다. n−1n-1 은 degree of freedom이라고 부릅니다.
•
정확한 σ2\sigma^2 를 구하는 것이 불가능한 경우에 s2s^2 로 근사를 하게 되는데, nn 이 충분히 크다면 s2s^2 가 σ2\sigma^2 와 거의 비슷하게 근사가 돼서 Normal Distribution을 사용할 수 있지만, nn 이 충분히 크지 않다면 s2s^2 가 σ2\sigma^2 와 차이가 크게 돼서 t Distribution을 사용해야 합니다.
•
X∼tnX \sim t_n
•
fX(x)=Γ(n+12)nπΓ(n2)(x2n+1)n+12f_X(x)=\frac{\Gamma(\frac{n+1}{2})}{\sqrt {n\pi}\Gamma(\frac{n}{2})(\frac{x^2}{n}+1)^{\frac{n+1}{2}}}
•
XiX_i 는 iid, Xi∼N(μ,σ2)X_i \sim N(\mu,\sigma^2) , Xˉ=1n∑i=1nXi\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i , s2=1n−1∑i=1n(Xi−Xˉ)2s^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2 일 때 Z=Xˉ−μσn∼N(0,1)Z=\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt n}} \sim N(0,1) , T=Xˉ−μsn∼tn−1T=\frac{\bar{X}-\mu}{\frac{s}{\sqrt n}} \sim t_{n-1} 임은 다음과 같이 증명합니다.
T2=(Xˉ−μ)2s2n=(Xˉ−μ)2nσ2s2nnσ2=(Xˉ−μ)2σ2ns2σ2n−1n−1=Z21(n−1)s2σ2n−1Z2∼χ12(n−1)s2σ2∼χn−12T2∼F(1,n−1)FT2(u)=P(T2<u)=P(−u<T<u)=FT(u)−FT(−u)fT2(u)=12u(fT(u)+fT(−u))=1ufT(u)fT2(t2)=1∣t∣fT(t)(u=t2)fT(t)=∣t∣fT2(t2)=(t2)12(1n−1)12(t2)12−1β(12,n−12)(1n−1t2+1)n2=(t2)12Γ(n2)(1n−1)12(t2)12−1Γ(12)Γ(n−12)(1n−1t2+1)n2=Γ(n2)πn−1Γ(n−12)(t2n−1+1)n2\begin{aligned}T^2&=\frac{(\bar{X}-\mu)^2}{\frac{s^2}{n}} \\&=\frac{(\bar{X}-\mu)^2\frac{n}{\sigma^2}}{\frac{s^2}{n}\frac{n}{\sigma^2}} \\&=\frac{\frac{(\bar{X}-\mu)^2}{\frac{\sigma^2}{n}}}{\frac{s^2}{\sigma^2}\frac{n-1}{n-1}} \\&=\frac{\frac{Z^2}{1}}{\frac{(n-1)\frac{s^2}{\sigma^2}}{n-1}}\end{aligned} \\Z^2 \sim \chi_1^2 \\(n-1)\frac{s^2}{\sigma^2} \sim \chi_{n-1}^2 \\T^2 \sim F(1,n-1) \\\begin{aligned}F_{T^2}(u)&=P(T^2 \lt u) \\&=P(-\sqrt u \lt T \lt \sqrt u) \\&=F_T(\sqrt u) - F_T(-\sqrt u)\end{aligned} \\\begin{aligned}f_{T^2}(u)&=\frac{1}{2\sqrt u}(f_T(\sqrt u)+f_T(-\sqrt u)) \\&=\frac{1}{\sqrt u}f_T(\sqrt u)\end{aligned} \\f_{T^2}(t^2)=\frac{1}{\left | t \right |}f_T(t) \hspace{2em} (u=t^2) \\\begin{aligned}f_T(t)&=\left | t \right |f_{T^2}(t^2) \\&=(t^2)^{\frac{1}{2}}\frac{(\frac{1}{n-1})^{\frac{1}{2}}(t^2)^{\frac{1}{2}-1}}{\beta(\frac{1}{2}, \frac{n-1}{2})(\frac{1}{n-1}t^2+1)^\frac{n}{2}} \\&=(t^2)^{\frac{1}{2}}\frac{\Gamma(\frac{n}{2})(\frac{1}{n-1})^{\frac{1}{2}}(t^2)^{\frac{1}{2}-1}}{\Gamma(\frac{1}{2})\Gamma(\frac{n-1}{2})(\frac{1}{n-1}t^2+1)^\frac{n}{2}} \\&=\frac{\Gamma(\frac{n}{2})}{\sqrt \pi \sqrt{n-1}\Gamma(\frac{n-1}{2})(\frac{t^2}{n-1}+1)^\frac{n}{2}}\end{aligned}
•
(n−1)s2σ2∼χn−12(n-1)\frac{s^2}{\sigma^2} \sim \chi_{n-1}^2 의 증명은 Sample Mean and Sample Variance를 참조하시기 바랍니다.
작성자
관련된 글 더 보기