home
Meet Our Team
home

Proof of the F Test for Linear Regression

오태호 (Taeho Oh)
오태호 (Taeho Oh)

안녕하세요. 오태호입니다.

Linear Regression에서 Predictor와 Response가 얼마나 관계가 있는지 조사하는 방법으로 F Test를 사용합니다. Linear Regression 관련 책을 살펴보면 F Test의 식의 유도과정이 생략되어 있는 경우가 많아서 이해가 쉽지 않은 경우가 많습니다. 그래서 이번 글에서는 Linear Regression의 F Test 식을 유도해 보도록 하겠습니다. Linear Regression의 다른 수식에서도 흔히 접할 수 있는 Degree of Freedom의 의미도 이해하기가 쉽지 않은데 이 글을 통해 조금이라도 이해에 도움이 되었으면 좋겠습니다.
증명과정중에 Matrix나 Vector는 굵은 글꼴로 표현하도록 하겠습니다. 그리고 Vector는 특별히 언급이 없으면 Column Vector를 의미합니다.

Trace

•
n×nn \times n인 A의 Trace는 아래와 같이 정의합니다.
tr⁡(A)=∑i=1naii\operatorname{tr}(\mathbf{A})=\sum_{i=1}^{n} a_{i i}
•
tr⁡(AB)\operatorname{tr}(\mathbf{A B})는 아래와 같은 성질이 있습니다.
tr⁡(AB)=(AB)11+(AB)22+⋯+(AB)nn=a11b11+a12b21+⋯+a1kbk1+a21b12+a22b22+⋯+a2kbk2+⋮+an1b1n+an2b2n+⋯+ankbkn=a11b11+a21b12+⋯+an1b1n+a12b21+a22b22+⋯+an2b2n+⋮+a1kbk1+a2kbk2+⋯+ankbkn=(BA)11+(BA)22+⋯+(BA)kk=tr⁡(BA)\begin{aligned}\operatorname{tr}(\mathbf{A B}) & =(\mathbf{A B})_{11}+(\mathbf{A B})_{22}+\cdots+(\mathbf{A B})_{n n} \\& =a_{11} b_{11}+a_{12} b_{21}+\cdots+a_{1 k} b_{k 1} \\& +a_{21} b_{12}+a_{22} b_{22}+\cdots+a_{2 k} b_{k 2} \\& +\vdots \\& +a_{n 1} b_{1 n}+a_{n 2} b_{2 n}+\cdots+a_{n k} b_{k n} \\& =a_{11} b_{11}+a_{21} b_{12}+\cdots+a_{n 1} b_{1 n} \\& +a_{12} b_{21}+a_{22} b_{22}+\cdots+a_{n 2} b_{2 n} \\& +\vdots \\& +a_{1 k} b_{k 1}+a_{2 k} b_{k 2}+\cdots+a_{n k} b_{k n} \\& =(\mathbf{B A})_{11}+(\mathbf{B A})_{22}+\cdots+(\mathbf{B} \mathbf{A})_{k k} \\& =\operatorname{tr}(\mathbf{B A})\end{aligned}
•
A가 Eigen Decomposition을 통해 QΛQ−\mathbf{Q \Lambda} \mathbf{Q}^{-}로 표현될 수 있다면 tr⁡(A)\operatorname{tr}(\mathbf{A})를 아래와 같이 Eigenvalue의 합으로 구합니다.
tr⁡(A)=tr⁡(QΛQ−1)=tr⁡((QΛ)Q−1)=tr⁡(Q−1(QΛ))=tr⁡(Λ)=λ1+λ2+⋯+λn\begin{aligned}\operatorname{tr}(\mathbf{A}) & =\operatorname{tr}\left(\mathbf{Q} \mathbf{\Lambda} \mathbf{Q}^{-1}\right) \\& =\operatorname{tr}\left((\mathbf{Q} \mathbf{\Lambda}) \mathbf{Q}^{-1}\right) \\& =\operatorname{tr}\left(\mathbf{Q}^{-1}(\mathbf{Q} \mathbf{\Lambda})\right) \\& =\operatorname{tr}(\mathbf{\Lambda}) \\& =\lambda_{1}+\lambda_{2}+\cdots+\lambda_{n}\end{aligned}

Positive Definite Matrix

•
임의의 Vector x에 대해 아래와 같은 성질을 만족하는 Symmetric Matrix A를 Positive Definite Matrix라고 정의합니다.
xTAx>0\mathbf{x}^{T} \mathbf{A} \mathbf{x}>0
•
Positive Definite Matrix AA가 Eigen Decomposition을 통해 QΛQ−1\mathbf{Q} \mathbf{\Lambda} \mathbf{Q}^{-1}로 표현될 수 있다면 아래와 같이 A의 모든 Eigenvalue가 0보다 큽니다. 참고로 A는 Symmetric Matrix이므로 A의 Eigenvector로 이루어진 Q는 Orthogonal Matrix이므로 Q−1=QT\mathbf{Q}^{-1}=\mathbf{Q}^{T}가 성립합니다.
xTAx=xTQΛQ−1x=xTQΛQTx=yTΛy=y12λ1+y22λ2+⋯+yn2λn>0(y=QTx)\begin{aligned}\mathbf{x}^{T} \mathbf{A} \mathbf{x} & =\mathbf{x}^{T} \mathbf{Q} \boldsymbol{\Lambda} \mathbf{Q}^{-1} \mathbf{x} \\& =\mathbf{x}^{T} \mathbf{Q} \boldsymbol{\Lambda} \mathbf{Q}^{T} \mathbf{x} \\& =\mathbf{y}^{T} \boldsymbol{\Lambda} \mathbf{y} \\& =y_{1}^{2} \lambda_{1}+y_{2}^{2} \lambda_{2}+\cdots+y_{n}^{2} \lambda_{n}>0\end{aligned} \quad\left(\mathbf{y}=\mathbf{Q}^{T} \mathbf{x}\right)
임의의 Vector y에 대해 만족하기 위해서는 모든 Eigenvalue가 0보다 커야 합니다.

LDLT Decomposition

A가 Symmetric일 때 LDU Decomposition의 결과에 U=LT\mathbf{U}=\mathbf{L}^{T}라는 사실을 이용한 Decomposition을 LDLT Decomposition이라고 정의합니다.
A=LDU=LDLT\begin{aligned}\mathbf{A} & =\mathbf{L D U} \\& =\mathbf{L} \mathbf{D L}^{T}\end{aligned}

Cholesky Decomposition

AA가 Positive Definite Matrix일 때 모든 Eigenvalue가 0보다 큰 사실을 이용해서 LDLT Decomposition의 결과에서 LLT\mathbf{L} \mathbf{L}^{T}로 Decomposition을 하는 것을 Cholesky Decomposition이라고 정의합니다.
A=L′DL′T=L′D12D12L′T=LT(L=L′D12)\begin{aligned}\mathbf{A} & =\mathbf{L}^{\prime} \mathbf{D} \mathbf{L}^{\prime T} \\& =\mathbf{L}^{\prime} \mathbf{D}^{\frac{1}{2}} \mathbf{D}^{\frac{1}{2}} \mathbf{L}^{\prime T} \\& =\mathbf{L}^{T} \quad\left(\mathbf{L}=\mathbf{L}^{\prime} \mathbf{D}^{\frac{1}{2}}\right)\end{aligned}

Idempotent Matrix

•
아래와 같은 성질을 만족하는 A를 Idempotent Matrix라고 정의합니다.
A2=A\mathbf{A}^{2}=\mathbf{A}
•
A가 Idempotent Matrix이고 Eigenvalue를 λ라 하고 Eigenvector를 x라고 할 때 rank⁡(A)\operatorname{rank}(\mathbf{A})를 다음과 같이 구합니다. Trace의 성질을 이용합니다.
λx=Ax=A2x=A(Ax)=A(λx)=λ(Ax)=λ(λx)=λ2xλ=λ2λ=0 or 1rank⁡(A)=tr⁡(A)\begin{array}{l}\begin{aligned}\lambda \mathbf{x} & =\mathbf{A} \mathbf{x} \\& =\mathbf{A}^{2} \mathbf{x} \\& =\mathbf{A}(\mathbf{A} \mathbf{x}) \\& =\mathbf{A}(\lambda \mathbf{x}) \\& =\lambda(\mathbf{A} \mathbf{x}) \\& =\lambda(\lambda \mathbf{x}) \\& =\lambda^{2} \mathbf{x} \\\lambda & =\lambda^{2} \\\lambda & =0 \text { or } 1\end{aligned}\\\operatorname{rank}(\mathbf{A})=\operatorname{tr}(\mathbf{A})\end{array}

Simultaneously Diagonalizable Matrix

Matrix A, B가 같은 Eigenvector로 Diagonalize가 가능하면 Simultaneously Diagonalizable라고 정의합니다.
•
A, B가 Simultaneously Diagonalizable하면 AB=BA를 만족하는 것은 다음과 같이 증명합니다.
 P−1AP=[λ10⋯00λ2⋯0⋮⋮⋱⋮00⋯λn]P−1BP=[μ10⋯00μ2⋯0⋮⋮⋱⋮00⋯μn]P−1APP−1BP=P−1ABP=[λ1μ10⋯00λ2μ2⋯0⋮⋮⋱⋮00⋯λnμn]P−1BPP−1AP=P−1BAP=[μ1λ10⋯00μ2λ2⋯0⋮⋮⋱⋮]\begin{array}{l} \mathbf{P}^{-1} \mathbf{A P}=\left[\begin{array}{cccc}\lambda_{1} & 0 & \cdots & 0 \\0 & \lambda_{2} & \cdots & 0 \\\vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & \lambda_{n}\end{array}\right] \\\mathbf{P}^{-1} \mathbf{B P}=\left[\begin{array}{cccc}\mu_{1} & 0 & \cdots & 0 \\0 & \mu_{2} & \cdots & 0 \\\vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & \mu_{n}\end{array}\right] \\\mathbf{P}^{-1} \mathbf{A} \mathbf{P} \mathbf{P}^{-1} \mathbf{B P}=\mathbf{P}^{-1} \mathbf{A B P}=\left[\begin{array}{cccc}\lambda_{1} \mu_{1} & 0 & \cdots & 0 \\0 & \lambda_{2} \mu_{2} & \cdots & 0 \\\vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & \lambda_{n} \mu_{n}\end{array}\right] \\\mathbf{P}^{-1} \mathbf{B} \mathbf{P} \mathbf{P}^{-1} \mathbf{A P}=\mathbf{P}^{-1} \mathbf{B} \mathbf{A P}=\left[\begin{array}{cccc}\mu_{1} \lambda_{1} & 0 & \cdots & 0 \\0 & \mu_{2} \lambda_{2} & \cdots & 0 \\\vdots & \vdots & \ddots & \vdots\end{array}\right]\end{array}
•
AB=BA를 만족하고 A의 모든 Eigenvalue가 서로 다를 때 A의 Eigenvector는 B의 Eigenvector라는 것을 다음과 같이 증명합니다.
v가 A의 Eigenvector이고 λ가 A의 Eigenvalue일 때 다음과 같이 정리할 수 있습니다.
Av=λvABv=BAv=Bλv=λBvA(Bv)=λ(Bv)\begin{array}{l}\mathbf{A v}=\lambda \mathbf{v} \\\mathbf{A B v}=\mathbf{B} \mathbf{A v}=\mathbf{B} \lambda \mathbf{v}=\lambda \mathbf{B} \mathbf{v} \\\mathbf{A}(\mathbf{B v})=\lambda(\mathbf{B v})\end{array}
Bv도 A의 Eigenvector가 됩니다. A의 모든 Eigenvalue는 서로 다르기 때문에 Bv=μv\mathbf{B v}=\mu \mathbf{v}로 표현이 가능해야만 합니다. 만약에 표현이 불가능하다면 한 Eigenvalue에 두 Eigenvector가 존재하게 되어서 A의 모든 Eigenvalue는 서로 달라야 한다는 가정에 모순이 발생하기 때문입니다. 즉, Bv=μv\mathbf{B v}=\mu \mathbf{v}이며 v는 B의 Eigenvector가 됩니다.
•
AB=BA를 만족할 때 A의 Eigenvector가 B의 Eigenvector라는 것을 다음과 같이 증명합니다.
 D=P−1AP=[λ1Im10⋯00λ2Im2⋯0⋮⋮⋱⋮00⋯λkImk]C=P−1BP=[C11C12⋯C1kC21C22⋯C2k⋮⋮⋱⋮Ck1Ck2⋯Ckk]\begin{array}{l} \mathbf{D}=\mathbf{P}^{-1} \mathbf{A P}=\left[\begin{array}{cccc}\lambda_{1} \mathbf{I}_{m_{1}} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \lambda_{2} \mathbf{I}_{m_{2}} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \lambda_{k} \mathbf{I}_{m_{k}}\end{array}\right] \\\mathbf{C}=\mathbf{P}^{-1} \mathbf{B} \mathbf{P}=\left[\begin{array}{cccc}\mathbf{C}_{11} & \mathbf{C}_{12} & \cdots & \mathbf{C}_{1 k} \\\mathbf{C}_{21} & \mathbf{C}_{22} & \cdots & \mathbf{C}_{2 k} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{C}_{k 1} & \mathbf{C}_{k 2} & \cdots & \mathbf{C}_{k k}\end{array}\right]\end{array}
D는 n×nn \times n의 Diagonal Matrix입니다. Imi\mathbf{I}_{m_{i}}는 mi×mim_{i} \times m_{i}인 Identity Matrix입니다. ∑j=1kmi=n\sum_{j=1}^{k} m_{i}=n입니다. i≠ji \neq j일 때 λi≠λj\lambda_{i} \neq \lambda_{j}입니다. Cii\mathbf{C}_{i i}는 Imi\mathbf{I}_{m_{i}}와 동일한 크기의 Block Matrix입니다.
DC=[λ1C11λ1C12⋯λ1C1kλ2C21λ2C22⋯λ2C2k⋮⋮⋱⋮λkCk1λkCk2⋯λkCkk]CD=[λ1C11λ2C12⋯λkC1kλ1C21λ2C22⋯λkC2k⋮⋮⋱⋮λ1Ck1λ2Ck2⋯λkCkk]CD=P−1BPP−1AP=P−1BAP=P−1ABP=P−1APP−1BP=DC\begin{array}{l}\begin{array}{r}\mathbf{D C}=\left[\begin{array}{cccc}\lambda_{1} \mathbf{C}_{11} & \lambda_{1} \mathbf{C}_{12} & \cdots & \lambda_{1} \mathbf{C}_{1 k} \\\lambda_{2} \mathbf{C}_{21} & \lambda_{2} \mathbf{C}_{22} & \cdots & \lambda_{2} \mathbf{C}_{2 k} \\\vdots & \vdots & \ddots & \vdots \\\lambda_{k} \mathbf{C}_{k 1} & \lambda_{k} \mathbf{C}_{k 2} & \cdots & \lambda_{k} \mathbf{C}_{k k}\end{array}\right] \\\mathbf{C D}=\left[\begin{array}{cccc}\lambda_{1} \mathbf{C}_{11} & \lambda_{2} \mathbf{C}_{12} & \cdots & \lambda_{k} \mathbf{C}_{1 k} \\\lambda_{1} \mathbf{C}_{21} & \lambda_{2} \mathbf{C}_{22} & \cdots & \lambda_{k} \mathbf{C}_{2 k} \\\vdots & \vdots & \ddots & \vdots \\\lambda_{1} \mathbf{C}_{k 1} & \lambda_{2} \mathbf{C}_{k 2} & \cdots & \lambda_{k} \mathbf{C}_{k k}\end{array}\right]\end{array}\\\begin{aligned}\mathbf{C D} & =\mathbf{P}^{-1} \mathbf{B} \mathbf{P} \mathbf{P}^{-1} \mathbf{A P} \\& =\mathbf{P}^{-1} \mathbf{B} \mathbf{A P} \\& =\mathbf{P}^{-1} \mathbf{A B P} \\& =\mathbf{P}^{-1} \mathbf{A} \mathbf{P P}^{-1} \mathbf{B P} \\& =\mathbf{D} \mathbf{C}\end{aligned}\end{array}
CD=DCC D=D C이면서 i≠ji \neq j일 때 λi≠λj\lambda_{i} \neq \lambda_{j}이기 위해서는 i≠ji \neq j일 때 Cij=0\mathbf{C}_{i j}=\mathbf{0}이 되어야 합니다. 정리하면 C는 다음과 같이 됩니다.
C=P−1BP=[C110⋯00C22⋯0⋮⋮⋱⋮00⋯Ckk]\mathbf{C}=\mathbf{P}^{-1} \mathbf{B} \mathbf{P}=\left[\begin{array}{cccc}\mathbf{C}_{11} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \mathbf{C}_{22} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \mathbf{C}_{k k}\end{array}\right]
Diagonal Matrix인 Eii\mathbf{E}_{i i}를 다음과 같이 정의합니다.
E11=Q11−1C11Q11E22=Q22−1C22Q22Ekk=Qkk−1CkkQkk\begin{array}{l}\begin{array}{l}\mathbf{E}_{11}=\mathbf{Q}_{11}^{-1} \mathbf{C}_{11} \mathbf{Q}_{11} \\\mathbf{E}_{22}=\mathbf{Q}_{22}^{-1} \mathbf{C}_{22} \mathbf{Q}_{22}\end{array}\\\mathbf{E}_{k k}=\mathbf{Q}_{k k}^{-1} \mathbf{C}_{k k} \mathbf{Q}_{k k}\end{array}
R을 다음과 같이 정의합니다.
R=P[Q110⋯00Q22⋯0⋮⋮⋱⋮00⋯Qkk]\mathbf{R}=\mathbf{P}\left[\begin{array}{cccc}\mathbf{Q}_{11} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \mathbf{Q}_{22} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \mathbf{Q}_{k k}\end{array}\right]
R−1AR\mathbf{R}^{-1} \mathbf{A} \mathbf{R}과 R−1BR\mathbf{R}^{-1} \mathbf{B R}을 다음과 같이 계산해 봅니다.
R−1AR=[Q11−10⋯00Q22−1⋯0⋮⋮⋱⋮00⋯Qkk−1]P−1AP[Q110⋯00Q22⋯0⋮⋮⋱⋮00⋯Qkk]=[λ1Im10⋯00λ2Im2⋯0⋮⋮⋱⋮00⋯λkImk]R−1BR=[Q11−10⋯00Q22−1⋯0⋮⋮⋱⋮00⋯Qkk−1]P−1BP[Q110⋯00Q22⋯0⋮⋮⋱⋮00⋯Qkk]=[Q11−1C11Q110⋯00Q22−1C22Q22⋯0⋮⋮⋱⋮00⋯Qkk−1CkkQkk]=[E110⋯00E22⋯0⋮⋮⋱⋮00⋯Ekk]\begin{aligned}\mathbf{R}^{-1}\mathbf{A}\mathbf{R}&=\begin{bmatrix}\mathbf{Q}_{11}^{-1} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \mathbf{Q}_{22}^{-1} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \mathbf{Q}_{kk}^{-1}\end{bmatrix}\mathbf{P}^{-1}\mathbf{A}\mathbf{P}\begin{bmatrix}\mathbf{Q}_{11} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \mathbf{Q}_{22} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \mathbf{Q}_{kk}\end{bmatrix} \\&=\begin{bmatrix}\lambda_1\mathbf{I}_{m_1} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \lambda_2\mathbf{I}_{m_2} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \lambda_k\mathbf{I}_{m_k}\end{bmatrix} \\\mathbf{R}^{-1}\mathbf{B}\mathbf{R}&=\begin{bmatrix}\mathbf{Q}_{11}^{-1} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \mathbf{Q}_{22}^{-1} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \mathbf{Q}_{kk}^{-1}\end{bmatrix}\mathbf{P}^{-1}\mathbf{B}\mathbf{P}\begin{bmatrix}\mathbf{Q}_{11} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \mathbf{Q}_{22} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \mathbf{Q}_{kk}\end{bmatrix} \\&=\begin{bmatrix}\mathbf{Q}_{11}^{-1}\mathbf{C}_{11}\mathbf{Q}_{11} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \mathbf{Q}_{22}^{-1}\mathbf{C}_{22}\mathbf{Q}_{22} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \mathbf{Q}_{kk}^{-1}\mathbf{C}_{kk}\mathbf{Q}_{kk}\end{bmatrix} \\&=\begin{bmatrix}\mathbf{E}_{11} & \mathbf{0} & \cdots & \mathbf{0} \\\mathbf{0} & \mathbf{E}_{22} & \cdots & \mathbf{0} \\\vdots & \vdots & \ddots & \vdots \\\mathbf{0} & \mathbf{0} & \cdots & \mathbf{E}_{kk}\end{bmatrix}\end{aligned}
R−1AR\mathbf{R}^{-1} \mathbf{A} \mathbf{R}과 R−1B1\mathbf{R}^{-1} \mathbf{B} \mathbf{1}는 Diagonal Matrix이고, R의 Column Vector는 A의 Eigenvector이면서 B의 Eigenvector입니다.

Quadratic Form

A가 Symmetric할 때 xTAx\mathbf{x}^{T} \mathbf{A x}형태의 식을 Quadratic Form이라고 정의합니다. 여기서는 이 Quadratic Form의 특징에 대해 설명합니다.
•
x∼N(0,σ2I)\mathbf{x} \sim N\left(\mathbf{0}, \sigma^{2} \mathbf{I}\right)이고, rank⁡(A)=r\operatorname{rank}(\mathbf{A})=r이고, A가 Symmetric하고, A가 Idempotent할 때, xTAxσ2∼χr2\frac{\mathbf{x}^{T} \mathbf{A} \mathbf{x}}{\sigma^{2}} \sim \chi_{r}^{2}인 것을 다음과 같이 증명합니다.
A가 Symmetric하기 때문에 A를 Diagonalize할 수 있는 Orthogonal Matrix Q가 존재합니다.
QTAQ=[λ10⋯00λ2⋯0⋮⋮⋱⋮00⋯λn]=[Ir000]\mathbf{Q}^{T} \mathbf{A} \mathbf{Q}=\left[\begin{array}{cccc}\lambda_{1} & 0 & \cdots & 0 \\0 & \lambda_{2} & \cdots & 0 \\\vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & \lambda_{n}\end{array}\right]=\left[\begin{array}{cc}\mathbf{I}_{r} & \mathbf{0} \\\mathbf{0} & \mathbf{0}\end{array}\right]
A가 Idempotent하기 때문에 rank⁡(A)=tr⁡(A)=r\operatorname{rank}(\mathbf{A})=\operatorname{tr}(\mathbf{A})=r입니다. v=QTx\mathbf{v}=\mathbf{Q}^{T} \mathbf{x}로 v를 정의합니다.
E(v)=QTE(x)=0Var⁡(v)=QTVar⁡(x)Q=QTσ2IQ=σ2Iv∼N(0,σ2I)xTAxσ2=vTQTAQvσ2=1σ2vT[Ir000]v∼χr2\begin{array}{l}E(\mathbf{v})=\mathbf{Q}^{T} E(\mathbf{x})=\mathbf{0} \\\operatorname{Var}(\mathbf{v})=\mathbf{Q}^{T} \operatorname{Var}(\mathbf{x}) \mathbf{Q}=\mathbf{Q}^{T} \sigma^{2} \mathbf{I} \mathbf{Q}=\sigma^{2} \mathbf{I} \\\mathbf{v} \sim N\left(\mathbf{0}, \sigma^{2} \mathbf{I}\right) \\\frac{\mathbf{x}^{T} \mathbf{A} \mathbf{x}}{\sigma^{2}}=\frac{\mathbf{v}^{T} \mathbf{Q}^{T} \mathbf{A} \mathbf{Q} \mathbf{v}}{\sigma^{2}}=\frac{1}{\sigma^{2}} \mathbf{v}^{T}\left[\begin{array}{cc}\mathbf{I}_{r} & \mathbf{0} \\\mathbf{0} & \mathbf{0}\end{array}\right] \mathbf{v} \sim \chi_{r}^{2}\end{array}
Var⁡(v)=QTVar⁡(x)Q\operatorname{Var}(\mathbf{v})=\mathbf{Q}^{T} \operatorname{Var}(\mathbf{x}) \mathbf{Q}의 증명은 Covariance Matrix을 참조합니다.
•
x∼N(0,Σ)\mathbf{x} \sim N(\mathbf{0}, \mathbf{\Sigma})이고, rank⁡(A)=r\operatorname{rank}(\mathbf{A})=r이고, A가 Symmetric하고,  AL \text { AL }가 Idempotent할 때, xTAx∼χr2\mathbf{x}^{T} \mathbf{A} \mathbf{x} \sim \chi_{r}^{2}인 것을 다음과 같이 증명합니다.
AΣAΣ=AΣAΣAΣΣ−1=AΣΣ−1AΣA=AxTAx=xTΣ−12Σ12AΣ12Σ−12x=(Σ−12x)TΣ12AΣ12(Σ−12x)v=Σ−12x∼N(0,Σ−12Σ(Σ−12)T)=N(0,I)(Σ12AΣ12)2=Σ12AΣ12Σ12AΣ12=Σ12(AΣA)Σ12=Σ12AΣ12\begin{array}{c} \mathbf{A\Sigma A\Sigma}=\mathbf{A\Sigma} \\\mathbf{A\Sigma A\Sigma}\mathbf{\Sigma}^{-1}=\mathbf{A\Sigma}\mathbf{\Sigma}^{-1} \\\mathbf{A\Sigma A}=\mathbf{A} \\\begin{aligned}\mathbf{x}^T\mathbf{A}\mathbf{x}&=\mathbf{x}^T\mathbf{\Sigma}^{-\frac{1}{2}}\mathbf{\Sigma}^{\frac{1}{2}}\mathbf{A}\mathbf{\Sigma}^{\frac{1}{2}}\mathbf{\Sigma}^{-\frac{1}{2}}\mathbf{x} \\&=(\mathbf{\Sigma}^{-\frac{1}{2}}\mathbf{x})^T\mathbf{\Sigma}^{\frac{1}{2}}\mathbf{A}\mathbf{\Sigma}^{\frac{1}{2}}(\mathbf{\Sigma}^{-\frac{1}{2}}\mathbf{x})\end{aligned} \\\mathbf{v}=\mathbf{\Sigma}^{-\frac{1}{2}}\mathbf{x} \sim N(\mathbf{0},\mathbf{\Sigma}^{-\frac{1}{2}}\mathbf{\Sigma}(\mathbf{\Sigma}^{-\frac{1}{2}})^T)=N(\mathbf{0},\mathbf{I}) \\(\mathbf{\Sigma}^{\frac{1}{2}}\mathbf{A}\mathbf{\Sigma}^{\frac{1}{2}})^2=\mathbf{\Sigma}^{\frac{1}{2}}\mathbf{A}\mathbf{\Sigma}^{\frac{1}{2}}\mathbf{\Sigma}^{\frac{1}{2}}\mathbf{A}\mathbf{\Sigma}^{\frac{1}{2}}=\mathbf{\Sigma}^{\frac{1}{2}}(\mathbf{A\Sigma A})\mathbf{\Sigma}^{\frac{1}{2}}=\mathbf{\Sigma}^{\frac{1}{2}}\mathbf{A}\mathbf{\Sigma}^{\frac{1}{2}} \end{array}
∑12A∑12\sum^{\frac{1}{2}} \boldsymbol{A} \sum^{\frac{1}{2}}는 Idempotent합니다. 그리고 A는 정의에 의해 Symmetric이고 Σ는 Covariance Matrix이기 때문에 Symmetric하여 Σ12AΣ12\boldsymbol{\Sigma}^{\frac{1}{2}} \mathbf{A} \boldsymbol{\Sigma}^{\frac{1}{2}}도 Symmetric합니다. rank⁡(A)=r\operatorname{rank}(\mathbf{A})=r이고 rank⁡(Σ)=n\operatorname{rank}(\boldsymbol{\Sigma})=n이기 때문에 rank⁡(Σ12AΣ12)=r\operatorname{rank}\left(\boldsymbol{\Sigma}^{\frac{1}{2}} \mathbf{A} \boldsymbol{\Sigma}^{\frac{1}{2}}\right)=r이 됩니다. rank⁡(Σ12AΣ12)=r\operatorname{rank}\left(\boldsymbol{\Sigma}^{\frac{1}{2}} \mathbf{A} \boldsymbol{\Sigma}^{\frac{1}{2}}\right)=r와 같이 B를 정의합니다. B는 Symmetric하고, Idempotent하고, rank⁡(B)=r\operatorname{rank}(\mathbf{B})=r이 됩니다.
xTAx=vTBv∼χr2\mathbf{x}^{T} \mathbf{A} \mathbf{x}=\mathbf{v}^{T} \mathbf{B} \mathbf{v} \sim \chi_{r}^{2}
•
x∼N(μ,Σ)\mathbf{x} \sim N(\boldsymbol{\mu}, \boldsymbol{\Sigma})이고, A가 n×nn \times n Matrix 이고, rank⁡(A)=r\operatorname{rank}(\mathbf{A})=r이고, A가 Symmetric하고, B가 n×nn \times nMatrix 이고, B가 Symmetric하고, AΣB=0\mathbf{A} \boldsymbol{\Sigma} \mathbf{B}=\mathbf{0}이면, xTAx\mathbf{x}^{T} \mathbf{A x}와 는 Independent하다는 것을 다음과 같이 증명합니다. Σ는 Covariance Matrix이므로 Positive Definite이 되고 Cholesky Decomposition을 이용하여 Σ=TTT\boldsymbol{\Sigma}=\mathbf{T T}^{T}로 표현할 수 있습니다.
C=TTAT\mathbf{C}=\mathbf{T}^{T} \mathbf{A} \mathbf{T}로 정의하고 K=TTBT\mathbf{K}=\mathbf{T}^{T} \mathbf{B} \mathbf{T}로 정의합니다. 참고로, A와 B가 Symmetric이므로 C와 K도 Symmetric합니다.
0=AΣB=ATTTB=TTATTTBT=(TTAT)(TTBT)=CKA=(TT)−1CT−1B=(TT)−1KT−1CK=(CK)T=KTCT=KCCK=KC\begin{array}{l}\mathbf{0}=\mathbf{A} \mathbf{\Sigma} \mathbf{B}=\mathbf{A T T}^{T} \mathbf{B}=\mathbf{T}^{T} \mathbf{A} \mathbf{T T}^{T} \mathbf{B T}=\left(\mathbf{T}^{T} \mathbf{A T}\right)\left(\mathbf{T}^{T} \mathbf{B T}\right)=\mathbf{C K} \\\mathbf{A}=\left(\mathbf{T}^{T}\right)^{-1} \mathbf{C T}^{-1} \\\mathbf{B}=\left(\mathbf{T}^{T}\right)^{-1} \mathbf{K T}^{-1} \\\mathbf{C K}=(\mathbf{C K})^{T}=\mathbf{K}^{T} \mathbf{C}^{T}=\mathbf{K C} \\\mathbf{C K}=\mathbf{K C}\end{array}
CK=KC\mathbf{C K}=\mathbf{K C}이므로 C와 K는 Simultaneously Diagonalizable Matrix이고, C와 K를 Diagonalize할 수 있는 Q가 존재합니다.
QTCQ=[d10⋯⋯⋯⋯00d2⋯⋯⋯⋯0⋮⋮⋱⋮⋮⋮⋮00⋯dr0⋯0⋮⋮⋮00⋯0⋮⋮⋮⋮⋮⋱⋮00⋯00⋯0]QTKQ=[e10⋯00e2⋯0⋮⋮⋱⋮00⋯en]\begin{aligned}\mathbf{Q}^{T} \mathbf{C Q} & =\left[\begin{array}{ccccccc}d_{1} & 0 & \cdots & \cdots & \cdots & \cdots & 0 \\0 & d_{2} & \cdots & \cdots & \cdots & \cdots & 0 \\\vdots & \vdots & \ddots & \vdots & \vdots & \vdots & \vdots \\0 & 0 & \cdots & d_{r} & 0 & \cdots & 0 \\\vdots & \vdots & \vdots & 0 & 0 & \cdots & 0 \\\vdots & \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & 0 & 0 & \cdots & 0\end{array}\right] \\\mathbf{Q}^{T} \mathbf{K} \mathbf{Q} & =\left[\begin{array}{cccc}e_{1} & 0 & \cdots & 0 \\0 & e_{2} & \cdots & 0 \\\vdots & \vdots & \ddots & \vdots \\0 & 0 & \cdots & e_{n}\end{array}\right]\end{aligned}
CK=0\mathbf{C K}=0이고 d1,d2,⋯ ,drd_{1}, d_{2}, \cdots, d_{r}은 0이 아니므로 e1,e2,⋯ ,ere_{1}, e_{2}, \cdots, e_{r}은 0이 됩니다.
QTCQ=[D000]QTKQ=[000E]\begin{aligned}\mathbf{Q}^{T} \mathbf{C Q} & =\left[\begin{array}{ll}\mathbf{D} & \mathbf{0} \\\mathbf{0} & \mathbf{0}\end{array}\right] \\\mathbf{Q}^{T} \mathbf{K Q} & =\left[\begin{array}{ll}\mathbf{0} & \mathbf{0} \\\mathbf{0} & \mathbf{E}\end{array}\right]\end{aligned}
D\mathbf{D}는 r×rr \times r인 Diagonal Matrix이고 E\mathbf{E}는 (n−r)×(n−r)(n-r) \times(n-r)인 Diagonal Matrix입니다.
v=QTT−1x\mathbf{v}=\mathbf{Q}^{T} \mathbf{T}^{-1} \mathbf{x}로 v를 정의합니다.
 E(v)=QTT−1μVar⁡(v)=(QTT−1)Σ(QTT−1)T=QTT−1Σ(T−1)TQ=QTT−1TTT(T−1)TQ=Iv∼N(QTT−1μ,I)\begin{array}{l} E(\mathbf{v})= \mathbf{Q}^{T} \mathbf{T}^{-1} \boldsymbol{\mu} \\\operatorname{Var}(\mathbf{v})=\left(\mathbf{Q}^{T} \mathbf{T}^{-1}\right) \boldsymbol{\Sigma}\left(\mathbf{Q}^{T} \mathbf{T}^{-1}\right)^{T} \\=\mathbf{Q}^{T} \mathbf{T}^{-1} \boldsymbol{\Sigma}\left(\mathbf{T}^{-1}\right)^{T} \mathbf{Q} \\=\mathbf{Q}^{T} \mathbf{T}^{-1} \mathbf{T} \mathbf{T}^{T}\left(\mathbf{T}^{-1}\right)^{T} \mathbf{Q} \\=\mathbf{I} \\\mathbf{v} \sim N\left(\mathbf{Q}^{T} \mathbf{T}^{-1} \boldsymbol{\mu}, \mathbf{I}\right)\end{array}
v\mathbf{v}의 Covariance Matrix가 II이므로 Random Variable v1,v2,⋯ ,vnv_{1}, v_{2}, \cdots, v_{n}은 Independent합니다.
 x=TQvxT=vTQTTTxTAx=vTQTTTATQv=vTQTTT(TT)−1CT−1TQv=vTQTCQvxTBx=vTQTTTBQv=vTQTTT(TT)−1KT−1TQv=vTQTKQv\begin{array}{l} \mathbf{x}=\mathbf{T Q} \mathbf{v} \\\mathbf{x}^{T}= \mathbf{v}^{T} \mathbf{Q}^{T} \mathbf{T}^{T} \\\mathbf{x}^{T} \mathbf{A} \mathbf{x}=\mathbf{v}^{T} \mathbf{Q}^{T} \mathbf{T}^{T} \mathbf{A T} \mathbf{Q} \mathbf{v} \\=\mathbf{v}^{T} \mathbf{Q}^{T} \mathbf{T}^{T}\left(\mathbf{T}^{T}\right)^{-1} \mathbf{C} \mathbf{T}^{-1} \mathbf{T} \mathbf{Q} \mathbf{v} \\=\mathbf{v}^{T} \mathbf{Q}^{T} \mathbf{C Q} \mathbf{v} \\\mathbf{x}^{T} \mathbf{B} \mathbf{x}=\mathbf{v}^{T} \mathbf{Q}^{T} \mathbf{T}^{T} \mathbf{B} \mathbf{Q} \mathbf{v} \\=\mathbf{v}^{T} \mathbf{Q}^{T} \mathbf{T}^{T}\left(\mathbf{T}^{T}\right)^{-1} \mathbf{K} \mathbf{T}^{-1} \mathbf{T} \mathbf{Q} \mathbf{v} \\=\mathbf{v}^{T} \mathbf{Q}^{T} \mathbf{K} \mathbf{Q} \mathbf{v}\end{array}
QTCQ\mathbf{Q}^{T} \mathbf{C Q}를 살펴보면 xTAx\mathbf{x}^{T} \mathbf{A} \mathbf{x}는 v\mathbf{v}중에서 Random Variable v1,v2,⋯ ,vrv_{1}, v_{2}, \cdots, v_{r}에만 Depend하고, QTKQ\mathbf{Q}^{T} \mathbf{K Q}를 살펴보면 xTBx\mathbf{x}^{T} \mathbf{B x}는 v\mathbf{v}중에서 Random Variable vr+1v_{r+1}, vr+2v_{r+2}, ⋯⋯, vnv_{n}에만 Depend합니다. 그래서 xTAx\mathbf{x}^{T} \mathbf{A x}와 xTBx\mathbf{x}^{T} \mathbf{B x}는 Independent합니다.

Non-central Chi-squared Distribution

Central Chi-squared Distribution은 XiX_i가 iid이고, Xi∼N(0,1)X_i \sim N(0,1)일 때, ∑i=1rXi2∼χr2\sum_{i=1}^r X_i^2 \sim \chi_r^2와 같이 정의합니다.
Non-central Chi-squared Distribution은 XiX_i가 iid이고, Xi∼N(μi,1)X_i \sim N(\mu_i,1)이고, λ=∑i=1rμi2\lambda=\sum_{i=1}^r\mu_i^2일 때, ∑i=1rXi2∼χr2(λ)\sum_{i=1}^r X_i^2 \sim \chi_r^2(\lambda)와 같이 정의합니다.
Quadratic Form을 참조해 보면 x∼N(0,Σ)\mathbf{x} \sim N(\mathbf{0},\mathbf{\Sigma})이고, rank(A)=rrank(\mathbf{A})=r이고, A\mathbf{A}가 Symmetric하고, AΣ\mathbf{A\Sigma}가 Idempotent할 때, xTAx∼χr2\mathbf{x}^T\mathbf{A}\mathbf{x} \sim \chi^2_r이 됩니다. 같은 조건에서 x∼N(μ,Σ)\mathbf{x} \sim N(\boldsymbol{\mu},\mathbf{\Sigma})인 경우를 살펴보면 xTAx∼χr2(μTAμ)\mathbf{x}^T\mathbf{A}\mathbf{x} \sim \chi^2_r(\boldsymbol{\mu}^T\mathbf{A}\boldsymbol{\mu})가 됩니다.

Linear Regression

Linear Regression에서 사용할 Symbol들을 아래와 같이 정의합니다.
y=Xβ+ϵϵ∼N(0,σ2I)y^=Xβy=[y1y2⋯yn]Ty^=[y^1y^2⋯y^n]Tyˉ=[yˉyˉ⋯yˉ]TX=[X11X12X13⋯X1pX21X22X23⋯X2p⋮⋮⋮⋱⋮Xn1Xn2Xn3⋯Xnp]=[1X12X13⋯X1p1X22X23⋯X2p⋮⋮⋮⋱⋮1Xn2Xn3⋯Xnp]β=[β1β2⋯βp]Tϵ=[ϵ1ϵ2⋯ϵn]Tyˉ=1n∑i=1nyiSSTO=∑i=1n(yi−yˉ)2SSE=∑i=1n(yi−y^i)2SSR=∑i=1n(y^i−yˉ)21=[11⋯1]TJ=[11⋯111⋯1⋮⋮⋱⋮11⋯1]H=X(XTX)−1XT\begin{aligned} \mathbf{y}&=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\epsilon} \\\boldsymbol{\epsilon} &\sim N(\mathbf{0}, \sigma^2\mathbf{I}) \\\hat{\mathbf{y}}&=\mathbf{X}\boldsymbol{\beta} \\\mathbf{y}&=\begin{bmatrix}y_1 & y_2 & \cdots & y_n\end{bmatrix}^T \\\hat{\mathbf{y}}&=\begin{bmatrix}\hat{y}_1 & \hat{y}_2 & \cdots & \hat{y}_n\end{bmatrix}^T \\\bar{\mathbf{y}}&=\begin{bmatrix}\bar{y} & \bar{y} & \cdots & \bar{y}\end{bmatrix}^T \\\mathbf{X}&=\begin{bmatrix}X_{11} & X_{12} & X_{13} & \cdots & X_{1p} \\X_{21} & X_{22} & X_{23} & \cdots & X_{2p} \\\vdots & \vdots & \vdots & \ddots & \vdots \\X_{n1} & X_{n2} & X_{n3} & \cdots & X_{np}\end{bmatrix}=\begin{bmatrix}1 & X_{12} & X_{13} & \cdots & X_{1p} \\1 & X_{22} & X_{23} & \cdots & X_{2p} \\\vdots & \vdots & \vdots & \ddots & \vdots \\1 & X_{n2} & X_{n3} & \cdots & X_{np}\end{bmatrix} \\\boldsymbol{\beta}&=\begin{bmatrix}\beta_1 & \beta_2 & \cdots & \beta_p\end{bmatrix}^T \\\boldsymbol{\epsilon}&=\begin{bmatrix}\epsilon_1 & \epsilon_2 & \cdots & \epsilon_n\end{bmatrix}^T \\\bar{y}&=\frac{1}{n}\sum_{i=1}^ny_i \\SSTO&=\sum_{i=1}^n(y_i-\bar{y})^2 \\SSE&=\sum_{i=1}^n(y_i-\hat{y}_i)^2 \\SSR&=\sum_{i=1}^n(\hat{y}_i-\bar{y})^2 \\\mathbf{1}&=\begin{bmatrix}1 & 1 & \cdots & 1\end{bmatrix}^T \\\mathbf{J}&=\begin{bmatrix}1 & 1 & \cdots & 1 \\1 & 1 & \cdots & 1 \\\vdots & \vdots & \ddots & \vdots \\1 & 1 & \cdots & 1\end{bmatrix} \\\mathbf{H}&=\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T \end{aligned}
Linear Regression에 대해 설명하도록 하겠습니다. 수집된 Input Data(Predictor)가 X\mathbf{X}에 저장되어 있고, 수집된 Output Data(Response)는 yy에 저장되어 있습니다. X\mathbf{X} Matrix의 각각의 Row가 하나의 Input Data이고, yy Vector의 각각의 Element가 하나의 Output Data입니다. 예를 들어, 세번째 Input Data는 [X31X32X33⋯X3p]\begin{bmatrix}X_{31} & X_{32} & X_{33} & \cdots & X_{3p}\end{bmatrix}이고, 세번째 Output Data는 y3y_3입니다. Data로 가지고 있지 않은 Input을 입력했을 때 적절한 Output을 출력하는 Function을 만들고 싶습니다. 즉, [Xi1Xi2Xi3⋯Xip]\begin{bmatrix}X_{i1} & X_{i2} & X_{i3} & \cdots & X_{ip}\end{bmatrix}을 입력하면 yiy_i을 출력하는 Function을 만들고 싶습니다. 그래서 일단 그 Function의 형태를 y=Xβ\mathbf{y}=\mathbf{X}\boldsymbol{\beta}로 구성하고 해당 조건을 성립시키는 β\boldsymbol{\beta}를 찾는 것을 시도합니다. 하지만 이것은 거의 불가능한 목표입니다. y=Xβ\mathbf{y}=\mathbf{X}\boldsymbol{\beta}는 단순한 형태라서 가지고 있는 Data가 모두 만족하도록 만드는 것이 불가능한 것이 일반적이기 때문입니다. 그래서 이 Function이 Input Data로부터 추정하는 Output은 실제 Output Data와 어느정도 Error가 발생하는 것을 피할 수 없습니다. 이 Error를 ϵ\boldsymbol{\epsilon}으로 설정합니다. 예를 들어 네번째 Output Data는 y4y_4이고, Function이 네번째 Input Data는 로부터 추정한 Output Data는 y^4\hat{y}_4이고, 네번째 Error는 ϵ4=y4−y^4\epsilon_4=y_4-\hat{y}_4가 됩니다.
ϵ4=y4−y4^=y4−[X41X42X43⋯X4p][β1β2β3⋯βp]T\begin{align}\epsilon_4&=y_4-\hat{y_4} \\&=y_4-\begin{bmatrix}X_{41} & X_{42} & X_{43} & \cdots & X_{4p}\end{bmatrix}\begin{bmatrix}\beta_1 & \beta_2 & \beta_3 & \cdots & \beta_p\end{bmatrix}^T\end{align}
각각의 Error는(첫번째 Data에 대한 Error, 두번째 Data에 대한 Error, …) iid하므로 Var(ϵ)=σ2IVar(\boldsymbol{\epsilon})=\sigma^2\mathbf{I}가 됩니다.
Linear Regression에서 β1\beta_1은 Input Data에 영향을 받지 않고 Output Data에 직접 영향을 주도록 설정하는 것이 일반적입니다. 그렇게 하기 위해서 X\mathbf{X}의 첫번째 Column은 모두 1로 설정합니다. 그래서 Xi1X_{i1}은 모두 1로 설정합니다.
Error를 최소화시키는 β\boldsymbol{\beta}를 구하기 위해서, 다음과 같이 yy를 X\mathbf{X}의 Column Space에 Projection해서 이것을 y^\hat{\mathbf{y}}으로 정하고, β\boldsymbol{\beta}를 X\mathbf{X}로 변환했을 때 y^\hat{\mathbf{y}}이 나오는 β\boldsymbol{\beta}를 구합니다. X\mathbf{X}의 Column Space에 Projection해 주는 Matrix를 Projection Matrix라고 하고 HH로 표기합니다.
y^=Hyy^=X(XTX)−1XTyy^=Xββ=(XTX)−1XTy\begin{aligned} \hat{\mathbf{y}}&=\mathbf{H}\mathbf{y} \\\hat{\mathbf{y}}&=\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y} \\\hat{\mathbf{y}}&=\mathbf{X}\boldsymbol{\beta} \\\boldsymbol{\beta}&=(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y} \end{aligned}

Linear Regression in Quadratic Form

1nJ\frac{1}{n}\mathbf{J}는 Symmetric합니다.
1nJ\frac{1}{n}\mathbf{J}가 Idempotent한 것은 다음과 같이 확인합니다.
(1nJ)2=1n2[11⋯111⋯1⋮⋮⋱⋮11⋯1][11⋯111⋯1⋮⋮⋱⋮11⋯1]=1n2[nn⋯nnn⋯n⋮⋮⋱⋮nn⋯n]=1n[11⋯111⋯1⋮⋮⋱⋮11⋯1]=1nJ\begin{aligned}(\frac{1}{n}\mathbf{J})^2&=\frac{1}{n^2}\begin{bmatrix}1 & 1 & \cdots & 1 \\1 & 1 & \cdots & 1 \\\vdots & \vdots & \ddots & \vdots \\1 & 1 & \cdots & 1\end{bmatrix}\begin{bmatrix}1 & 1 & \cdots & 1 \\1 & 1 & \cdots & 1 \\\vdots & \vdots & \ddots & \vdots \\1 & 1 & \cdots & 1\end{bmatrix} \\&=\frac{1}{n^2}\begin{bmatrix}n & n & \cdots & n \\n & n & \cdots & n \\\vdots & \vdots & \ddots & \vdots \\n & n & \cdots & n\end{bmatrix} \\&=\frac{1}{n}\begin{bmatrix}1 & 1 & \cdots & 1 \\1 & 1 & \cdots & 1 \\\vdots & \vdots & \ddots & \vdots \\1 & 1 & \cdots & 1\end{bmatrix} \\&=\frac{1}{n}\mathbf{J}\end{aligned}
SSTOSSTO를 Quadratic Form으로 표현하면 다음과 같습니다. 1nJ\frac{1}{n}\mathbf{J}가 Symmetric하고 Idempotent한 것을 이용합니다.
SSTO=∑i=1n(yi−yˉ)2=(y−yˉ)T(y−yˉ)=yTy−yTyˉ−yˉTy+yˉTyˉ=yTy−2yTyˉ+yˉTyˉ=yTy−2yT(1nJy)+(1nJy)T(1nJy)=yTy−2yT(1nJ)y+yT(1nJ)T(1nJ)y=yTy−2yT(1nJ)y+yT(1nJ)(1nJ)y=yTy−2yT(1nJ)y+yT(1nJ)2y=yTy−2yT(1nJ)y+yT(1nJ)y=yTy−yT(1nJ)y=yT(I−1nJ)y\begin{aligned}SSTO&=\sum_{i=1}^n(y_i-\bar{y})^2 \\&=(\mathbf{y}-\bar{\mathbf{y}})^T(\mathbf{y}-\bar{\mathbf{y}}) \\&=\mathbf{y}^T\mathbf{y}-\mathbf{y}^T\bar{\mathbf{y}}-\bar{\mathbf{y}}^T\mathbf{y}+\bar{\mathbf{y}}^T\bar{\mathbf{y}} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T\bar{\mathbf{y}}+\bar{\mathbf{y}}^T\bar{\mathbf{y}} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T(\frac{1}{n}\mathbf{J}\mathbf{y})+(\frac{1}{n}\mathbf{J}\mathbf{y})^T(\frac{1}{n}\mathbf{J}\mathbf{y}) \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})^T(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})^2\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T(\mathbf{I}-\frac{1}{n}\mathbf{J})\mathbf{y}\end{aligned}
H\mathbf{H}가 Symmetric한 것은 다음과 같이 확인합니다.
HT=(X(XTX)−1XT)T=(XT)T((XTX)−1)TXT=(XT)T(XT(XT)T)−1XT=X(XTX)−1XT=H\begin{aligned}\mathbf{H}^T&=(\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T)^T \\&=(\mathbf{X}^T)^T((\mathbf{X}^T\mathbf{X})^{-1})^T\mathbf{X}^T \\&=(\mathbf{X}^T)^T(\mathbf{X}^T(\mathbf{X}^T)^T)^{-1}\mathbf{X}^T \\&=\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T \\&=\mathbf{H}\end{aligned}
H\mathbf{H}가 Idempotent한 것은 다음과 같이 확인합니다.
H2=(X(XTX)−1XT)2=X(XTX)−1XTX(XTX)−1XT=X(XTX)−1XT=H\begin{aligned}\mathbf{H}^2&=(\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T)^2 \\&=\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T \\&=\mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T \\&=\mathbf{H}\end{aligned}
SSESSE를 Quadratic Form으로 표현하면 다음과 같습니다. H\mathbf{H}가 Symmetric하면서 Idempotent한 것을 이용합니다.
SSE=∑i=1n(yi−y^)2=(y−y^)T(y−y^)=yTy−yTy^−y^Ty+y^Ty^=yTy−2y^Ty+y^Ty^=yTy−2(Hy)Ty+(Hy)THy=yTy−2yTHTy+yTHTHy=yTy−2yTHy+yTHHy=yTy−2yTHy+yTH2y=yTy−2yTHy+yTHy=yTy−yTHy=yT(I−H)y\begin{aligned}SSE&=\sum_{i=1}^n(y_i-\hat{y})^2 \\&=(\mathbf{y}-\hat{\mathbf{y}})^T(\mathbf{y}-\hat{\mathbf{y}}) \\&=\mathbf{y}^T\mathbf{y}-\mathbf{y}^T\hat{\mathbf{y}}-\hat{\mathbf{y}}^T\mathbf{y}+\hat{\mathbf{y}}^T\hat{\mathbf{y}} \\&=\mathbf{y}^T\mathbf{y}-2\hat{\mathbf{y}}^T\mathbf{y}+\hat{\mathbf{y}}^T\hat{\mathbf{y}} \\&=\mathbf{y}^T\mathbf{y}-2(\mathbf{H}\mathbf{y})^T\mathbf{y}+(\mathbf{H}\mathbf{y})^T\mathbf{H}\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T\mathbf{H}^T\mathbf{y}+\mathbf{y}^T\mathbf{H}^T\mathbf{H}\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T\mathbf{H}\mathbf{y}+\mathbf{y}^T\mathbf{H}\mathbf{H}\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T\mathbf{H}\mathbf{y}+\mathbf{y}^T\mathbf{H}^2\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-2\mathbf{y}^T\mathbf{H}\mathbf{y}+\mathbf{y}^T\mathbf{H}\mathbf{y} \\&=\mathbf{y}^T\mathbf{y}-\mathbf{y}^T\mathbf{H}\mathbf{y} \\&=\mathbf{y}^T(\mathbf{I}-\mathbf{H})\mathbf{y} \\\end{aligned}
1\mathbf{1}의 Column Space로 Projection하는 Projection Matrix를 구해보면 다음과 같습니다.
1(1T1)−11T=1(n)−11T=1nJ\mathbf{1}(\mathbf{1}^T\mathbf{1})^{-1}\mathbf{1}^T=\mathbf{1}(n)^{-1}\mathbf{1}^T=\frac{1}{n}\mathbf{J}
H\mathbf{H}는 X\mathbf{X}의 Column Space로 Projection하는 Projection Matrix이고, 1nJ\frac{1}{n}\mathbf{J}는 11의 Column Space로 Projection하는 Projection Matrix입니다. 그리고 Xi1X_{i1}가 모두 11로 설정되어 있기 때문에 X\mathbf{X}의 Column Space는 11의 Column Space를 포함합니다. 그래서 X\mathbf{X}의 Column Space로 Projection하고 11의 Column Space로 Projection한 결과, 11의 Column Space로 Projection하고 X\mathbf{X}의 Column Space로 Projection한 결과, 11의 Column Space로 Projection한 결과는 모두 동일합니다. 정리하면 다음이 성립합니다.
(Projection Matrix onto CS(X))=H(Projection Matrix onto CS(1))=1nJCS(X)⊃CS(1)1nHJ=1nJH=1nJ\begin{array}{c} (\text{Projection Matrix onto }CS(\mathbf{X}))=\mathbf{H} \\(\text{Projection Matrix onto }CS(\mathbf{1}))=\frac{1}{n}\mathbf{J} \\CS(\mathbf{X}) \supset CS(\mathbf{1}) \\\frac{1}{n}\mathbf{H}\mathbf{J}=\frac{1}{n}\mathbf{J}\mathbf{H}=\frac{1}{n}\mathbf{J} \end{array}
SSRSSR을 Quadratic Form으로 표현하면 다음과 같습니다. 1nHJ=1nJH=1nJ\frac{1}{n}\mathbf{H}\mathbf{J}=\frac{1}{n}\mathbf{J}\mathbf{H}=\frac{1}{n}\mathbf{J}을 이용합니다.
SSR=∑i=1n(y^i−yˉ)2=(y^−yˉ)T(y^−yˉ)=y^Ty^−y^Tyˉ−yˉTy^+yˉTyˉ=(Hy)T(Hy)−2y^Tyˉ+(1nJy)T(1nJy)=yTHTHy−2(Hy)Tyˉ+yT(1nJ)T(1nJ)y=yTHHy−2yTHTyˉ+yT(1nJ)(1nJ)y=yTH2y−2yTHyˉ+yT(1nJ)2y=yTHy−2yTH(1nJy)+yT(1nJ)y=yTHy−2yT(1nHJ)y+yT(1nJ)y=yTHy−2yT(1nJ)y+yT(1nJ)y=yTHy−yT(1nJ)y=yT(H−1nJ)y\begin{aligned}SSR&=\sum_{i=1}^n(\hat{y}_i-\bar{y})^2 \\&=(\hat{\mathbf{y}}-\bar{\mathbf{y}})^T(\hat{\mathbf{y}}-\bar{\mathbf{y}}) \\&=\hat{\mathbf{y}}^T\hat{\mathbf{y}}-\hat{\mathbf{y}}^T\bar{\mathbf{y}}-\bar{\mathbf{y}}^T\hat{\mathbf{y}}+\bar{\mathbf{y}}^T\bar{\mathbf{y}} \\&=(\mathbf{Hy})^T(\mathbf{Hy})-2\hat{\mathbf{y}}^T\bar{\mathbf{y}}+(\frac{1}{n}\mathbf{J}\mathbf{y})^T(\frac{1}{n}\mathbf{J}\mathbf{y}) \\&=\mathbf{y}^T\mathbf{H}^T\mathbf{Hy}-2(\mathbf{Hy})^T\bar{\mathbf{y}}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})^T(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T\mathbf{H}\mathbf{Hy}-2\mathbf{y}^T\mathbf{H}^T\bar{\mathbf{y}}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T\mathbf{H}^2\mathbf{y}-2\mathbf{y}^T\mathbf{H}\bar{\mathbf{y}}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})^2\mathbf{y} \\&=\mathbf{y}^T\mathbf{H}\mathbf{y}-2\mathbf{y}^T\mathbf{H}(\frac{1}{n}\mathbf{J}\mathbf{y})+\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T\mathbf{H}\mathbf{y}-2\mathbf{y}^T(\frac{1}{n}\mathbf{H}\mathbf{J})\mathbf{y}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T\mathbf{H}\mathbf{y}-2\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y}+\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T\mathbf{H}\mathbf{y}-\mathbf{y}^T(\frac{1}{n}\mathbf{J})\mathbf{y} \\&=\mathbf{y}^T(\mathbf{H}-\frac{1}{n}\mathbf{J})\mathbf{y}\end{aligned}
SSTOSSTO, SSRSSR, SSESSE를 종합해 보면 다음과 같이 SSTO=SSR+SSESSTO=SSR+SSE의 관계가 있습니다.
SSTO=SSR+SSEyT(I−1nJ)y=yT(H−1nJ)y+yT(I−H)y\begin{array}{c} SSTO=SSR+SSE \\\mathbf{y}^T(\mathbf{I}-\frac{1}{n}\mathbf{J})\mathbf{y}=\mathbf{y}^T(\mathbf{H}-\frac{1}{n}\mathbf{J})\mathbf{y}+\mathbf{y}^T(\mathbf{I}-\mathbf{H})\mathbf{y} \end{array}
I\mathbf{I}, 1nJ\frac{1}{n}\mathbf{J}, H\mathbf{H}는 모두 Symmetric합니다. 그래서 I−1nJ\mathbf{I}-\frac{1}{n}\mathbf{J}, I−H\mathbf{I}-\mathbf{H}, H−1nJ\mathbf{H}-\frac{1}{n}\mathbf{J}도 모두 Symmetric합니다.
I\mathbf{I}, 1nJ\frac{1}{n}\mathbf{J}, H\mathbf{H}는 모두 Idempotent합니다.
I−1nJ\mathbf{I}-\frac{1}{n}\mathbf{J}가 Idempotent한 것은 다음과 같이 확인합니다.
(I−1nJ)2=I2−1nIJ−1nJI+(1nJ)2=I−2nJ+1nJ=I−1nJ\begin{aligned}(\mathbf{I}-\frac{1}{n}\mathbf{J})^2&=\mathbf{I}^2-\frac{1}{n}\mathbf{I}\mathbf{J}-\frac{1}{n}\mathbf{J}\mathbf{I}+(\frac{1}{n}\mathbf{J})^2 \\&=\mathbf{I}-\frac{2}{n}\mathbf{J}+\frac{1}{n}\mathbf{J} \\&=\mathbf{I}-\frac{1}{n}\mathbf{J} \\\end{aligned}
I−H\mathbf{I}-\mathbf{H}가 Idempotent한 것은 다음과 같이 확인합니다.
(I−H)2=I2−IH−HI+H2=I−2H+H=I−H\begin{aligned}(\mathbf{I}-\mathbf{H})^2&=\mathbf{I}^2-\mathbf{I}\mathbf{H}-\mathbf{H}\mathbf{I}+\mathbf{H}^2 \\&=\mathbf{I}-2\mathbf{H}+\mathbf{H} \\&=\mathbf{I}-\mathbf{H}\end{aligned}
H−1nJ\mathbf{H}-\frac{1}{n}\mathbf{J}이 Idempotent한 것은 다음과 같이 확인합니다. 1nHJ=1nJH=1nJ\frac{1}{n}\mathbf{H}\mathbf{J}=\frac{1}{n}\mathbf{J}\mathbf{H}=\frac{1}{n}\mathbf{J}을 이용합니다.
(H−1nJ)2=H2−1nHJ−1nJH+(1nJ)2=H−1nJ−1nJ+1nJ=H−1nJ\begin{aligned}(\mathbf{H}-\frac{1}{n}\mathbf{J})^2&=\mathbf{H}^2-\frac{1}{n}\mathbf{HJ}-\frac{1}{n}\mathbf{JH}+(\frac{1}{n}\mathbf{J})^2 \\&=\mathbf{H}-\frac{1}{n}\mathbf{J}-\frac{1}{n}\mathbf{J}+\frac{1}{n}\mathbf{J} \\&=\mathbf{H}-\frac{1}{n}\mathbf{J} \\\end{aligned}
I−1nJ\mathbf{I}-\frac{1}{n}\mathbf{J}, I−H\mathbf{I}-\mathbf{H}, H−1nJ\mathbf{H}-\frac{1}{n}\mathbf{J}이 모두 Symmetric하고 Idempotent한 것을 확인했습니다. 이번에는 각각의 Rank를 구해 보도록 하겠습니다. A\mathbf{A}가 Idempotent일 때 rank(A)=tr(A)rank(\mathbf{A})=tr(\mathbf{A})인 것은 Idempotent Matrix를 참조합니다. X\mathbf{X}는 n×pn \times p Matrix이므로 rank(H)=prank(\mathbf{H})=p이 되는 것도 이용합니다.
rank(I−1nJ)=tr(I−1nJ)=tr(I)−tr(1nJ)=n−1nn=n−1rank(I−H)=tr(I−H)=tr(I)−tr(H)=n−prank(H−1nJ)=tr(H−1nJ)=tr(H)−tr(1nJ)=p−1\begin{aligned}rank(\mathbf{I}-\frac{1}{n}\mathbf{J})&=tr(\mathbf{I}-\frac{1}{n}\mathbf{J}) \\&=tr(\mathbf{I})-tr(\frac{1}{n}\mathbf{J}) \\&=n-\frac{1}{n}n \\&=n-1\end{aligned} \\\begin{aligned}rank(\mathbf{I}-\mathbf{H})&=tr(\mathbf{I}-\mathbf{H}) \\&=tr(\mathbf{I})-tr(\mathbf{H}) \\&=n-p\end{aligned} \\\begin{aligned}rank(\mathbf{H}-\frac{1}{n}\mathbf{J})&=tr(\mathbf{H}-\frac{1}{n}\mathbf{J}) \\&=tr(\mathbf{H})-tr(\frac{1}{n}\mathbf{J}) \\&=p-1\end{aligned}
여기서 얻은 결과들을 정리해 보면 다음과 같습니다.
SSTO=yT(I−1nJ)ySSR=yT(H−1nJ)ySSE=yT(I−H)ySSTO=SSR+SSEyT(I−1nJ)y=yT(H−1nJ)y+yT(I−H)yI is symmetric and idempotent.1nJ is symmetric and idempotent.H is symmetric and idempotent.I−1nJ is symmetric and idempotent.I−H is symmetric and idempotent.H−1nJ is symmetric and idempotent.rank(I)=nrank(1nJ)=1rank(H)=prank(I−1nJ)=n−1rank(I−H)=n−prank(H−1nJ)=p−11nHJ=1nJH=1nJ\begin{aligned} &SSTO=\mathbf{y}^T(\mathbf{I}-\frac{1}{n}\mathbf{J})\mathbf{y} \\&SSR=\mathbf{y}^T(\mathbf{H}-\frac{1}{n}\mathbf{J})\mathbf{y} \\&SSE=\mathbf{y}^T(\mathbf{I}-\mathbf{H})\mathbf{y} \\&SSTO=SSR+SSE \\&\mathbf{y}^T(\mathbf{I}-\frac{1}{n}\mathbf{J})\mathbf{y}=\mathbf{y}^T(\mathbf{H}-\frac{1}{n}\mathbf{J})\mathbf{y}+\mathbf{y}^T(\mathbf{I}-\mathbf{H})\mathbf{y} \\&\mathbf{I} \text{ is symmetric and idempotent.} \\&\frac{1}{n}\mathbf{J} \text{ is symmetric and idempotent.} \\&\mathbf{H} \text{ is symmetric and idempotent.} \\&\mathbf{I}-\frac{1}{n}\mathbf{J} \text{ is symmetric and idempotent.} \\&\mathbf{I}-\mathbf{H} \text{ is symmetric and idempotent.} \\&\mathbf{H}-\frac{1}{n}\mathbf{J} \text{ is symmetric and idempotent.} \\&rank(\mathbf{I})=n \\&rank(\frac{1}{n}\mathbf{J})=1 \\&rank(\mathbf{H})=p \\&rank(\mathbf{I}-\frac{1}{n}\mathbf{J})=n-1 \\&rank(\mathbf{I}-\mathbf{H})=n-p \\&rank(\mathbf{H}-\frac{1}{n}\mathbf{J})=p-1 \\&\frac{1}{n}\mathbf{H}\mathbf{J}=\frac{1}{n}\mathbf{J}\mathbf{H}=\frac{1}{n}\mathbf{J} \end{aligned}

F Test for Linear Regression

Linear Regression을 살펴보면 다음이 성립합니다.
y∼N(Xβ,σ2I)\mathbf{y} \sim N(\mathbf{X}\boldsymbol{\beta},\sigma^2\mathbf{I})
Quadratic Form과 Linear Regression in Quadratic Form을 살펴보면 A=I−H\mathbf{A}=\mathbf{I}-\mathbf{H}이 Symmetric하고 B=H−1nJ\mathbf{B}=\mathbf{H}-\frac{1}{n}\mathbf{J}이 Symmetric하고 다음과 같이 AΣB=0\mathbf{A \Sigma B}=\mathbf{0}을 만족하기 때문에 yTAy=yT(I−H)y=SSE\mathbf{y}^T\mathbf{A}\mathbf{y}=\mathbf{y}^T(\mathbf{I}-\mathbf{H})\mathbf{y}=SSE와 yTBy=yT(H−1nJ)y=SSR\mathbf{y}^T\mathbf{B}\mathbf{y}=\mathbf{y}^T(\mathbf{H}-\frac{1}{n}\mathbf{J})\mathbf{y}=SSR이 Independent합니다.
AΣB=(I−H)(σ2I)(H−1nJ)=σ2(H−1nJ−H2+1nHJ)=σ2(H−1nJ−H+1nJ)=0\begin{aligned}\mathbf{A \Sigma B}&=(\mathbf{I}-\mathbf{H})(\sigma^2\mathbf{I})(\mathbf{H}-\frac{1}{n}\mathbf{J}) \\&=\sigma^2(\mathbf{H}-\frac{1}{n}\mathbf{J}-\mathbf{H}^2+\frac{1}{n}\mathbf{H}\mathbf{J}) \\&=\sigma^2(\mathbf{H}-\frac{1}{n}\mathbf{J}-\mathbf{H}+\frac{1}{n}\mathbf{J}) \\&=\mathbf{0}\end{aligned}
v=yσ\mathbf{v}=\frac{\mathbf{y}}{\sigma}로 v\mathbf{v}를 정의하면, v∼N(Xβσ,I)\mathbf{v} \sim N(\frac{\mathbf{X}\boldsymbol{\beta}}{\sigma}, \mathbf{I})이 됩니다. Non-central Chi-squared Distribution을 살펴보면 A=I−H\mathbf{A}=\mathbf{I}-\mathbf{H}가 Symmetric하고 AΣ=(I−H)I\mathbf{A\Sigma}=(\mathbf{I}-\mathbf{H})\mathbf{I}가 Idempotent하기 때문에 다음이 성립합니다. rank(I−H)=n−prank(\mathbf{I}-\mathbf{H})=n-p는 Linear Regression in Quadratic Form를 참조합니다.
SSEσ2=vTAv=(yσ)T(I−H)(yσ)∼χn−p2((Xβσ)T(I−H)(Xβσ))\frac{SSE}{\sigma^2}=\mathbf{v}^T\mathbf{A}\mathbf{v}=(\frac{\mathbf{y}}{\sigma})^T(\mathbf{I}-\mathbf{H})(\frac{\mathbf{y}}{\sigma})\sim \chi_{n-p}^2((\frac{\mathbf{X}\boldsymbol{\beta}}{\sigma})^T(\mathbf{I}-\mathbf{H})(\frac{\mathbf{X}\boldsymbol{\beta}}{\sigma}))
마찬가지 방법으로 H−1nJ\mathbf{H}-\frac{1}{n}\mathbf{J}가 Symmetric하고 (H−1nJ)I(\mathbf{H}-\frac{1}{n}\mathbf{J})\mathbf{I}가 Idempotent하기 때문에 다음이 성립합니다. rank(H−1nJ)=p−1rank(\mathbf{H}-\frac{1}{n}\mathbf{J})=p-1는 Linear Regression in Quadratic Form를 참조합니다.
SSRσ2=(yσ)T(H−1nJ)(yσ)∼χp−12((Xβσ)T(H−1nJ)(Xβσ))\frac{SSR}{\sigma^2}=(\frac{\mathbf{y}}{\sigma})^T(\mathbf{H}-\frac{1}{n}\mathbf{J})(\frac{\mathbf{y}}{\sigma})\sim \chi_{p-1}^2((\frac{\mathbf{X}\boldsymbol{\beta}}{\sigma})^T(\mathbf{H}-\frac{1}{n}\mathbf{J})(\frac{\mathbf{X}\boldsymbol{\beta}}{\sigma}))
β=0\boldsymbol{\beta}=\mathbf{0}로 Null Hypothesis를 설정하면 다음과 같이 됩니다.
SSEσ2=χn−p2SSRσ2=χp−12\begin{array}{c} \frac{SSE}{\sigma^2}=\chi_{n-p}^2 \\\frac{SSR}{\sigma^2}=\chi_{p-1}^2 \end{array}
SSRSSR과 SSESSE는 Independent하므로 F Statistic을 다음과 같이 계산할 수 있습니다. F Distribution에 대해서는 Derivation of the Probability Distribution Functions을 참조합니다.
F=SSRσ2p−1SSEσ2n−p=SSRp−1SSEn−p=SSTO−SSEp−1SSEn−p∼F(p−1,n−p)F=\frac{\frac{\frac{SSR}{\sigma^2}}{p-1}}{\frac{\frac{SSE}{\sigma^2}}{n-p}}=\frac{\frac{SSR}{p-1}}{\frac{SSE}{n-p}}=\frac{\frac{SSTO-SSE}{p-1}}{\frac{SSE}{n-p}} \sim F(p-1,n-p)
nn은 가지고 있는 Data의 수(y\mathbf{y} Vector의 Element 수, X\mathbf{X} Matrix의 Row의 수), pp는 찾아야 하는 Parameter의 수(β\boldsymbol{\beta} Vector의 Element 수, X\mathbf{X} Matrix의 Column의 수)입니다. β=0\boldsymbol{\beta}=\mathbf{0}이라는 뜻은 Input과 Output이 관계가 없다는 뜻입니다. F Statistic으로 얻게 되는 결과는 F(p−1,n−p)F(p-1,n-p)를 따릅니다. 이것의 의미는 Input과 Output이 관계가 없다고 가정했을 때 현재 가지고 있는 Input Data와 Output Data의 조합을 우연히 얻게 될 확률이며, 이것은 만약에 여기서 계산된 Input Data와 Output Data의 조합을 우연히 얻게 될 확률이 충분히 낮다면(예를 들어 5%이하) Null Hypothesis를 기각해서 Input과 Output이 관계가 있다는 것을 의미하고, 이 확률이 높다면 Null Hypothesis를 기각하는 것이 불가능하여 Input과 Output이 관계가 있다고 확신하기 힘들다는 것을 의미합니다.
작성자
오태호 (Taeho Oh)
Senior Machine Learning Engineer
안녕하세요, AI팀 오태호입니다.
관련된 글 더 보기
SHAP
Machine Learning
통계학
2024/05/06
Bayes Theorem
통계학
2023/06/18
Proof of the Chi Squared Test
통계학
2022/02/12
Least Squares
통계학
2021/04/06
Proof of the F Test for Linear Regression
통계학
2019/08/01
Sample Mean and Sample Variance
통계학
2019/07/12
Independent and Uncorrelated
통계학
2019/07/05
Time-series 데이터 분석: Holt-Winters
통계학
데이터분석
2019/06/29
Derivation of the Multivariate Normal Distribution
통계학
2019/06/28
Derivation of the Probability Distribution Functions
통계학
2019/06/21