회귀 분석 (Regression)

독립 변수들이 종속 변수들에 미치는 영향을 알아보기 위한 것

두 변수 $X$, $Y$의 확률 분포에 대한 관계를 직선으로 나타내는 것.

$y_i = a+bx_i + e_i$, $i=1,2,... ,n$

$e_i \sim N(0, \sigma^2)$이고 독립으로, 오차를 의미한다.

$X,Y$의 분포를 가장 잘 설명하는 $a, b$를 찾는 것이 단순 회귀 분석이다.

오차 제곱합이 가장 작아지는 직선을 찾는 것이다.

$D= \sum_{i=1}^n e_i^2 = \sum ^n_{i=1} (y_i -a -bx_i)^2$인 $D$가 최소가 되도록 하게 하면 된다.

따라서 $D$를 $a, b$로 편미분하면

$\cfrac{\partial D}{\partial a} = -2\sum ^n_{i=1} (y_i -a -bx_i) = 0$

이고, 이를 풀어주면 $\hat{a} = \bar{y} - \hat{b}\bar{x}$가 성립한다.

따라서 $\hat{y} = \hat{a} + \hat{b}x$ 가 $x, y$의 관계를 잘 나타낸다고 할 수 있다.

데이터들의 변동 중 회귀 분석에 의해 설명 가능한 부분을 결정 계수라고 한다. 결정 계수가 클수록 데이터를 잘 설명하는 것이므로 적합하다고 할 수 있다.

총 변동 : $SST = \sum(y_i - \bar{y})^2 = \sum y_i^2 - n(\bar{y}^2)$

(두번째에서 세번째로 넘어가는 것은 직접 계산해보자.)

회귀 변동 : $SSR = \sum(\hat{y_i} - \bar{y})^2 = \sum(\hat{a} + \hat{b}x_i - \bar{y})^2 = \hat{b}^2\sum(x_i - \bar{x})^2$

잔차 변동 : $SSE = \sum(y_i - \hat{y}_i) = SST-SSR$

결정 계수 : $R^2 = \cfrac{SSR}{SST} = 1-\cfrac{SSE}{SST}$

전체 변동 중에 회귀 분석이 전체 변동을 설명하는 비율로서, 1에 가까울 수록 전체 변동 중에 회귀 분석이 차지하는 비율이 커지는 것을 의미한다.

$R^2$이 얼마나 커야 회귀 분석이 잘 된것인지는 상황마다 다르나, 이론적인 상황에서는 0.99이상의 높은 값을 요구하는 경우도 있는 반면 Buzz Data등을 바탕으로 한 분석의 경우는 0.6만 되어도 높다고 하는 경우도 있다.

$x$축에 $\hat{y_i}$ $y$축에 $e_i$를 놓고 Scatter Plot을 그렸을 때 어떠한 경향도 없이 랜덤하게 잔차들이 분포하지 않으면 회귀 분석이 잘 되지 못한것이다.

2개 이상의 독립 변수와 종속 변수와의 관계를 선형으로 가정하는 회귀 모형

$\bold{y = Xb+e}$ 이고, $\bold{y, x, b, e}$는 벡터와 행렬

행렬이 있다는 것 말고는 단순 회귀 분석과 같다.

$D = e^Te = (\bold{y-Xb)}^T(\bold{y-Xb}) = \bold{y}^T\bold{y} - 2\bold{b}^T\bold{X}^T\bold{y} + \bold{b}^T\bold{X}^T\bold{Xb}$ 이고,이를 $\bold{b}$로 미분하여 0으로 놓으면,

$\bold{X}^T\bold{X}\hat{\bold{b}}=\bold{X}^T \bold{y}$, $\hat{\bold{b}} = (\bold{X}^T\bold{X})^{-1}\bold{X}^T\bold{y}$ 가 성립한다.

$y= a+b_1x_1 + b_2x^2+...+ b_kx^k + e$

곡선에 적합시키는 방법으로 다중 회귀 분석을 풀듯이 풀면 된다.

설명 변수들 간의 상관 계수가 높을 경우 회귀 계수의 값이 매우 커진다.

특정 설명 변수가 다른 변수들간의 선형 결합으로 나타나는 경우

회귀 계수의 변동성이 커져서 통계량과 모수가 서로 반대 부호를 가질 수 있다.

$X_j=\sum_{i=1}^m \alpha_iX_i = \epsilon, i\neq j$

어떤 독립 변수를 다른 독립 변수로 회귀 분석 해보고 나온 결정 계수가 크면 문제가 있는 것

${VIF}_j = \cfrac{1}{1-R_j^2}$ 가 크면 문제가 있다고 볼 수 있다. (10이상)

사용할 변수만 선택해서 회귀 분석을 진행한다.

ML 알고리즘들은 Training Error을 최소화 하는 방향으로 Train을 진행합

But, 우리는 Training Error가 작은 모델이 아니라 Generalization Error가 작은 모델이 좋은 것이다.

모델의 성능을 평가할 때는 Test Error를 측정해야 한다.

→ 변수 선택과 정규화 등으로 해결할 수 있다.