선형회귀2 Ridge regression(능형 회귀) 간단한 설명과 장점 선형 모델(Linear model)의 예측력(accuracy) 혹은 설명력(interpretability)을 높이기 위해 여러 정규화(regularization) 방법들을 사용한다. 대표적인 shrinkage 방법에는 ridge regression과 lasso가 있으며 이번에는 ridge regression을 설명하고자 한다. 기본 선형 모델 기본적인 선형모델은 다음과 같다. $Y = \beta_0 + \beta_1X_1 + \dots + \beta_pX_p + \epsilon$ 이 선형 모델의 오차를 최소화하는 계수를 찾기 위한 최소 제곱 법(Least squares)은 다음과 같다. $RSS = \sum_{i=1}^n(y_i-\beta_0-\sum^p_{j=1}\beta_jx_{ij})^2$ Ridg.. 2020. 10. 26. 선형 회귀 분석 예시로 쉽게 이해하기 선형 회귀분석은 어떤 인자 X와 인자 Y의 관계를 예측하기 위해 사용된다. 예를 들어 광고비 X와 판매 수익 Y에 대한 데이터를 사용하여 선형 회귀모형을 만들었다면 추후 광고비 $x$금액을 투자하였을 때 기대되는 판매 수익 $\hat{y}$을 예측할 수 있다. 하지만 이는 상관관계를 설명할 뿐이지 인과관계를 설명하지는 못한다는 점에서 주의해야 한다. 즉 TV광고비를 늘렸기 때문에 판매 수익이 증가하였는지 또는 판매수익이 늘어남에 따라 회사에서 TV광고비에 투자를 많이 하였는지 무엇이 원인인지는 설명하지 못한다. 단순 선형 회귀모형 독립변수 X와 종속변수 Y에 대하여 다음 관계식이 성립한다고 가정한다. $Y = \alpha + \beta X + \varepsilon$ 여기서 오차 $\varepsilon$는.. 2020. 9. 30. 이전 1 다음
