선형 회귀분석

선형 회귀분석의 목적 : 예측도 하지만 설명도 할 수 있다

설명 - 종속변수에 대한 설명변수(독립변수 X)의 영향을 측정,예측한다.

예측 - 설명변수(독립변수 X)정보가 있을 때 이에 따른 종속변수(Y 값)를 예측한다.

 

단순 선형 회귀분석

: 아버지의 키를 바탕으로 아들의 키를 예측

아버지의 키와 아들의 키 사이의 관계를 가장 간략하게 설명할 하나의 선을 찾는다면?

아들의 키 = 아버지의 키x기울기 + 절편

하나의 x값에 여러개의 y값이 나옴

따라서 T(target)-M(model) = E(error)

실제로는 딱 하나의 값이 아니기 때문에 오차가 있다. 이 오차를 줄여서 머신러닝 성능을 높인다.

 

여기서, Y가 T, ( β- βx) 가 M)SS(오차 제곱의 합)을 편미분한 값을 0으로 두어, 최소제곱 추정량을 도출한다.구해진 방정식을 정규방정식이라 하며,회귀계수 추정량은 이 정규방정식으로 구성된 연립방정식의 해로 도출할 수 있다.

절편

기울기

 

따라서, 최소 제곱법으로 회귀식을 구할 때,

1. x와 y의 평균 구하기

2.기울기 구하기

3.절편 구하기