선형 회귀와 최소제곱법

선형 회귀 linear regression

선형 회귀는 종속 변수 y와 한 개 이상의 독립변수 X와의 선형 상관관계를 모델링하는 회기 분석 기법이다.

한 개의 독립변수가 있으면 단순 선형 회귀, 둘 이상이면 다중 선형 회귀라한다.

(x값에 따라서 y가 변하기 때문에 y는 종속변수이고, x는 독립적으로 변할 수 있어서 독립변수라 한다.)

 

선형 회귀는 선형 예측 함수를 사용해 회귀식을 모델링하며, 알려지지 않은 파라미터는 데이터로부터 추정할 수 있다.

즉 데이터를 수집해 예측 선형 함수를 만들고(선의 방향을 설정하고), 함수를 기반으로 다음을 예측할 수 있다.

ex) 학습시간에 따른 성적

출처 : 위키백과 선형회귀

선형 회귀는 딥러닝에서 사용되는 계산 원리 중 하나기 때문에 반드시 이해할 필요가 있다,

선형은 직선이기 때문에 일차함수를 나타내며, 일차 함수의 다음과 같은 공식을 가진다.

우리는 기존 데이터를 가지고 어떤 선이 그려질지를 예측하고 다음을 예측하는 것이 목표다.

그러기 위해선 기존 데이터를 기반으로 최선의 선을 그려내야 하는데 그러려면 정확한 기울기 a와 y절편 b를 알아야 한다. 

a, b를 알아내는 방법 중 가장 간단하고 많이 쓰이는 방법이 바로 최소 제곱 법이다.

 

최소제곱법 Ordinary least squares

최소 제곱 법은 어떤 계의 해방 정식을 근사적으로 구하는 방법으로,

근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합이 최소가 되는 해를 구하는 방법이다.

말이 어렵지만 결론은 최소 제곱 법을 통해 최선을 선을 그려낼 수 있도록 한다.

출처 : 위키백과 최소제곱법

각 점들에서 가장 가까운 1차 함수 그래프 식을 구해내면, 구해낸 식을 기반으로 다음을 예측할 수 있다.

 

최선의 선을 그려낼 수 있도록 하기 위해 최소 제곱 법을 사용한다 했다.

최소제곱법을 사용하면 함수의 기울기 a와 y절편 b를 바로 구할 수 있기 때문이다.

기울기를 구하는 방법은 위와 같다.

분자는 (x-x평균)(y-y평균)의 합이고 분모는 (x-x평균) 제곱의 합이다.

 

a가 구해지면 아래 공식을 통해 y절편인 b를 구할 수 있다.

여기까지 하면 일차함수 식 y = ax + b에서 a와 b를 알게 되었다.

a와 b를 알고 있기 때문에 x에 새로운 값을 넣으면 x에 대한 예측한 결과인 y값을 얻을 수 있다.

 

https://ko.wikipedia.org/wiki/%EC%B5%9C%EC%86%8C%EC%A0%9C%EA%B3%B1%EB%B2%95

최소제곱법 - 위키백과, 우리 모두의 백과사전

https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95_%ED%9A%8C%EA%B7%80

선형 회귀 - 위키백과, 우리 모두의 백과사전