경사 하강법

경사 하강법 Gradient descent

1차 근삿값 발견용 최적화 알고리즘이다.

함수의 기울기를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값이 이를 때까지 반복하는 것이다.

 

경사 하강법은 반복적으로 기울기 a를 변화시켜 m의 값을 찾아내는 방법이다.

아래의 과정을 따라 반복한다.

 

1. a1에서 미분을 구한다.
2. 구해진 기울기의 반대 방향으로 a2에서 미분을 구한다.
3. a3에서 미분을 구한다.
4. 3의 값이 0이 아니면 위 과정을 반복한다.

 

기울기의 부호를 바꿔 이동시킬 때 절적한 거리를 찾지 못해 너무 멀리 이동시키면 a가 모이지 않고 치솟아 버린다.

따라서 어느 만큼 이동시킬 시 잘 결정해야하는데 학습률이 이동 거리를 정해주는 것이다.

위 그래프는 학습률을 너무 크게 잡아 한점으로 수렴하지 않는 예다.

(가능한 한 빨리 손실을 줄이기 위해 기울기의 반대 방향으로 이동함)

 

경사 하강법은 오차의 변화에 따라 이차 함수 그래프를 만들고 적절한 학습률을 설정해 미분 값이 0인 지점을 구하는 것이다.

 

https://ko.wikipedia.org/wiki/%EA%B2%BD%EC%82%AC_%ED%95%98%EA%B0%95%EB%B2%95

경사 하강법 - 위키백과, 우리 모두의 백과사전