목록gradient descent (1)

THIS IS ELLIE

경사 하강법

경사 하강법 Gradient descent 1차 근삿값 발견용 최적화 알고리즘이다. 함수의 기울기를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값이 이를 때까지 반복하는 것이다. 경사 하강법은 반복적으로 기울기 a를 변화시켜 m의 값을 찾아내는 방법이다. 아래의 과정을 따라 반복한다. a1에서 미분을 구한다. 구해진 기울기의 반대 방향으로 a2에서 미분을 구한다. a3에서 미분을 구한다. 3의 값이 0이 아니면 위 과정을 반복한다. 기울기의 부호를 바꿔 이동시킬 때 절적한 거리를 찾지 못해 너무 멀리 이동시키면 a가 모이지 않고 치솟아 버린다. 따라서 어느 만큼 이동시킬 시 잘 결정해야하는데 학습률이 이동 거리를 정해주는 것이다. 위 그래프는 학습률을 너무 크게 잡아 한점으로 수렴하지 않는 예다. (..
공부/Deep Learning 2020. 4. 13. 15:41
이전 Prev 1 Next 다음