오차역전파

오차 역전파 back propagation

다층 퍼셉트론 학습에 사용되는 통계적 기법을 의미한다.

오차 역전 법은 동일 입력층에 대해 원하는 값이 출력되도록 개개의 가중치를 조정하는 방법으로 사용되며,

속도는 느리지만, 안정적인 결과를 얻을 수 있다는 장점이 있다.

 

단일 퍼셉트론에서 경사 하강법을 사용해 가중치를 구했다.

임의의 가중치를 선언하고 결괏값을 이용해 오차를 구한 뒤 이 오차가 치소인 지점으로 계속해서 이동시키며 최선의 직선을 구했다.

다층 퍼셉트론에서의 최적화 과정을 오차 역전 파라고 부른다.

다중 퍼셉트론에서는 결과값의 오차를 구해 앞선 가중치를 차례로 거슬러 올라가며 조정해나간다.

구동 방식

 

- 임의의 초기 가중치(W)를 준 뒤 결과(y)를 계산한다.

- 계산 결과와 우리가 원하는 값 사이의 오차를 구한다.

- 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트한다.

- 위 과정을 더이상 오차가 줄어들지 않을 때까지 반복한다.

 

오차가 작아지는 방향으로 업데이트한다는 의미는 미분 값이 0에 가까워지는 방향으로 나아간다는 말.

즉 미분 값이 0에 가까워지는 방향으로 나간다는 말

즉 기울기가 0 이 되는 방향으로 나아가야 한다.

즉 가중치에서 기울기를 뺐을 때 가중치의 변화가 전혀 없는 상태라는 말

 

https://ko.wikipedia.org/wiki/%EC%97%AD%EC%A0%84%ED%8C%8C

역전파 - 위키백과, 우리 모두의 백과사전