THIS IS ELLIE

경사 하강법 Gradient descent 1차 근삿값 발견용 최적화 알고리즘이다. 함수의 기울기를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값이 이를 때까지 반복하는 것이다. 경사 하강법은 반복적으로 기울기 a를 변화시켜 m의 값을 찾아내는 방법이다. 아래의 과정을 따라 반복한다. a1에서 미분을 구한다. 구해진 기울기의 반대 방향으로 a2에서 미분을 구한다. a3에서 미분을 구한다. 3의 값이 0이 아니면 위 과정을 반복한다. 기울기의 부호를 바꿔 이동시킬 때 절적한 거리를 찾지 못해 너무 멀리 이동시키면 a가 모이지 않고 치솟아 버린다. 따라서 어느 만큼 이동시킬 시 잘 결정해야하는데 학습률이 이동 거리를 정해주는 것이다. 위 그래프는 학습률을 너무 크게 잡아 한점으로 수렴하지 않는 예다. (..

2020/04/08 - [공부 👩‍💻/Deep Learning] - 선형 회귀와 최소제곱법 선형 회귀와 최소제곱법 선형 회귀 linear regression 선형 회귀는 종속 변수 y와 한 개 이상의 독립변수 X와의 선형 상관관계를 모델링하는 회기 분석 기법이다. 한 개의 독립변수가 있으면 단순 선형 회귀, 둘 이상이면 다중 선형 회귀.. hyerios.tistory.com 최소제곱법으로 최선의 직선을 구했지만, 여러 개의 입력을 처리하기에는 무리가 있다. 여러 개의 입력을 처리할 때는 임의의 선을 그리고 이 선이 최선의 직선인가 평가하여 수정하는 방법을 사용한다. 오차를 평가하는 방법 중 가장 많이 사용되는 평균 제곱근 오차에 대해서 알아본다. 평균 제곱근 오차 Root Mean Square Error..

선형 회귀 linear regression 선형 회귀는 종속 변수 y와 한 개 이상의 독립변수 X와의 선형 상관관계를 모델링하는 회기 분석 기법이다. 한 개의 독립변수가 있으면 단순 선형 회귀, 둘 이상이면 다중 선형 회귀라한다. (x값에 따라서 y가 변하기 때문에 y는 종속변수이고, x는 독립적으로 변할 수 있어서 독립변수라 한다.) 선형 회귀는 선형 예측 함수를 사용해 회귀식을 모델링하며, 알려지지 않은 파라미터는 데이터로부터 추정할 수 있다. 즉 데이터를 수집해 예측 선형 함수를 만들고(선의 방향을 설정하고), 함수를 기반으로 다음을 예측할 수 있다. ex) 학습시간에 따른 성적 선형 회귀는 딥러닝에서 사용되는 계산 원리 중 하나기 때문에 반드시 이해할 필요가 있다, 선형은 직선이기 때문에 일차함수..