로지스틱 회귀와 시그모이드 함수

로지스틱 회귀 logistic regression
로지스틱 회귀는 독립 변수의 선형 결합을 이용하여 사건의 발생 가능성을 예측하는 데 사용되는 통계 기법이다.
로지스틱 회귀의 목적은 일반적인 회귀 분석의 목표와 동일하게 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다.
이는 독립 변수의 선형 결합으로 종속 변수를 설명한다는 관점에서는 선형 회귀 분석과 유사하다. 
하지만 로지스틱 회귀는 선형 회귀 분석과는 다르게 종속 변수가 범주형 데이터를 대상으로 하여 입력 데이터가
주어졌을 때 해당 데이터의 결과가 특정 분류로 나뉘기 때문에 일종의 분류 기법으로 볼 수 있다.

 

로지스틱 회귀는 이항 또는 다항형이 될 수 있다.
- 이항형 로지스틱 회귀는 종속 변수의 결과가 (실패 / 성공)와 같이 2개의 카테고리가 존재하는 것을 의미함
- 다항형 로지스틱 회귀는 종속 변수의 결과가  (맑음, 흐림, 비)와 같이 2개 이상의 카테고리로 분류되는 것을 가리킴

 

딥러닝에서는 전달받은 정보를 놓고 참과 거짓 중에 하나를 판단해 다음 단계로 넘기는 과정에 사용된다.
이는 복잡한 연산을 해낸 끝에 최적의 예측 값을 내놓는 작업이라고 할 수 있다.
이 과정을 통해 입력 값의 특징을 추출하고 모델이 만들어지며,
다음 누군가 비슷한 질문을 하면 모델을 기반으로 답을 할 수 있고 이가 딥러닝의 원리이다.

 

시그모이드 함수 sigmoid function
로지스틱의 모형 식은 독립 변수가 [-∞,∞]의 어느 숫자이든 상관없이 종속 변수 또는 결과 값이 항상 범위 [0,1] 사이에 있도록 한다.

참과, 거짓을 점으로 찍으면 직선으로 값을 그려내기가 어렵다.
직선이 아닌 S자 형태로 나타나게 된다.
S자 형태로 그래프가 그려지는 함수가 시그모이드 함수이다. 

 

시그모이드 함수의 방정식은 아래와 같다.

결론적으로 a, b를 구해야 한다.
시그모이드 함수에서 a와 b를 구하려면 경사 하강법을 이용해야 한다.

 

resource:
https://ko.wikipedia.org/wiki/%EB%A1%9C%EC%A7%80%EC%8A%A4%ED%8B%B1_%ED%9A%8C%EA%B7%80

https://ko.wikipedia.org/wiki/%EC%8B%9C%EA%B7%B8%EB%AA%A8%EC%9D%B4%EB%93%9C_%ED%95%A8%EC%88%98