랜덤 포레스트, 서포트 벡터 머신

2020/04/03 - [공부 👩‍💻/Deep Learning] - 인공지능 머신러닝 딥러닝이란

 

인공지능 머신러닝 딥러닝의 개념에 대해서 알아보았다.

머신러닝은 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야이다.

이때 학습이라는 단어는 데이터가 입력되고 패턴이 분석되는 과정을 말한다.

 

결과적으로 우리는 많은 데이터를 통해 규칙을 발견해서 새로운 결과를 예측하는 과정을 해야 한다.

여기서 키워드는 규칙 발견이라고 생각한다.

왜냐하면 발견된 규칙을 통해서 새로운 결과를 도출하기 때문에 얼마나 정확하게 규칙을 발견하느냐도 중요하다.

이러한 발견 과정에서 랜덤 포레스트, 서포트 벡터 머신, 딥러닝 방법이 생겼다.

 

그중에서도 오늘은 랜덤 포레스트 방법 & 서포트 벡터 머신 방법에 대해서 알아보려 한다.

 

랜덤 포레스트를 보기 전에 결정 트리에 대한 기본적인 개념이 있으면 좋은듯하다.

 

결정 트리

결정을 내리기 위해 사용하는 트리로, 결과 과정을 간단한 문제들로 이루어진 계층 구조로 나눈다.

하나의 트리는 계층 구조로 이루어진 node와 edge들의 집합으로 이루어져 있다.

하지만 결정 트리의 단점은 훈련 데이터에 과대적합되는 경향이 있고,

이를 회피하기 위한 방법이 랜덤 포레스트 방식이다.

 

랜덤 포레스트 random forest

기계 학습에서의 랜덤 포레스트는 분류, 회귀 분석 등에 사용되는 앙상블 학습 방법의 일종으로, 

훈련 과정에서 구성한 다수의 결정 트리로부터 부류(분류) 또는 평균 예측치(회귀 분석)를 출력함으로 동작한다.

*앙상블은 여러 머신러닝 모델을 연결해 더 강력한 모델을 만드는 기법이다.

 

랜덤 포레스트의 가장 큰 특징은 랜덤성에 의해 트리들이 서로 조금씩 다른 특성을 갖는다는 점이다.

이 특성은 각 트리들의 예측들이 비상관화 되게 하며, 결과적으로 일반화 성능을 향상시킨다.

 

즉 결정 트리의 단점은 과대적합이며 랜덤 포레스트는 서로 다른 방향으로 과대적합된 트리를 많이 만들어

그 결과를 평균냄으로써 과대적합된 양을 줄일 수 있다는 것이다.

 

https://tensorflow.blog/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D/2-3-6-%EA%B2%B0%EC%A0%95-%ED%8A%B8%EB%A6%AC%EC%9D%98-%EC%95%99%EC%83%81%EB%B8%94/

2.3.6 결정 트리의 앙상블

https://ko.wikipedia.org/wiki/%EB%9E%9C%EB%8D%A4_%ED%8F%AC%EB%A0%88%EC%8A%A4%ED%8A%B8#%EA%B2%B0%EC%A0%95_%ED%8A%B8%EB%A6%AC

랜덤 포레스트 - 위키백과, 우리 모두의 백과사전

서포트 벡터 머신 support vector machine, SVM

기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델이며, 주로 분류와 회귀분석을 위해 사용한다.

두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM알고리즘은 주어진 데이터 집합을 바탕으로 하여

새로운 데이터가 어느 카테고리에 속할지 판단하는 이진 선형 분류 모델을 만든다. 

만들어진 분류 모델은 데이터가 사상된 공간에서 경계로 표현되는데 SVM알고리즘은 그중 가장 큰 폭을 가진 경계를 찾는 알고리즘이다.

 

(두 카테고리를 구분하기 위해 경계를 두는데 각 카테고리를 명확하게 할 수 있는 경계 & 그 경계가 각 데이터와의 폭이 가장 넓은 것을 찾는 것.)

https://ko.wikipedia.org/wiki/%EC%84%9C%ED%8F%AC%ED%8A%B8_%EB%B2%A1%ED%84%B0_%EB%A8%B8%EC%8B%A0

서포트 벡터 머신 - 위키백과, 우리 모두의 백과사전