PRML study ch4

참고 : http://norman3.github.io/prml/

4.0

지금까지 회귀 모델 배움 이제 분류

분류 문제: 입력 벡터 x 로부터 이에 대응되는 이산(discrete) 값을 가지는 타겟 클래스 C 에 대해 어떤 하나의 클래스에 속하도록 선정하는 작업

• (하나에만 속함 다른 클래스를 부분적으로 포함 불가능)
• 클래스는 상호 배타적/ 입력 공간(input space)을 각각의 영역들로 나눌 수 있다.
• 이렇게 나누어진 지역을decision region 이라고 부르며,
• 이를 나누는 경계면을decision boundaries 또는 decision surfaces 라고 부른다.

분류를 위한 선형 모델

• 입력x 에 대한 선형 함수를 통해 분류 작업을 수행
• 따라서 입력 벡터x 가 D 차원의 벡터라면, 이를 D−1 차원의 하이퍼플랜(hyperplanes) 로 나눌 수 있게 된다.
• 만약 이런 선형 식으로 데이터를 나눌수 있다면, 이 데이터는 선형 분리가 가능 ( linearly separable) 하다라고 한다.

회귀에서 타겟 값은 실수 혹은 실수 벡터

• 분류(classification)에서는 클래스 레이블(label)로
• 두 개의 클래스로 나누어지는 문제의 경우 간단하게t∈0,1 로 정의한다.
• K개의 클래스를 가지는 경우에는 t 를 간단하게 K 의 크기를 가지는 이진(binary) 벡터로 정의한다.
• 원핫인코딩 적용 편리
• 따라서K=5 이고 클래스가 2에 속하는 경우 타겟 값 t 를 표현하는 방법은 다음과 같다.

$$ \dfrac{\bf w^Tx}{\|{\bf w}\|}=-\dfrac{w_0}{\|{\bf w}\|} \qquad{(4.5)} $$