커널 방법론

6.0 Intro

Parameteric

Non-parameteric

데이터를 예측 단계에서도 사용 테크닉 有
- 피젠 확률 밀도 모델은 커널 함수들의 선형 결합(train 데이터 포인트 중 하나를 중심으로 구성)
- 최근접 이웃법
- 기억기반 방법론
Kernel method
- 선형 매개변수 모델들 동일한 듀얼 표현 형태로 재구성 가능
- 커널 함수의 선형 결합을 바탕으로 예측
- 고정된 비선형 feature space 사상 $\phi$(x) 바탕으로 식 6.1
  - 커널 함수가 해당 인자에 대해 대칭적
  - 퍼텐셜 함수 방법론 맥락에서 소개
  - 서포트 벡터 머신 테크닉이 생긴 계기
- 커널 대입, 커널 트릭으로 여러 알고리즘 확장 가능
  - 입력 벡터 x가 스칼라 곱의 형태면 다른 커널을 선택하는 형태(?)
    - ex)PCA, nearest neighbor classifier, Fisher discriminant
- 불변적 커널(stationary)
  - 평행이동 불변성
- 동질적 커널(homogeneous)
  - 인자들 사이의 거리에만 종속적

회귀와 분류를 위한 선형 모델 중 다수는 dual representation으로 다시 표현 가능

정규화된 제곱합 오류 함수를 최소화해서 매개변수 결정하는 선형 회귀 모델 고려헤보자