model-based learning

- 선형/비선형 모델 ex)선형회귀, 로지스틱회귀

- 뉴럴 네트워크

- 의사 결정 나무

- support vector machine

-> 데이터로부터 모델을 생성하여 분류/예측 진행

instance-based learning

- k-nearest neighbor

- locally weighted regression

-> 별도의 모델 생성 없이 인접 데이터를 분류/예측에 사용

k-nearest neighbor KNN

k개의 가까운 인접 데이터를 통해 범주/수치(평균)를 예측

하이퍼 파라미터- 몇개를 탐색할 것인가? 어떤 데이터간 거리를 사용할 것인가?

k가 너무 작을 경우 로컬 특징을 지나치게 반영해서 overfitting의 위험

k가 너무 클 경우 global decision boundary를 형성해  underfitting의 위험

k를 줄여가면서 training, testing 둘다 작은 케이스를 선택

데이터간 거리

유클리디안 거리: 일반적인 거리 개념

-각 coordinate의 차의 제곱의 합의 제곱근

Manhattan distance

-격자 방향으로만  이동한 거리의 합

Mahalanobis distance

-변수 내 분산, 변수간 공분산을 모두 반영하여 X, Y 간의 거리를 계산하는 방식

- √((X-Y)^t∑^-1(X-Y))

- ∑^-1 : covariance 행렬의 역행렬 / 이게 단위행렬일 경우 유클리디안이랑 같음

correlation distance

signal, profile, spectral 형태의 데이터에 사용함

correlation = r 이라 할 때 거리 d = 1-r

r은 -1 ~ 1 / d는 0 ~ 2

Spearman rank correlation distance

순위 형태의 데이터에 사용함

랭크 차의 제곱의 합

KNN 장점,단점

데이터 내 노이즈의 영향을 크게 받지 않음

학습 데이터의 수가 많을 경우 효과적임

K를 잘 결정해야함

데이터의 특성에 따라 거리측도를 결정해야함

새로운 데이터와 학습 데이터간의 거리를 모두 계산해야함

Weighted KNN

단순 평균이 아닌 거리에 따른 차등을 두어 범주/값 계산

거리의 제곱에 반비례하는 weight를 곱해줌

재획하면서 공부하기 #3