regression

classification

X : INPUT

x1, x2, x3 ... : feature

Y : OUTPUT

Y = F(X)

ex) Y = w1x1 + w2x2 + e

w1, w2 : weight, parameter

e : error, loss function

Σei^2 : cost function

cost function을 최소화 시키는 w1, w2 찾는 것이 F를 찾는것

모델 결정 -> 파라미터 추정

모델에는 다중선형회귀모델, 로지스틱회귀모델, 의사결정나무모델, 인공신경망모델, ...

각 모델별로 파라미터 추정 알고리즘이 있다.

다중선형회귀모델의 경우 least square estimation 사용,

로지스틱회귀모델의 경우 conjugate gradient algorithm 사용,

인공신경망모델의 경우 back-propagation algorithm 사용

선형회귀모델

Y = w0 + w1x1 + ... + wnxn

가정) e : error는 정규분포를 따른다. 

파라미터 추정) least square estimation

Σei^2 을 최소화 하는 w0, w1, ...,wn 을 찾는것

코딩 직접 해보기 데이터갯수에 따라 plot 하기

plot된 데이터를 바탕으로 직선 구하기, 직선 플롯하기, cost func 구하기

파라미터에 대한 구간추정

점 추정량 값 플마 상수 * 점추정량에 대한 표준편차

여기서 상수는 t_a/2,n-2 : 유의수준 1-a 하에서 자유도가 n-2인 t분포의 값

결정 계수 R^2 = SSR/SST = 1 - SSE/SST

SSR/SST = 1 : 확정적인 관계

SSR/SST = 0 : X변수가 Y변수를 설명하는데 전혀 도움이 되지 않는다.

유의하지 않은 변수가 추가되어도 항상 증가함

-> Adjusted R^2 사용