로지스틱 회귀모델 - 범주형

p(Y=1/X=x) = 1/(1+e^(-(w0+w1x)))

관측치 x가 범주1에 속할 확률을 로지스틱 함수로 표현하는 모델

w1의 해석 - 직관적이지 못함

승산 odds = p/(1-p) 

p는 성공할 확률

로지스틱 회귀모델에서 odds는 범주0에 속할 확률 대비 범주1에 속할 확률

odds에 log를 취하면 즉, logit transform을 하면

w0+w1x 의 선형결합 형태로 단순화 된다.

-> w1을 로그스케일에서 해석 가능

로지스틱 회귀모델의 파라미터 추정

최대 우도 추정법(maximum likelihood estimation)

p(yi=1)=πi(xi), p(yi=0)=1-πi(xi)

fi(yi)=πi(xi)^yi * (1-πi(xi))^(1-yi)

L = Π fi(yi)

ln L = ... = ∑yi(w0+w1x1+...+wpxp) + ∑ln(1+e^(w0+w1x1+...+wpxp))

이 로그 우도함수가 최대가 되도록 w들을 구하는게 목적인데 비선형적이여서 closed-form solution이 존재하지 않음.

그래서 수치 최적화 알고리즘을 이용해 해를 구함

- iterative reweight least square

- conjugate gradient

- Newton's method

cross entropy = 두 확률 분포의 차이 

= -∑p(x)log(q(x)

= 음의 로그-우도함수의 기댓값

로그-우도함수를 최대화 = cross entropy를 최소화

w를 구한 다음 threshold를 결정해서 이진분류한다.

경우에 따라 threshold를 보수적으로 잡기도 한다.

정리하면 로지스틱 회귀모델은

1.  입력변수의 선형결합 a =  ∑wixi

2.  선형결합 값의 비선형 변환 h = sigmoid(a)

** 코딩해볼것 = 각종 논리게이트 테이블을 작성하고 로지스틱으로 학습시켜서 검증할것

and or nand nor xor xnor

뉴럴 네트워크의 기초 단위 - 퍼셉트론

= 선형결합하여 이진분류

선형으로 해결하지 못하는 문제 ex) xor게이트

를 해결하기 위해 여러층으로 구성함

-> 다층 퍼셉트론: 입력층 + 은닉층+ 출력층

-> 인공신경망, 뉴럴 네트워크

뉴럴 네트워크 파라미터

층간 노드를 연결하는 weight

activation function 활성화함수

sigmoid, relu, ...

뉴럴네트워크의 파라미터 결정

regression -> MSE (cost function 최소화)

classification -> cross entropy 최소화

경사하강법 gradient descent method

wi+1 = wi - α * L'(wi)

L을 최소화 시키는 OPTIMAL w를 찾기위해 사용

α는 사용자가 설정하는 하이퍼 파라미터

learning rate 학습률

ex) α = 0.001 ...

α가 작으면 섬세하게?

α가 크면 좀 더 빠르게?

뉴럴 네트워크 파라미터 결정

경사하강법으로 w를 업데이트 해나간다.

체인룰, sigmoid 미분 특성 활용해서 메차쿠차 정리하면

1)출력층과 은닉층 사이

Δwkj = - α * ∂En/wkj

= α * ( tk - ok ) * ok * (1 - ok ) * hj

2)은닉층과 입력층 사이

Δwji = - α * ∂En/wji

=  α * xi * hj * ( 1 - hj ) * ∑ wkj ok (1 - ok) (tk - ok)

뉴럴 네트워크 학습 알고리즘  backpropagation

1. 모든 가중치 w를 임의로 생성

2. 입력변수 값과 입력층과 은닉층 사이의 w값을 이용하여 은닉노드의 값을 계산 -> 선형결합 후 activation

3. 은닉노드 값과 은닉층과 출력층 사이의 w값을 이용하여 출력노드의 값을 계산 -> 선형결합 후 activation

4. 계산된 출력노드의 값과 실제 출력변수의 값의 차이를 줄일 수 있도록 은닉층과 출력층 사이의 w값을 업데이트 

5. 계산된 출력노드의 값과 실제 출력변수의 값의 차이를 줄일 수 있도록 입력층과 은닉층 사이의 w값을 업데이트 

6. 에러가 충분히 줄어들 때까지 step 2~5 반복

재획하면서 공부하기 #1

https://gall.dcinside.com/board/view/?id=maplestory_new&no=8308815&s_type=search_subject_memo&s_keyword=%EC%9E%AC%ED%9A%8D%ED%95%98%EB%A9%B4%EC%84%9C&page=1