디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

재획하면서 공부하기 #3

ㅇㅇ갤로그로 이동합니다. 2024.08.31 15:39:47
조회 55 추천 0 댓글 0

https://gall.dcinside.com/board/view/?id=maplestory_new&no=8308815&s_type=search_subject_memo&s_keyword=%EC%9E%AC%ED%9A%8D%ED%95%98%EB%A9%B4%EC%84%9C&page=1

정규화 모델 배경 개념

expected MSE = σ^2 + BIAS^2 + VARIANCE

σ : irreducible error

기본적인 선형회귀모델에서 최소제곱법은

회귀계수 w에 대한 unbiased estimator 중 가장 분산이 작은 estimator

-> BLUE: Best Linear Unbiased Estimator

(참조: Gauss-Markov Theorem)

-> unbiased를 포기하고 variance를 줄이는 방법도 있다. 

-> subset selection: n개의 input X 중에서 k개만을 사용해 

회귀 계수를 추정하는 방법

방식에 따라 여러 종류가 있다.

best subset selection

forward stepwise selection

backward stepwise selection

least angle regression

orthogonal matching pursuit



regularization concept

같은 데이터셋을 가지고 1차, 2차, 3차, ...

차수를 높여가며 각각 모델링 했을 때

차수가 높을수록 주어진 데이터셋을 잘 설명하지만

미래에 주어질 데이터에 대한 예측은 차수가 높을수록 에러가 커진다. training 관점 vs testing 관점


정규화 개념: 제약을 주었다.

 weight에 제약을 준다.

어떻게?

-하이퍼 파라미터 λ를 weight 앞에 곱해줘서

weight가 강제로 작아지도록 제약

-w의 제곱의 합이 특정값 t를 넘지 않도록 제약

(L2-norm)

두 가지 방법은 라그랑주 멀티플라이어에 의해 equivalent함


Ridge regression closed-form sol)

w_ridge = (X^T X +  λI)^-1 X^T y






LASSO

weight의 절댓값의 합이 특정값 t를 넘지 않도록 제약

(L1-norm)

w1, w2 평면에 제약조건에 의한 범위 마름모와 

특정 mse값을 갖는 w조건에 의한 타원이 

교점을 갖을 때까지 mse를 키워간다.

L1-norm은 미분 불가능하기 때문에 closed form sol 구할 수 없음.

-> 수치 최적화 기법으로 구한다.

- quadratic programming techniques (1996, Tibshirani)

-LARS algorithm (2004, Efron et al.)

-coordinate descent algorithm (2007, Friedman et al.)


 λ가 커지면 즉, 제약이 심해지면

적은 변수만 주요해지고, 모델은 간단해지고, 해석은 쉬워지고, 

학습오차는 높아지고, underfitting 문제가 생긴다.


 λ가 작아지면 즉, 제약이 줄어들면

많은 변수가 주요해지고, 모델이 복잡해지고, 해석이 어려워지고,

학습오차는 줄어들지만 테스트 오차는 높아지는 overfitting 문제가 생긴다.


x변수간에 correlation이 높을 경우 모델의 정확도가 떨어진다.





Elastic net

ridge + lasso -> λ1, λ2

제약범위는 원과 마름모사이의 모양임



여러가지 정규화 모델

prior knowledge 에 따라 적합한 정규화 모델을 선택한다.

signal, profile, spectra - fused lasso

group lasso

sparse group lasso


nonconvex penalty 를 사용하는 모델

SCAD 2008

MCP 2010

SELO 2013

Truncated lasso penalty 2013





재획하면서 공부하기 #2

https://gall.dcinside.com/board/view/?id=maplestory_new&no=8312042&s_type=search_subject_memo&s_keyword=%EC%9E%AC%ED%9A%8D%ED%95%98%EB%A9%B4%EC%84%9C&page=1

추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 지금 결혼하면 스타 하객 많이 올 것 같은 '인맥왕' 스타는? 운영자 24/10/28 - -
8704359 아대공 10퍼 현금 2만원 이궈궈든 ㅇㅇ갤로그로 이동합니다. 14:04 35 0
8704358 처녀귀신이 된 엔임나연버 ㅇㅇ(106.101) 14:04 35 0
8704357 님들 이정도면 메이플 고수인가요?? [6] 엔젤릭_버스터갤로그로 이동합니다. 14:04 79 0
8704356 200만 지르면~ 성교육영재반갤로그로 이동합니다. 14:03 54 0
8704355 메이플은 사실 무과금이 하기 좋은 게임임 메갤러(1.220) 14:03 42 0
8704354 이번주 썬데이는 소울5배로 민심회복 들어갑시다… [7] 랑에갤로그로 이동합니다. 14:03 77 0
8704353 던파 재밌나 찍먹해볼까 [2] 메갤러(211.36) 14:03 44 0
8704352 고추씨름 조각빵뜨실분 [2] ㅇㅇ갤로그로 이동합니다. 14:02 42 0
8704350 경매장통합에 리부트가있다? 그대로접을꺼임 ㅇㅇ [2] ㅇㅇ(222.112) 14:02 55 1
8704348 창섭노믹스못믿나 보네 메갤러(106.101) 14:02 17 0
8704347 밥먹고나니 피곤하네 [8] rice갤로그로 이동합니다. 14:02 36 0
8704344 샤타떳다 시발 ㅌㅋㅋㅋㅋ [1] ㅇㅇ(211.235) 14:02 86 2
8704343 애니콜라보<<< 걍 개나소나 게임사에서 다하는거ㅋㅋ ㅇㅇ(121.150) 14:02 35 2
8704342 아즈모스보고 스팩차등별 우르스 이러고잇네 김창섭 [3] 피터팬갤로그로 이동합니다. 14:01 62 1
8704341 엔임나연버 근황 [1] ㅇㅇ(14.33) 14:01 110 6
8704340 할로윈 얼마나걸림? [1] ㅇㅇ갤로그로 이동합니다. 14:01 31 0
8704339 너네 피자 끄트머리 다 먹냐 [2] ㅇㅇ(118.235) 14:01 34 0
8704338 1600이 저점이라고 생각하나본데ㅋㅋ 메갤러(220.74) 14:00 57 0
8704337 언노운 정조대 열쇠잃어버려서 열쇠공 부르는 만화 [5] ㅇㅇ(106.102) 14:00 64 1
8704336 보추 흰스 미친 허벅지 [3] ㅇㅇ(106.101) 13:59 85 0
8704335 크로아 1600이네 ㄹㅇ찐바닥 매수타이밍 왓는데? 히키갤로그로 이동합니다. 13:59 49 0
8704334 인포딕 근디 머하는사람임? [3] 메갤러(106.101) 13:58 59 0
8704333 야차룰<<어감부터개웃김 [4] 나늖짱갤로그로 이동합니다. 13:58 71 0
8704332 메이플<<< 이새낀 걍 안전자산임 ㅇㅇ [1] ㅇㅇ(121.150) 13:58 81 2
8704331 신창섭 진짜 메소까지 정상화 지리노 ㅋㅋㅋㅋ [3] ㅇㅇ(39.7) 13:58 70 0
8704330 스카 vs 루나 서버 고민되네 흠.. [6] 메갤러(223.39) 13:58 63 0
8704329 아 메포 2220에 50억어치샀는데 다시 2300된거 너무 좆같네 ㄹㅇ [4] 고양이갤러리갤로그로 이동합니다. 13:57 140 0
8704328 거지새기들 에테 직작하라고 메소값 내려줘도 [4] 메갤러(106.101) 13:57 71 0
8704327 1년차 동원예비군 갔는데 [3] ㅇㅇ(220.127) 13:56 70 0
8704326 메이플하고싶다 [6] 쿠션갤로그로 이동합니다. 13:56 65 0
8704325 쌩뉴비 서버 고민이다 [2] 메갤러(121.142) 13:56 40 0
8704324 더블삐얀코숟가락 나무숟가락으로바꼇네 [4] 나늖짱갤로그로 이동합니다. 13:56 31 0
8704322 비숍의 시대가 오겠어요...??? [3] 트레비의요정갤로그로 이동합니다. 13:55 44 0
8704321 인사 안한다고 길드에서 머라카노 [4] 메갤러(223.39) 13:55 42 0
8704320 메소 물통으로 사는게 낫냐 메소마켓이 낫냐 [1] Vet갤로그로 이동합니다. 13:55 72 0
8704319 진캐는 뭔가 특유의 억텐?? 이게 듣기 거북해서 메갤러(118.235) 13:55 40 0
8704317 아버끝나는 좆뉴비들한테 템던지고 튀라는뜻이구나 [1] 죽음의게임군단갤로그로 이동합니다. 13:54 133 6
8704316 ㄴ윗글쓴이 몸에서 시큼한 야한냄새 개풍길듯ㅋㅋㅋㅋ ㅇㅇ(14.33) 13:54 30 1
8704314 나 친한친구 술 취해서 내 자취방 데려와서 [1] 메갤러(118.235) 13:54 29 0
8704313 대포통장 대포폰제공해서 벌금형 당했는데 해외 못나감? 메갤러(117.111) 13:54 21 0
8704312 병원가서 약받아와서 먹어도 두통이 4일째안사라지는데 이거 어캄? [7] 고양이갤러리갤로그로 이동합니다. 13:53 27 0
8704311 지금 상황을 해결할 수 있는 단 하나의 묘수 ㅇㅇ갤로그로 이동합니다. 13:53 12 0
8704310 px에서 35만원치 삿는데 많이 산거임? [5] 의문의잉잉길드원갤로그로 이동합니다. 13:53 81 0
8704308 담배가 뇌에 가득차서 생활이 안됨 ㅅㅂ 어떡하지 [2] ㅇㅇ(123.213) 13:53 26 0
8704307 팡이도 이제 메이플안하네 [1] ㅇㅇ(121.150) 13:53 127 2
8704306 세더다 개노잼인듯 [6] 방무갤로그로 이동합니다. 13:53 63 0
8704304 메랜 70레벨 넘는 사람들은 다 잡아다 사형시켜라 메갤러(118.235) 13:52 36 0
8704303 투력 7000으로 검마팟 갈 수 있냐? [2] ㅇㅇ(118.235) 13:52 57 0
8704301 해방 전투력 몇부터 시작하면 됨? [7] ㅇㅇ(211.210) 13:50 57 0
8704300 크로아 1500 입갤 ㅋㅋㅋㅋㅋㅋㅋㅋ. 메갤러(223.39) 13:50 59 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2