요즘 인공지능은 MoE 모델이라는거구나

ㅆㅇㅆ(124.216) 2024.09.30 13:29:47

조회 65 추천 0 댓글 0

Mixture of Experts

이고.

27b6c368f5dc3f8650bbd58b36837765fb7325

Expert 계층을 만든 후에,

일반적으로 8의 expert에게 라우팅되고, 출력 가중치에 따라서 한다는데 생각보다 신기한 개념이네

그래서 세분화된 expert

공유 expert를 구분하고

여기서 expert는 FFN이고, 라우팅 레이어는 expert에게 가중치 제공, 가중치 제공 후, expert 레이어의 출력과 합산해서 MoE의 아웃풋을 얻는다는데

AI 하는 애들은 천재인가봄

나는 봐도 이해가 잘 안가는데 말이지

고정닉 0

원본 첨부파일 1

jks.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
2774903	그냥 전공자가 무조건 잘 하더라	ㅇㅇ(210.178)	11.17	61	0
2774900	우리는 어디로 나아가는걸까요	멍청한유라ㅋ	11.17	36	0
2774891	포켓몬 카드와 관우, 장비-	프갤러(121.172)	11.17	41	2
2774885	대규모 트래픽 처리 <- 이거 어케 함? [4]	프갤러(104.28)	11.17	88	0
2774880	오늘 뭐하지 [3]	아스카영원히사랑해	11.17	48	0
2774877	컴포즈 커피라는곳 바람플라스탁 뚜껑을 주는구나 [4]	헬마스터	11.17	55	0
2774874	슼통피 다중이 너는 현업인거 증명이나 해라.	프갤러(49.165)	11.17	31	0
2774870	여자의 성적인 과거세탁은 용납할 수 없다	피자2021	11.17	46	2
2774864	싸피 전공자 코테 난이도 어느정도냐 [4]	ㅇㅇ(118.235)	11.17	127	0
2774863	상남자가 겨울에도 멋을 지키는법. 꿀팁 공유한다.	ㅇㅇ(223.62)	11.17	22	0
2774861	나 다중이 아닌데, 자꾸 저격좀 그만해라 딴갤까지 와서 저격하는 건 좀 [18]	ㅆㅇㅆ(124.216)	11.17	320	5
2774860	탈갤한다던 ㅆㅇㅆ 다중이로 여전히 활동중 ㅋㅋㅋ	ㅇㅇ(211.234)	11.17	55	6
2774854	쌀쌀한 일요일 [7]	멍청한유라ㅋ	11.17	57	0
2774853	슼통피 다중이새기 흑화했노 [6]	ㅇㅇ(49.165)	11.17	143	6
2774852	꿀빨고 싶은데 회사 추천 좀. [5]	프갤러(60.196)	11.17	73	0
2774851	벌써 일요일이야 [2]	멍청한유라ㅋ	11.17	31	0
2774847	이재명이가 범죄자가 되었다 이말입니까? [4]	멍청한유라ㅋ	11.17	54	1
2774841	냥덩이 낮잠 시강~✨	♥냥덩이가좋아하는눈치게임♥	11.17	40	0
2774837	프붕이 배민 취직했다 부럽냐?ㅋㅋㅋㅋㅋㅋㅋㅋㅋ [4]	ㅇㅇ(211.234)	11.17	105	1
2774828	Rx 포켓몬 카드 다 만들었는뎅-	프갤러(121.172)	11.17	42	1
2774825	덮어쓰기 잘못해서 3일동안 한거 날렸네 [2]	ㅆㅇㅆ(124.216)	11.17	165	5
2774824	일본 취업 고려중 [6]	피자2021(106.102)	11.17	83	0
2774823	회사만 가면 현타오는게.. 이직할때가 온것같다. [1]	프갤러(116.126)	11.17	52	0
2774816	구글링 하다가.... 꼴리면 어떻게 참냐; [1]	프갤러(211.234)	11.17	79	0
2774804	이재명 판결 나오고 멘탈 나간 프갤 [2]	ㅇㅇ(211.234)	11.17	70	1
2774799	수학공식, 규칙, 패턴, 설계도, 인과관계, 상관관계도 알고리즘이야? [2]	프갤러(211.224)	11.17	55	0
2774790	야 카페에 정신나간 년 왔따- [3]	프갤러(121.172)	11.17	104	3
2774788	곽상도 “문 전 대통령과 나는 달라···부정 청탁한 적 없어”	발명도둑잡기	11.17	32	0
2774786	오전 오후 5km씩 출퇴근 주 5일	♥냥덩이가좋아하는눈치게임♥	11.17	29	0
2774781	RX - Winter Sales ! Up to 50%!!	프갤러(121.172)	11.17	49	0
2774780	플러터(Flutter) GetX 같은거 써야 되냐? [1]	ㅇㅇㅇ(175.198)	11.17	51	0
2774779	광주 취업...	프갤러(45.14)	11.17	49	0
2774778	4050 종북좌파세대 그 부모의 그 자식새끼 수준	♥냥덩이가좋아하는눈치게임♥	11.17	23	1
2774777	25일에 리죄명 법정구속 될수도?!? ㅋㅅㅋ	♥냥덩이가좋아하는눈치게임♥	11.17	35	1
2774774	ITX마음 기차 타고 여행 가는 중	발명도둑잡기	11.17	44	0
2774769	이건 이길 수가 없다	발명도둑잡기	11.17	42	0
2774767	리죄명 대표님 담 대선까지 마니 마니 버텨주세양~ [1]	♥냥덩이가좋아하는눈치게임♥	11.17	61	0
2774766	이상하네	박민준	11.17	29	0
2774765	리죄명 대통령은 100% 물 건너감 ㅋㅅㅋ	♥냥덩이가좋아하는눈치게임♥	11.17	56	1
2774761	하루 한 번 헤르미온느 찬양	헤르 미온느	11.17	43	0
2774746	클로드가 지피티보다 넘사로 좋네 [3]	ㅇㅇ(211.107)	11.17	108	0
2774723	일주일 간 결과물이나 몇개 봐라 [5]	ㅆㅇㅆ(124.216)	11.17	124	3
2774700	var나 auto 키워드 왜 필요한거냐 [5]	프갤러(110.10)	11.17	81	0
2774694	백엔드 진짜 개재밌네	노예	11.17	99	0
2774690	코딩 지식 거의 없어도 챗 gpt 이용하면	프갤러(211.62)	11.17	74	0
2774683	화면이 안 나온다, 캡처는 된다.	도리사(175.196)	11.17	77	0
2774679	옛날만화는 보고만있어도 재밋지않냐? [1]	헬마스터	11.17	59	0
2774675	외로움은 흡연보다 15배 건강에 해롭습니다	아스카영원히사랑해	11.17	77	0
2774669	그레잇 개발자되는중	헬마스터	11.17	46	0
2774667	일본군'위안부' 피해자 보호법 개정에 동참해주세요	발명도둑잡기	11.17	32	0