근데 직관적으로 쉬운거랑 구현은 다르잖어

근데 직관적으로 쉬운거랑 구현은 다르잖어모바일에서 작성

ㅆㅇㅆ찡

2025.03.10 14:01:45

조회 71 추천 0 댓글 5

입력 문장을 임베딩 레이어를 통해 벡터로 변환한다.

입력 벡터를 여러 개의 Query, Key, Value 행렬로 변환한다.

각 어텐션 헤드에서 Query, Key, Value를 사용하여 독립적인 어텐션을 수행하고, 결과를 결합한다.

레이어 정규화와 잔차 연결을 적용하여 학습을 안정화한다.

Feed Forward Network(FFN)를 적용하여 문맥을 반영한 표현을 생성한다.

디코더에서 마스크드 셀프 어텐션과 인코더-디코더 어텐션을 수행한다.

autoregressive 방식으로 단어를 반복 생성하며,

EOS 토큰이 생성되거나 최대 길이에 도달하면 답변 생성을 종료하고 최종 답변을 완성한다.

이게 트랜스포머 모델 답변 생성과정인데

이게 직관적인데 이걸 실구현 하는게 존나 어려운거지

실질적으로 이런 요약이 정보를 전부 요약할 수 있는것도 아니고

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	매니저들에게 가장 잘할 것 같은 스타는?	운영자	25/03/10	-	-
2827968	냉정하게 신입 취준생 스펙 평가 좀	프갤러(14.54)	03.10	35	0
2827967	AI 노무 어려운데,,,	나트륨찡	03.10	31	0
2827966	지금 회사 조퇴하고 병원 왔는데 [5]	딱님	03.10	51	0
2827965	나 AI 중독된 듯 [1]	나트륨찡	03.10	35	0
2827964	qt 도입하면 몇몇 문제점 해결되겠군	루비	03.10	26	0
2827963	나님은 고능아 센세 ㅋ	나트륨찡	03.10	28	0
2827962	전공자인데 국비 그냥 가지마? [11]	프갤러(223.38)	03.10	253	0
2827961	고능아 나트리엄 ㅋ	나트륨찡	03.10	31	0
2827960	qt 로 교체하면	루비	03.10	21	0
2827959	아.. 빨리 하고 싶다.. [5]	루비	03.10	37	0
2827958	나는 고능아얌,,,,	나트륨찡	03.10	26	0
2827957	일반적으로 개발은 지능보다는 주의집중력이 중요함 [4]	딱님	03.10	58	0
2827956	코딩은 예체능처럼까지만큼의 재능의 영역아니지? [4]	빠다케이크*	03.10	61	0
2827955	리마2급 합격 [4]	아스카영원히사랑해	03.10	69	0
2827953	ㅋㅋ 어렵지만 재밌군...그치만 아직 부족해	나트륨찡	03.10	37	0
2827952	나는 어딜 가나 적응형이 맞는 듯 ㅋ [3]	나트륨찡	03.10	32	0
2827951	ㅋㅋ 새로운 AI 재밌농 이거 ㅋㅋ [1]	나트륨찡	03.10	40	0
2827950	두개 건졌네....ㅎ [2]	나트륨찡	03.10	44	0
2827949	하...망해버렷농 ㅋㅋ	나트륨찡	03.10	31	0
2827948	이게 머농 이게...	나트륨찡	03.10	28	0
2827947	근데 이거 두개 괜찮은데....?	나트륨찡	03.10	40	0
2827946	프갤러들아 잘 있거라,,, [1]	나트륨찡	03.10	46	0
2827945	나님 달에 1주 일하고 5백 버는법 [2]	♥냥덩♥	03.10	46	0
2827944	나는 디시를 접고 떠난다,,,	나트륨찡	03.10	37	0
2827943	[애니 뉴스] 프로젝트 KV의 최신 뉴스를 확인해보세요?!	프갤러(121.172)	03.10	40	0
2827942	머농 이게....ㅜㅜ	나트륨찡	03.10	32	0
2827941	하....나 디시 AI접어야겠농...	나트륨찡	03.10	36	0
2827940	[애니 뉴스] 프로젝트 KV! 최신 글!	프갤러(121.172)	03.10	37	0
2827939	어이가 없농...ㅋㅋ	나트륨찡	03.10	35	0
2827938	디시 AI 바뀌어버리면 나는 어떡해...	나트륨찡	03.10	37	0
2827937	바뀌었대서 테스트	발명도둑잡기	03.10	32	0
2827936	핫하 나 이제 디시 AI망해버렷노...ㅋㅋ	나트륨찡	03.10	37	0
2827933	Qt를 C로 할 수 있는 바인딩 dotherside	발명도둑잡기	03.10	28	0
2827931	나는 이제 디시 AI 망해버린 것이다	나트륨찡	03.10	34	0
2827930	머야 AI 바꼈네..	나트륨찡	03.10	40	0
2827929	국비면접봤는데 나보고 왜 연대나오고 이거들으러왔냐는데 [6]	프갤러(223.38)	03.10	118	0
2827928	화교분탕들의 아학관련 과도한 공격에 맞대응	ㅇㅇ(175.223)	03.10	38	0
2827927	그렇다 나라도 개발도 망해버린것이다.	프갤러(211.234)	03.10	35	0
2827926	si도 요즘 취업힘들다던데 [3]	ㅇㅇ	03.10	102	0
2827925	삼성 코테	프갤러(210.107)	03.10	177	0
2827924	고졸 30살인데 일자리 있으면 무조건 ㄱ임?? [16]	프갤러(125.138)	03.10	101	0
2827923	여자얘기만들어도 고통스럽고 힘들다 [2]	프갤러(175.223)	03.10	37	0
2827922	사사로운 디테일 하나 놓치지 않아야 개발귀(鬼) [3]	딱님	03.10	44	0
2827921	아 보1지 빨고 싶다 [3]	아스카영원히사랑해	03.10	86	0
2827920	ㅇㅇ	프갤러(211.234)	03.10	32	0
2827919	브라우저 차별 두는건 첨보네 ㅇㅅㅇ [4]	강유현	03.10	69	0
2827918	1일1잔디 개발블로그 역겹다	프갤러(121.137)	03.10	39	1
2827917	AI 그림이나 봐	프갤러(211.234)	03.10	31	0
2827916	[애니 뉴스] 프로젝트 KV 관련되어 글을 쓰는데- [3]	프갤러(121.172)	03.10	45	0
2827915	ㅇㅇ	프갤러(211.234)	03.10	29	0
뉴스	이상인, 첫째 아들 자폐 스펙트럼 의심…부부 눈물의 고백	디시트렌드	03.12