Q존 운영자도 RTX5090 x 딥시크 콜라보뉴스 올렸음

컴갤러(61.75) 2025.02.02 08:16:41

조회 188 추천 0 댓글 1

운영자가

rtx5090으로 딥시크 추론시 성능 매우 우수하다는 뉴스 올렸는데

그건 운영자도 아직 잘 모르는게 있는데

딥시크 모델은 FP4로 양자화했을때 가장 rtx5090과 궁합이 잘 맞으며

딥시크로 뭔가 상용 서비스를 시작할경우

rtx5090 4개로 128gb내지 5개로 160gb를 구성했을떄

FP4로 가장 이상적인 초고속 작동을 하며.

rtx5090 6개로 192gb이상 구성시 FP8로도 잘 작동한다는거

어찌됐든 딥시크 구동엔

양자화 레벨에 따라 VRAM이 128gb~320GB가 필요하다는건데 (원본은 720gb)

이는 5090이 4개에서 10개 단위가 1세트로 끌려간다는 것을 의미함

이 밸런스를 맞추기 위한 Project Digits 제품은 128gb이며. 1개로도 일반적인 FP4구동은 가능하며
2개를 붙이면 괜찮은 속도로 딥시크 256gb 구동이 가능하고 2개면 FP8로도 구동할 정도로 돌아간다는거.

VRAM을 맞추기 위해 5090을 막 8개 10개 붙이면 성능이 너무 과잉이 되버리고 예산도 너무 비싸지니깐

예산과 성능과 vram의 비율을 잘 맞춘 제품이 Project Digits란것.

일반적인 언어모델 구동시 1개나 2개만 사면 되도록 구성되어있고.

3~4개를 사면 언어모델을 거의 완전체로 굴릴수 있음

그리고 학습이랑 추론 차이도 모르고 그냥 뼥뼥거리는 애들 많은데

지금 이 내용은 소규모 개인용 추론GPU에 대한 이야기이며

딥시크 때문에 학습 시장은 규모가 확 줄었고 (사실은 이미 포화상태였음)

모든 기업과 개인들이 학습과정을 대부분 건너 뛰게 될 수 있어서

이젠 추론용 모델과 HW에 대한 시장이 열린거라

완전히 새로운 시장에 대한것으로 전문가들도 뒤늦게 깨닫고 기사를 하나씩 올리는중임

2be8c168f5dc3f8650bbd58b368776658ca469

고정닉 0

원본 첨부파일 1

f5q.png

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	논란을 반복해서 진정성이 의심되는 스타는?	운영자	25/05/12	-	-
5720515	심심헌디 맥날이나 먹어야긋다 [7]	컴갤러(220.90)	10:36	33	0
5720514	사수새끼 ㄹㅇ 죽이고싶어 씨발. [6]	ㅁㅁ(126.254)	10:36	69	0
5720513	듀얼오리한다고 타스점수가떨어져? 5080임	ㅇㅇ	10:35	39	0
5720512	33원정대 3부 짜치네	컴갤러(61.255)	10:35	36	0
5720511	알 리 주소만 같아도 걸리냐 짱개가 얼씨구나바로배송함 ㅜㅜ [2]	야스오(211.245)	10:35	40	0
5720508	탈원전 태양광을 윤석열이했다는 좌빨새끼 ㅋㅋㅋ [8]	컴갤러(125.209)	10:34	57	1
5720507	5090 아스트랄 중고 480 은 ㄱㅊ나	ㅇㅇ(175.210)	10:33	33	0
5720505	요즘 게임들 옵션빵빵히 돌리려면 브램 어느정도 필요해? [5]	ㅇㅇ	10:32	75	0
5720504	한전적자는 정부탓이라기보단 [2]	ㅇㅇ(223.39)	10:31	52	0
5720503	세계 어느 선진국 자유민주주의가 계엄하고 국회에 군대보냄?	ㅇㅇ(121.145)	10:31	37	0
5720502	983디 팬 발작 하는거 대처법좀	Gonik	10:30	38	0
5720501	여기도 빨갱이새끼들 많네ㅋㅋㅋㅋ [6]	ㅇㅇ(175.223)	10:29	45	1
5720499	견적 평가좀요 [7]	컴갤러(223.39)	10:27	79	0
5720498	5070ti랑 9070xt랑 10만차이밖에 안 나네 [4]	ㅇㅇ(211.235)	10:26	80	0
5720497	5080 아스트랄 중고 가격이 다른것들과 비슷해질까? [3]	ㅇㅇ	10:25	37	0
5720496	야 근데 맥도날드 여자 알바생이랑 섹스 하기도 하냐? [3]	컴갤러(211.234)	10:25	52	0
5720495	7800x3d 5070ti 완본 봐줄 사람 [5]	ㅇㅇ	10:25	71	0
5720493	5000번대 그래픽카드 할인 프로모션 들어왔는데? [3]	컴갤러(106.102)	10:24	113	1
5720492	직장상사 개좆같아서 걍 전화 카톡 다 차단박았는데 [2]	컴갤러(118.235)	10:23	59	0
5720491	솔직히 누가 당선되어도 윤석열보단 나음 [19]	ㅇㅇ(223.39)	10:21	102	1
5720489	78x3d 글카 제외하고 90~100정도는 되야 맞추지? [6]	컴갤러(182.229)	10:21	56	0
5720487	행복쇼핑에서 글카만 단일로 주문가능? [6]	ㅇㅇ(121.145)	10:19	57	0
5720486	MFG 3배는 쓸만하냐 [4]	ㅇㅇ(121.145)	10:19	48	0
5720485	알려줘 [7]	컴갤러(222.108)	10:18	40	0
5720483	둠 이벤트는 쿠팡에서 산 것도 가능한가? [1]	ㅇㅇ	10:17	49	0
5720482	형님들 지금 783d 어디서 사는게 젤싼가요 [2]	ㅇㅇ	10:16	74	0
5720481	이번달 실수령 220이다 [2]	ㅇㅇ	10:16	73	0
5720480	본인특 컴바꾸기 귀찮아서 안바꿈	컴갤러(39.121)	10:16	37	0
5720479	32DG700 이륙완 [1]	컴갤러(61.81)	10:16	42	0
5720478	나라 진짜 망했는대? [3]	컴갤러(211.226)	10:15	97	1
5720476	투.표 쟤좀 쳐내라 관리안하냐 [3]	ㅇㅇ	10:13	51	0
5720475	컬러풀은 보면볼수록 냄새나서 못쓰겠노 ㅅㅂ [2]	컴갤러(113.10)	10:12	66	0
5720474	초중고딩시절때 학교여선생과 떡을 처버린적이 있능가? 없능가?	컴갤러(1.226)	10:12	66	1
5720473	써멀 좋은거 발랐는데 온도 왜 오르냐?? [2]	컴갤러(211.235)	10:11	61	0
5720470	왜케 다 귀찬냐	컴갤러(220.90)	10:10	32	0
5720468	컴터 조립 한 놈이 대충한 거이므? [15]	심기체	10:07	120	0
5720466	33dy 5년전 [5]	33dy	10:06	101	0
5720465	Ddr4램 추천부탁함	컴갤러(118.235)	10:06	42	0
5720464	심심헌디 스벅이나갈까 [1]	컴갤러(220.90)	10:05	34	0
5720462	글카랑 파워 삿는데 교체 귀찮네 [5]	ㅇㅇ	10:03	59	0
5720461	이거 키보드 보강판 뒤진거 맞지? [1]	컴갤러(118.235)	10:02	58	0
5720460	프리플로우 이 미친 새끼들아 배송좀 시작해 [1]	컴갤러(182.220)	10:02	64	0
5720459	아이유 5월 컴백 ㄷㄷㄷㄷㄷㄷㄷ [2]	컴갤러(114.206)	10:01	101	0
5720458	황회장한테 람보르기니 페라리이런건 [1]	ㅇㅇ(218.153)	10:00	54	0
5720457	저가형 스피커 8년썼는데.... mr4 사야되나? [7]	컴갤러(220.80)	10:00	81	0
5720456	만리 폴라폭스 씹새끼는 죽어도 가격 안내리네 [1]	ㅇㅇ(118.235)	09:59	42	0
5720454	이거 견적 좀 봐주셈 [2]	컴갤러(182.212)	09:58	48	0
5720453	b850 tuf 이거 바이오스 플래시백 되는거임?? [10]	ㅇㅇ(220.65)	09:57	80	0
5720452	잘 몰라서 그러는데 fsr4 미지원게임들은 걍 오리쓰면 안됨? [1]	ㅇㅇ(211.234)	09:56	37	0
5720449	솔직히 게임컴 9070xt만 되도 떡치는데 [3]	컴갤러(39.121)	09:56	94	0
뉴스	[왓IS] ‘작곡비 사기 혐의’ 유재환, 불구속 송치 심경 “죽을 각오로 진실 밝힐 것”	디시트렌드	05.11