운영자가

rtx5090으로 딥시크 추론시 성능 매우 우수하다는 뉴스 올렸는데


그건 운영자도 아직 잘 모르는게 있는데

딥시크 모델은  FP4로 양자화했을때 가장 rtx5090과 궁합이 잘 맞으며

딥시크로 뭔가 상용 서비스를 시작할경우

rtx5090 4개로 128gb내지 5개로 160gb를 구성했을떄 

FP4로 가장 이상적인 초고속 작동을 하며.

rtx5090 6개로 192gb이상 구성시 FP8로도 잘 작동한다는거

어찌됐든 딥시크 구동엔

양자화 레벨에 따라  VRAM이 128gb~320GB가 필요하다는건데 (원본은 720gb)

이는 5090이 4개에서 10개 단위가 1세트로 끌려간다는 것을 의미함

이 밸런스를 맞추기 위한 Project Digits 제품은 128gb이며. 1개로도 일반적인 FP4구동은 가능하며
2개를 붙이면 괜찮은 속도로 딥시크 256gb 구동이 가능하고 2개면 FP8로도 구동할 정도로 돌아간다는거.

VRAM을 맞추기 위해 5090을 막 8개 10개 붙이면 성능이 너무 과잉이 되버리고 예산도 너무 비싸지니깐

예산과 성능과 vram의 비율을 잘 맞춘 제품이 Project Digits란것.

일반적인 언어모델 구동시 1개나 2개만 사면 되도록 구성되어있고.

3~4개를 사면  언어모델을 거의 완전체로 굴릴수 있음

그리고 학습이랑 추론 차이도 모르고 그냥 뼥뼥거리는 애들 많은데

지금 이 내용은 소규모 개인용 추론GPU에 대한 이야기이며

딥시크 때문에 학습 시장은 규모가 확 줄었고 (사실은 이미 포화상태였음)

모든 기업과 개인들이 학습과정을 대부분 건너 뛰게 될 수 있어서

이젠 추론용 모델과 HW에 대한 시장이 열린거라

완전히 새로운 시장에 대한것으로  전문가들도 뒤늦게 깨닫고 기사를  하나씩 올리는중임