https://www.scmp.com/tech/tech-trends/article/3292507/chinese-start-deepseek-launches-ai-model-outperforms-meta-openai-products

중국 스타트업 DeepSeek, Meta, OpenAI 제품보다 뛰어난 성능의 AI 모델 공개

DeepSeek의 V3 모델은 경쟁사보다 훨씬 적은 컴퓨팅 리소스를 사용하여 558만 달러의 비용으로 2개월 동안 훈련되었다

베이징에서 벤장
게시됨: 2024년 12월 27일 오후 6시 45분
-
-
중국 스타트업 DeepSeek의 새로운 대규모 언어 모델(LLM) 공개가 전 세계 인공지능(AI) 업계에 파장을 일으켰는데, 벤치마크 테스트 결과 Meta Platforms와 ChatGPT 제작자 OpenAI의 언어 모델들을 능가하는 것으로 나타났다.

항저우에 본사를 둔 이 회사는 목요일 위챗 게시물에서 자사의 이름을 딴 LLM인 DeepSeek V3가 671억 개의 파라미터를 포함하고 있으며, 대형 기술 회사에서 개발한 모델보다 훨씬 적은 컴퓨팅 리소스를 사용하여 약 2개월 만에 558만 달러의 비용으로 훈련을 완료했다고 발표했다.

LLM은 ChatGPT와 같은 생성형 AI 서비스의 기반이 되는 기술을 말한다. AI에서, 많은 수의 파라미터는 LLM이 더 복잡한 데이터 패턴에 적응하고 정확한 예측을 할 수 있도록 하는 데 핵심적인 역할을 한다.

OpenAI의 창립 팀원인 컴퓨터 과학자 안드레이 카르파시는 소셜 미디어 플랫폼 X에 올린 글에서 이 중국 스타트업의 새로운 AI 모델에 대한 기술 보고서에 대해 “DeepSeek는 오늘 저예산으로 훈련된 프론티어급 LLM을 오픈 웨이트 Open weights 공개했다.”라고 말했다.

**********
https://x.com/karpathy/status/1872362712958906460

Andrej Karpathy
@karpathy

DeepSeek(중국 AI 공동 개발사)는 오늘 저예산(2개월간 2048개의 GPU, 600만 달러)으로 훈련된 프론티어급 LLM을 오픈 웨이트 공개했다.

참고로, 이 수준의 성능을 구현하려면 1만 6천개에 가까운 GPU 클러스터가 필요하다고들 하지만, 현재 나오고 있는 것들은 그 이상 약 10만 개의 GPU가 필요하다. 예를 들어 Llama 3 405B는 3080만 GPU 시간을 사용했다. 그런데 DeepSeek V3는 280만 GPU 시간(약 11배 적은 컴퓨팅)만 들었는데도 더 강력한 모델인 것 같다. 이 모델이 vibe checks (예: LLM 아레나 랭킹이 진행 중이며 지금까지 몇 가지 간단한 테스트가 잘 진행되었다)도 통과한다면, 그것은 리소스 제약 하에서의 연구 및 엔지니어링의 매우 인상적인 제시일 것이다.

이것은 프론티어 LLM을 위해 대규모 GPU 클러스터가 필요하지 않다는 것을 의미하는가? 필요하지 않다, 하지만 가지고 있는 것을 낭비하지 않아야 하며, 이것은 데이터와 알고리즘 모두에서 아직 해결해야 할 일이 많다는 것을 보여주는 좋은 예시처럼 보인다. 매우 훌륭하고 상세한 기술 보고서도 읽어보았다.

4:23 AM · Dec 27, 2024
**********

오픈 웨이트란 AI 모델의 사전 학습된 파라미터 또는 웨이트만 공개하는 것으로, 제3자가 추론과 미세 조정에만 모델을 사용할 수 있도록 허용하는 것을 말한다. 모델의 학습 코드, 원본 데이터 세트, 아키텍처 세부 정보 및 학습 방법론은 제공되지 않는다.

Meta나 OpenAI와 같은 대기업이 일반적으로 투자하는 비용의 일부만으로 강력한 LLM을 개발한 DeepSeek의 사례는 모델 학습에 사용되는 고급 반도체에 대한 접근을 차단한 미국의 제재에도 불구하고 중국 AI 기업이 얼마나 발전해왔는지 보여준다.

DeepSeek는 비용 효율적인 학습을 위해 설계된 새로운 아키텍처를 활용하여 V3 모델에 278만 GPU 시간(그래픽 처리 장치가 LLM을 학습하는 데 사용되는 총 시간)만 필요했다. 이 스타트업의 훈련 프로세스에는 중국 맞춤형 Nvidia의 H800 GPU가 사용되었다.

이 프로세스는 중국으로 수출할 수 없는 엔비디아의 고급 H100 칩으로 Llama 3.1 모델을 훈련하는 데 필요한 3,080만 GPU 시간보다 훨씬 적은 양이었다. 카파티는 자신의 X 게시물에서 “DeepSeek V3는 280만 GPU 시간만 들었는데도 더 강력한 모델인 것 같다.”라고 썼다.

DeepSeek가 게시한 V3에 대한 기술 보고서에 따르면, 텍스트 이해 및 생성, 도메인 전문 지식, 코딩 및 수학 문제 해결 등 AI 시스템의 능력을 평가하는 일련의 벤치마크 테스트에서 DeepSeek의 LLM이 Meta의 Llama 3.1과 알리바바 그룹 홀딩의 Qwen 2.5보다 뛰어난 성능을 보인 것으로 나타났다. 알리바바는 사우스차이나모닝포스트를 소유하고 있다.

동일한 벤치마크 테스트에서 V3의 결과는 OpenAI의 GPT-4o 및 Amazon.com이 지원하는 Anthropic의 Claude 3.5 Sonnet의 결과와 일치하는 것으로 나타났다.

DeepSeek는 작년 7월 중국 본토에서 가장 큰 퀀트 헤지펀드 중 하나를 운영하기 위해 AI를 사용하는 하이플라이어 퀀트(High-Flyer Quant)에서 분사했다.

항저우에 본사를 둔 하이플라이어는 2019년부터 2020년까지 2억 위안(2,740만 달러)을 들여 AI 클러스터인 파이어플라이어 1을 개발한 데 이어 10억 위안을 더 들여 파이어플라이어 2를 구축했다고 회사 웹사이트에 밝혔다.

지난 4월 발표에서, 하이-플라이어는 DeepSeek의 개발 목표가 “모든 인류에게 도움이 되는 AI”를 만드는 것이라고 말했다. 앞서 DeepSeek는 개발자가 써드 파티 애플리케이션을 개발하는 데 사용하는 일련의 AI 모델과 자체 챗봇을 출시한 바 있다.