https://www.economist.com/science-and-technology/2024/09/19/chinas-ai-firms-are-cleverly-innovating-around-chip-bans

중국 AI 기업들은 칩 금지에 맞서 영리하게 혁신하고 있다

강력한 하드웨어의 부족을 무디게 하는 소프트웨어 트윅

2024 2024년 9월 19일

-

-

오늘날 최고의 인공지능(AI) 모델은 그래픽 처리 장치(GPU)로 알려진 수많은 최첨단 프로세서에 의존한다. 대부분의 서구 기업들은 이를 확보하는 데 어려움이 없다. 소셜 미디어 대기업인 Meta의 최신 모델인 Llama 3는 미국 칩 제조업체인 Nvidia의 H100 GPU 16,000개로 훈련되었다. Meta는 연말까지 60만 개를 더 비축할 계획이다. 

엘론 머스크가 투자한 스타트업인 XAI는 멤피스에 100,000개의 H100으로 구동되는 데이터 센터를 구축했다. 또 다른 대형 모델 제조업체인 OpenAI는 GPU 보유량에 대해 함구하고 있지만, 지난 4월 Nvidia의 사장인 젠슨 황이 직접 최신 프로세서를 전달한 바 있다.

이런 종류의 접근은 대부분의 중국 기술 기업에게는 먼 꿈일 뿐이다. 미국은 2022년 10월부터 고성능 프로세서의 중국 판매를 차단했다. 일부 중국 기업들은 이 탐나는 칩을 손에 넣기 위해 암시장으로 눈을 돌리고 있다는 소문이 돌고 있다. 그러나 대다수는 제한된 자원을 최대한 활용하는 데 초점을 맞추고 있다. 그들의 결과는 서구 기업들에게 생각할 거리를 제공하고 있다.

항저우에 본사를 둔 중국 스타트업인 DeepSeek도 혁신 기업 중 하나이다. 9월 초에 출시된 최신 모델인 DeepSeek-v2.5는 영어와 중국어로 된 코딩 과제뿐만 아니라 다른 오픈 소스 모델과 비교해도 손색이 없다. 이러한 성과는 규모에 그치지 않는다:  DeepSeek는 중국 회사로서는 큰 규모이지만 미국 경쟁사 기준으로 보면 적은 수인 Nvidia의 구형 GPU를 10,000개 이상 보유하고 있는 것으로 알려져 있다.

DeepSeek는 여러 가지 방식으로 이러한 부족함을 보완한다. 첫 번째는 각기 다른 문제에 가장 적합한 여러 가지 네트워크로 구성되어 있다는 점이다. 이러한 '전문가 혼합' 접근 방식을 통해 모델은 각 작업을 적절한 네트워크에 위임하여 속도를 개선하고 처리 시간을 단축할 수 있다. 

DeepSeek는 서로 다른 데이터 비트를 연결하는 가상 연결인 2360억 개의 '매개변수'를 가지고 있지만, 처리하는 새로운 정보 덩어리마다 한 번에 10분의 1도 채 사용하지 않는다. 또한 이 모델은 새로운 데이터를 처리하기 전에 압축한다. 이를 통해 대용량 입력을 보다 효율적으로 처리할 수 있다.

GPU 부족에 대한 창의적인 해결책을 찾는 것은  DeepSeek만이 아니다. 칭화대학교와 AI 스타트업인 ModelBest가 개발한 오픈 소스 모델인 MiniCPM은 각각 24억 개와 12억 개의 매개 변수를 가진 다양한 종류가 있다. 작은 크기에도 불구하고 언어 관련 작업에 대한 MiniCPM의 성능은 70억~130억 개의 파라미터를 사용하는 대규모 언어 모델(LLM)과 비슷하다. DeepSeek의 모델과 마찬가지로 전문가 혼합 접근 방식과 입력 압축을 결합한다. 그러나 매개 변수가 적은 다른 소형 모델과 마찬가지로 MiniCPM도 특정 학습 분야 외의 영역에서는 그다지 높은 성능을 발휘하지 못할 수 있다.

MiniCPM은 크기가 작기 때문에 개인용 기기에 적합하다. 지난 8월에는 여러 언어를 지원하고 텍스트, 이미지, 오디오 등 다양한 유형의 데이터와 함께 작동하는 휴대폰용 버전을 출시했다.

다른 곳에서도 비슷한 접근 방식이 시도되고 있다. Together.ai, Meta, Nvidia의 연구원들이 개발한 알고리즘인 FlashAttention-3은 Nvidia의 H100 GPU에 맞게 설계하여 LLM의 훈련 및 실행 속도를 높인다. Google DeepMind에서 7월에 발표한 또 다른 알고리즘인 JEST는 초기 학습을 위해 소량의 고품질 데이터를 제공한 후 더 큰 규모의 저품질 데이터 세트에 투입한다. 이 방식은 다른 방식보다 13배 빠르고 10배 더 효율적이라고 구글은 주장한다. OpenAI를 지원하는 Microsoft의 연구원들도 약 40억 개의 매개 변수가 있는 Phi-3 mini라는 소형 언어 모델을 출시했다.

서구 기업들과 달리 중국 기업들에게 적은 자원으로 더 많은 일을 하는 것은 선택 사항이 아니다[필수 사항이다]. 하지만 이것이 나쁘지 않을 수도 있다. AI 투자 펀드인 Air Street Capital의 Nathan Benaich는 “희소성 사고방식은 확실히 효율성 향상에 인센티브를 제공한다.”라고 말한다. ■