디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[일반] 중 AI 기업들, 칩금지에 맞서 영리하게 혁신

시타갤로그로 이동합니다. 2024.09.21 15:27:07
조회 78 추천 2 댓글 0

https://www.economist.com/science-and-technology/2024/09/19/chinas-ai-firms-are-cleverly-innovating-around-chip-bans

중국 AI 기업들은 칩 금지에 맞서 영리하게 혁신하고 있다


강력한 하드웨어의 부족을 무디게 하는 소프트웨어 트윅


2024 2024년 9월 19일

-

-


오늘날 최고의 인공지능(AI) 모델은 그래픽 처리 장치(GPU)로 알려진 수많은 최첨단 프로세서에 의존한다. 대부분의 서구 기업들은 이를 확보하는 데 어려움이 없다. 소셜 미디어 대기업인 Meta의 최신 모델인 Llama 3는 미국 칩 제조업체인 Nvidia의 H100 GPU 16,000개로 훈련되었다. Meta는 연말까지 60만 개를 더 비축할 계획이다. 

엘론 머스크가 투자한 스타트업인 XAI는 멤피스에 100,000개의 H100으로 구동되는 데이터 센터를 구축했다. 또 다른 대형 모델 제조업체인 OpenAI는 GPU 보유량에 대해 함구하고 있지만, 지난 4월 Nvidia의 사장인 젠슨 황이 직접 최신 프로세서를 전달한 바 있다.


이런 종류의 접근은 대부분의 중국 기술 기업에게는 먼 꿈일 뿐이다. 미국은 2022년 10월부터 고성능 프로세서의 중국 판매를 차단했다. 일부 중국 기업들은 이 탐나는 칩을 손에 넣기 위해 암시장으로 눈을 돌리고 있다는 소문이 돌고 있다. 그러나 대다수는 제한된 자원을 최대한 활용하는 데 초점을 맞추고 있다. 그들의 결과는 서구 기업들에게 생각할 거리를 제공하고 있다.


항저우에 본사를 둔 중국 스타트업인 DeepSeek도 혁신 기업 중 하나이다. 9월 초에 출시된 최신 모델인 DeepSeek-v2.5는 영어와 중국어로 된 코딩 과제뿐만 아니라 다른 오픈 소스 모델과 비교해도 손색이 없다. 이러한 성과는 규모에 그치지 않는다:  DeepSeek는 중국 회사로서는 큰 규모이지만 미국 경쟁사 기준으로 보면 적은 수인 Nvidia의 구형 GPU를 10,000개 이상 보유하고 있는 것으로 알려져 있다.


DeepSeek는 여러 가지 방식으로 이러한 부족함을 보완한다. 첫 번째는 각기 다른 문제에 가장 적합한 여러 가지 네트워크로 구성되어 있다는 점이다. 이러한 '전문가 혼합' 접근 방식을 통해 모델은 각 작업을 적절한 네트워크에 위임하여 속도를 개선하고 처리 시간을 단축할 수 있다. 


DeepSeek는 서로 다른 데이터 비트를 연결하는 가상 연결인 2360억 개의 '매개변수'를 가지고 있지만, 처리하는 새로운 정보 덩어리마다 한 번에 10분의 1도 채 사용하지 않는다. 또한 이 모델은 새로운 데이터를 처리하기 전에 압축한다. 이를 통해 대용량 입력을 보다 효율적으로 처리할 수 있다.


GPU 부족에 대한 창의적인 해결책을 찾는 것은  DeepSeek만이 아니다. 칭화대학교와 AI 스타트업인 ModelBest가 개발한 오픈 소스 모델인 MiniCPM은 각각 24억 개와 12억 개의 매개 변수를 가진 다양한 종류가 있다. 작은 크기에도 불구하고 언어 관련 작업에 대한 MiniCPM의 성능은 70억~130억 개의 파라미터를 사용하는 대규모 언어 모델(LLM)과 비슷하다. DeepSeek의 모델과 마찬가지로 전문가 혼합 접근 방식과 입력 압축을 결합한다. 그러나 매개 변수가 적은 다른 소형 모델과 마찬가지로 MiniCPM도 특정 학습 분야 외의 영역에서는 그다지 높은 성능을 발휘하지 못할 수 있다.


MiniCPM은 크기가 작기 때문에 개인용 기기에 적합하다. 지난 8월에는 여러 언어를 지원하고 텍스트, 이미지, 오디오 등 다양한 유형의 데이터와 함께 작동하는 휴대폰용 버전을 출시했다.


다른 곳에서도 비슷한 접근 방식이 시도되고 있다. Together.ai, Meta, Nvidia의 연구원들이 개발한 알고리즘인 FlashAttention-3은 Nvidia의 H100 GPU에 맞게 설계하여 LLM의 훈련 및 실행 속도를 높인다. Google DeepMind에서 7월에 발표한 또 다른 알고리즘인 JEST는 초기 학습을 위해 소량의 고품질 데이터를 제공한 후 더 큰 규모의 저품질 데이터 세트에 투입한다. 이 방식은 다른 방식보다 13배 빠르고 10배 더 효율적이라고 구글은 주장한다. OpenAI를 지원하는 Microsoft의 연구원들도 약 40억 개의 매개 변수가 있는 Phi-3 mini라는 소형 언어 모델을 출시했다.


서구 기업들과 달리 중국 기업들에게 적은 자원으로 더 많은 일을 하는 것은 선택 사항이 아니다[필수 사항이다]. 하지만 이것이 나쁘지 않을 수도 있다. AI 투자 펀드인 Air Street Capital의 Nathan Benaich는 “희소성 사고방식은 확실히 효율성 향상에 인센티브를 제공한다.”라고 말한다. ■


추천 비추천

2

고정닉 1

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2943 이슈 [디시人터뷰] 라이징 스타로 인정받은 걸그룹, ‘리센느(RESCENE)’ 운영자 24/11/08 - -
2944 설문 축의금 적게 내면 눈치 줄 것 같은 스타는? 운영자 24/11/11 - -
816028 일반 러시아가 무서운 이유는 EE갤로그로 이동합니다. 08:13 40 1
816027 일반 조센징의 90%가 가진 역겨운 인식수준www ㅇㅇ(194.195) 07:58 60 5
816026 일반 경제난에 할 것과 말 것들 [4] Hospitaller갤로그로 이동합니다. 07:51 58 0
816025 일반 아직도 정신못차리는 내선일체 동조선언론 ㅇㅇ(212.102) 07:49 34 2
816024 일반 "北, 최대 10만명 파병"…"트럼프 취임전 공세 커질 듯" [1] ㅇㅇ(118.41) 07:43 83 0
816023 일반 비트코인으로 대박난 '부탄'..."고맙다, 트럼프?" [1] ㅇㅇ(118.41) 07:40 65 0
816022 일반 아프리카, 다극세계 중심 중 하나가 될 것 ㅇㅇㅇ(218.238) 07:23 33 3
816021 일반 트럼프 안됬으면 다음 전쟁터는 한반도였음 [3] 러갤러(118.235) 06:54 103 6
816020 일반 민중은 개새끼다. [1] 러갤러(175.215) 06:45 37 2
816019 일반 곰팡이와 해조류도 서로 장점합쳐서 사기로 탄생하는데 ㅅㅂ(112.165) 06:44 24 0
816018 일반 도널드 트럼프 주니어 "네오콘 단한명도 기용하지 않을것" [2] 777(175.120) 06:43 110 4
816017 일반 phonk는 왜 한국서만 인기가 없는거냐 ㅅㅂ(112.165) 06:41 34 0
816015 일반 요즘 한국은 영국식민지정책칭송이 대세임 ㅅㅂ(112.165) 06:29 25 0
816014 일반 응 미군=게이섹스+한사능+계속 기어들어오며 뒤짖 [5] ㅇㅇ(212.102) 06:06 49 2
816011 일반 우크라 전쟁은 미국의 전략적 승리 [16] 러갤러(218.150) 05:54 366 22
816010 일반 [속보] 이스라엘, 가자공습으로 이슬람 지하드 지도자 아부 사킬 살해했다 ㅇㅇ(118.41) 05:53 58 0
816009 일반 두바이 드랙경주에서 닛산, 람보기니 박살내는 샤오미 ㅇㅇㅈ(99.238) 05:38 49 1
816008 일반 미국한테 고마워할 필요없는이유 [1] 얀데레유빈갤로그로 이동합니다. 05:22 57 0
816007 일반 아조프나치曰,싸우기싫으면 시민권포기해라..그런데? [1] ㅇㅇ갤로그로 이동합니다. 05:04 83 0
816006 일반 영구라 이대남 뒈짖 [2] ㅇㅇ갤로그로 이동합니다. 04:56 52 1
816004 일반 슈퍼카 즐비한 두바이에서 샤오미 전기차 타면... ㅇㅇㅈ(99.238) 04:32 62 0
816003 일반 이재명 방탄집회 참가자 3000명임 ㅇㅇ(121.88) 04:22 45 1
816002 일반 미국은 대형 전쟁 터지면 잘 싸울 것 할랄포크갤로그로 이동합니다. 03:53 51 2
816001 일반 그 집회 참석자 숫자는 사진에 보이는 것 보다 많을 거임 [2] 할랄포크갤로그로 이동합니다. 03:21 75 0
816000 일반 러시아 근데 총력전 못하냐? [1] 러갤러(117.111) 03:02 43 0
815999 일반 러샤 우크갤인데 이스라엘글 쩌네 [3] 뜬구름잡냐갤로그로 이동합니다. 02:41 112 0
815998 일반 이거보니까 무슬림들 좀 무섭네 [5] ㅇㅇ(59.12) 02:35 96 0
815996 일반 근데 미국이 전쟁나면 이길 수 있긴 하냐? [13] 러갤러(117.111) 02:18 133 3
815995 일반 쿠바 만사니요 남남동쪽 해역서 규모 6.8 지진 발생 ㅇㅇ(118.41) 02:16 36 0
815994 일반 이란 이스라엘 전쟁은 곱게 안끝날거같노 [4] ㅇㅇ(59.12) 02:07 139 3
815992 일반 테일러 스위프트 야외 공연 4만 인원사진임.... [4] 러갤러(39.112) 02:04 185 6
815991 일반 터키 에르도안 이새끼 왜 이러냐? [2] 러갤러(180.66) 02:03 112 0
815990 일반 이스라엘은 올리브, 대추야자, 오렌지만 팔아도 수천조를 번다 케말파샤갤로그로 이동합니다. 02:02 49 0
815989 일반 트럼프 안됐으면 조지오윌 1984 였네 [1] 러갤러(180.66) 02:02 90 5
815986 일반 이스라엘은 전세계를 상대로 핵전쟁을 벌일 자격이 있다 케말파샤갤로그로 이동합니다. 01:48 35 0
815984 일반 트럼프가 되었기 때문에 [2] 러갤러(39.7) 01:30 130 5
815983 일반 좌좀의 10-30만 집회이야기가 왜 선동인지 사진 한장으로 가르쳐줌.. [3] 러갤러(39.112) 01:30 92 4
815981 일반 울산 대학가도 ‘尹정권 퇴진’ 시국선언 움직임 [2] 러갤러(101.96) 00:53 48 1
815980 일반 바재앙도 후지토라의 길을 걷는군 [6] ㅇㅇ(194.195) 00:41 145 7
815979 일반 "ICC, 성비위 의혹 검사장 '외부 독립조사' 하기로" ㅇㅇ(118.41) 00:40 51 0
815977 일반 앙숙 사우디·이란, 고위급 군사회담 개최... 트럼프 2기 대비 외교 잰 [1] ㅇㅇ(118.41) 00:21 94 0
815976 일반 인류를 구하려면 2030년 이전까지 미국 전력망을 마비시켜야 한다고 케말파샤갤로그로 이동합니다. 00:20 54 1
815975 일반 "비트코인, 사상 첫 8만 달러 돌파…트럼프 당선 덕" [3] ㅇㅇ(118.41) 00:09 92 1
815974 일반 "최근 며칠간 3번 통화"…날개 단 네타냐후 [4] ㅇㅇ(118.41) 00:04 141 1
815973 일반 이스라엘에 충성해라 [2] 케말파샤갤로그로 이동합니다. 00:01 63 0
815972 일반 야이 케말파샤갤로그로 이동합니다. 00:01 21 0
815971 일반 러우전쟁 불씨의 시작은 정확히 언제임? [5] ㅇㅇ(1.225) 11.10 75 0
815970 일반 점점 벌어지는 영미와 일본의 경제 격차 러갤러(211.36) 11.10 93 0
815969 일반 [감동] 젤렌스키가 영웅으로 남을수 있는 시나리오.jpg [2] 러갤러(39.126) 11.10 132 3
815968 일반 11월1일 이스라엘 전략사무부장 극비러시아 방문 [1] ㅇㅇ(61.106) 11.10 83 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2