[리뷰] 국산 반도체의 진면모를 파헤치다, 퓨리오사AI 워보이 NPU

IT동아 · 2023.06.02 13:26:45

[IT동아 남시현 기자] 인공지능 개발에서 그래픽 처리 장치(Graphic Processing Unit, 이하 GPU)가 사용되는 이유는 크게 두 가지다. 인공지능 모델을 개발하기 위해서는 대량의 수학 계산이 필요한데, GPU를 활용해서 처리할 수 있다. 하지만 GPU는 다양한 개발 환경에 적용할 순 있으나, 구조 자체가 인공지능 개발에 효율적인 방식은 아니라서 결과물 대비 전력 소비가 많고 단가도 비싸다. 테슬라 최고경영자 일론 머스크는 “현시점에서 GPU가 마약보다 구하기 훨씬 어렵다”라고 말할 정도로 품귀 현상도 겪고 있다.

이로 인해 반도체 업계는 인공지능 개발에 최적화된 형태의 반도체, 신경망 처리 장치 (Neural Prosessing Unit, 이하 NPU) 개발에 힘을 싣고 있다. 국내에서는 퓨리오사AI와 리벨리온, 사피온 등이 시제품 혹은 상용 제품을 내놓은 상황인데, 가장 주목도가 높은 제품이 지난해 퓨리오사AI가 출시한 NPU ‘워보이’다.

퓨리오사AI가 만든 1세대 NPU, 워보이(WARBOY). 출처=IT동아

워보이는 이미지 및 비디오 분석, 지능형 교통관리, 초고해상도, 광학 문자인식 및 자율주행 도메인을 위한 인공지능 전용 반도체로, 삼성 파운드리의 14나노 핀펫 공정을 기반으로 제조됐다. 워보이는 최근 과학기술정보통신부가 주관한 AI바우처 등 사업에서 과반 이상의 기업이 선택하는 등 실제 상용화 과정에서도 두각을 나타내고 있다. 퓨리오사AI의 도움을 받아 국산 인공지능 반도체 ‘워보이’의 성능과 현장의 목소리를 들어보았다.

퓨리오사AI ‘워보이’란 어떤 제품인가?

워보이는 최대 64 TOPS(Tera Operations Per Second)의 데이터 처리 속도를 제공하는 NPU다. TOPS는 초당 1조 번의 연산을 처리한다는 의미로, 부동소수점 연산에 대한 단위는 FLOPS, 정수처리를 위한 단위는 TOPS를 사용한다. 대조군인 엔비디아 A2와 INT8(8비트 정수 처리) 속도가 36 TOPS, 정확도를 떨어뜨리는 희소성(sparsity) 처리 시 72 TOPS인 점을 감안하면 심화학습(딥러닝) 처리 속도는 워보이가 앞선다.

워보이는 FHHL(위쪽), HHHL(아래쪽) 두 가지 폼팩터로 제작된다. 출처=IT동아

제품 폼팩터는 FHHL(Full-height half-length), HHHL(Half-height half-length) 두 종류로 제공되고, 호스트 인터페이스는 PCIe Gen 4 8레인이다. 열설계전력(TDP)은 구성에 따라 40W에서 60W 사이며, 동작 온도는 0~50도, 방열 구성은 패시브 및 액티브 쿨링 모두 지원한다. 메모리는 32MB가 온칩 메모리(SRAM)로 구성되며, 4266Mbps 동작 속도의 LPDDR4X 메모리가 16GB에서 최대 32GB 구성으로 탑재된다. 최대 메모리 대역폭은 초당 66GB다.

워보이가 8개 장착된 시스템. 출처=IT동아

시스템 규모는 일반적인 AI 추론(Inference) 업체를 기준으로 서버 한 대당 워보이 2대, 4대, 8대의 구성을 사용하며, 필요에 따라 최대 20대로 시스템을 구성한 경우도 있다. 특히 동영상 화질 개선 애플리케이션 등의 시스템은 고화질 콘텐츠에 대한 노이즈 저감(Denoising) 성능을 확보하기 위해 서버 한대당 12개의 워보이를 장착한다.

MLPerf로 살펴보는 워보이 NPU의 성능

워보이의 성능은 이미 ML커먼즈(MLCommons)의 인공지능 벤치마크, MLPerf를 통해 증명됐다. MLPerf는 전 세계 스타트업, 선도기업, 학계 및 비영리 단체 등 50개 이상의 창립 멤버와 계열사가 설립한 ‘ML커먼즈(MLCommons)’에서 진행하는 인공지능 성능 시험으로, 현재 전 세계 인공지능 반도체의 성능 지표로 사용된다. 퓨리오사AI는 ML커먼즈의 창립 멤버이며, 2019년 아시아권 스타트업으로는 처음으로 MLPerf에 등재되기도 했다.

MLPerf는 학습(Training)과 추론(Inference) 테스트로 구성되며, 크게 이미지 분류, 물체 감지(경량), 물체감지(중량), 생체 의학 이미지 분할, 자동 음성 인식(ASR), 자연어 처리(NLP), 추천, 강화학습에 대해 다룬다. 퓨리오사AI의 워보이는 지난해 5월 MLPerf v2.0의 추론-엣지, 닫힘(Inference-Edge, Close) 분야에 대한 테스트를 진행했으며, 이미지 인식과 물체 감지 경량 및 중량 세 개에 대한 테스트를 진행했다.

위쪽부터 엔비디아 A2 1개, A2 2개, 퓨리오사AI 워보이로 구성된 비교표. 노란색이 워보이 결과다. 출처=IT동아

워보이 시스템은 슈퍼마이크로 SYS-420GP-TNR에 인텔 제온 플래티넘 8368Q를 탑재했으며, 비교군으로 엔비디아 A2 한 대에 슈퍼마이크로 SYS-220HE-FTNR, 인텔 제온 골드 6338N을 탑재한 제품이 있다. 이미지 분류 항목에서 워보이의 단일 스트림 레이턴시는 0.71ms, 다중 스트림 반응 시간은 3.97ms로 나타난다. 이때 엔비디아 A2는 각각 0.7ms, 3.41ms로 조금 더 빠르며, 오프라인 시 초당 이미지 처리 수는 2천735.6장이었다. 워보이는 반응 시간은 느렸지만 처리량 자체는 2천758.44장으로 조금 더 빨랐다.

워보이는 물체감지 (경량) 항목에서 A2 두 대에 가까운 성능을 보여준다. 출처=IT동아

물체 감지(경량) 항목에서는 워보이의 단일 스트림 레이턴시가 0.36ms, 다중 스트림 레이턴시가 2.05ms로 나타났고, 엔비디아 A2가 각각 0.46ms, 2.26ms로 확인됐다. 하지만 실질 처리량은 엔비디아 A2가 4천408.99개일 때 워보이가 8천762.15개로 두 배 가까운 처리량을 보인다. 실제로 동일 시스템에 A2 두 대를 엮은 시스템의 처리량이 9천362.19개니 이미지 처리 효율은 기대 이상이다.

물체감지 (중량) 항목에서도 워보이는 단일 스트림 13.43ms, 다중 스트림 107.87ms으로 초당 79.92개의 데이터를 처리했는데, 이는 단일 16.01ms, 다중 125.02ms로 초당 66.92개를 처리한 엔비디아 A2에 상당히 앞선 수치다.

소프트웨어 개발 키트(SDK) 배포, 실전에서도 활약 중

플랫폼별 구축 도구 세트인 소프트웨어 개발 키트(SDK)의 배포도 워보이의 강점이다. 퓨리오사AI는 NPU 동작에 필요한 기본적인 예제코드를 깃허브(Github)를 통해 배포하고 있으며, 워보이 NPU 소개 및 활용에 필요한 소프트웨어 및 가이드, 명령 도구, 컴파일러, 모델 양자화 등의 내용을 담은 ‘FuriosaAI NPU 및 SDK 0.9.0 문서’도 누구나 열람할 수 있도록 제공하고 있다.

퓨리오사AI가 깃허브를 통해 배포하고 있는 SDK 도구. 출처=깃허브

퓨리오사AI 관계자는 “퓨리오사AI는 워보이로 인공지능 서비스를 개발하는 기업들이 필요한 정보를 직접 확인할 수 있게 깃허브에 관련 내용 및 SDK 문서를 공유하고 있다”라면서, “SDK를 제공하고 업데이트하는 이유는 소프트웨어 역량 확보가 인공지능 반도체의 경쟁력을 좌우하는 큰 기준점이라고 생각하기 때문이며, 전 세계 시장 눈높이에 맞는 풀스택 엔지니어링을 수행할 수 있는 근본 개념 설계 역량을 바탕으로 알고리즘, 소프트웨어, 그리고 하드웨어 개발을 수직 통합하는 역량을 갖추고자 노력해 왔기 때문이다”라고 말했다. 또한 “대다수 NPU 제조사들이 우리만큼 자료를 제공하지 못하는데, 이 부분에서 많은 수요 기업들이 자사 기술력을 신뢰하는 듯하다”라고 덧붙였다.

하드웨어 및 소프트웨어를 모두 갖춘 덕분에 이미 상용 서비스에도 도입이 돼있다. 카카오엔터프라이즈는 이팝소프트의 ‘말해보카’ 영어사전 앱에서 광학문자인식(OCR) 기능에 워보이를 활용하고 있다. 영어 문장이 포함된 사진을 촬영하면 앱이 해당 문장을 텍스트화하는데, 이 과정에서 워보이 NPU가 문자를 인식한다. 현재 카카오 i 클라우드는 퓨리오사AI 워보이 NPU 12대가 4개의 베어메탈 서버에 장착돼 있고, 올해 안에 워보이 NPU 카드 16장, 베어메탈 서버 10대를 추가할 계획이다.

써로마인드는 인공지능 추론 및 클라우드 기반 AI 서비스에 워보이를 활용할 예정이다. 출처=써로마인드

AI 스튜디오, 비전 솔루션 등을 개발하는 써로마인드(SURROMIND)는 다중 분류(Multi-class Classification)의 추론 및 클라우드 기반의 음원 추천 시스템에 워보이를 활용할 예정이다. 써로마인드 정헌수 연구원은 “워보이는 우리가 요구하는 결과에 부합하는 하드웨어 성능을 갖추고 있으며, SDK 등 기술 문서도 개발자에게 익숙한 포맷으로 잘 정리해 놨다”라면서, “워보이의 빠른 응답 속도 및 성능 덕분에 맞춤형 음원 목록을 더욱 빠르게 추론해서 반환할 것으로 기대하며, 사업 규모가 커짐에 따라 늘고 있는 추론 요청도 해소할 수 있으리라 본다” 라고 활용처를 밝혔다.

근거 있는 자신감, 선택은 시작됐다

퓨리오사AI 워보이는 빠른 제품 양산을 앞세워 국산 NPU 시장에서 두각을 나타내고 있다. 출처=IT동아

시장에서 워보이에 주목하고 있는 이유는 결국 우수한 와트당 성능, 그리고 수급의 안정성과 관련돼 있다. 오늘날 컴퓨터 서버는 대량의 전력을 소모하며 이를 유지하기 위한 자원이 꾸준히 투입돼야 한다. 하지만 RE100 등의 탄소 중립은 물론 EU 공급망 실사처럼 실질적인 소비전력 감축과 그 대안이 요구되는 상황이다. 기업 입장에서 더 나은 성능을 확보하고, 시장의 요구에 발맞추기 위해서라도 장기적으로 GPU를 NPU로 바꿔야 하는 상황이다. 특히 지금처럼 GPU 수요가 폭발해 품귀 현상을 겪는 상황에서는 NPU가 매력적인 대체재로 떠오르는 상황이다.

퓨리오사AI 워보이를 채택한 딥핑소스(Deeping Source) 김태훈 대표의 경우 “워보이를 선택한 가장 큰 이유는 소프트웨어 개발 편의성 때문이다. 엔비디아를 제외하면 툴킷이 직관적이거나 쉬운 기업이 거의 없는데, 퓨리오사AI의 워보이는 바로 당일에 작동 결과를 알 수 있을 정도였다”라고 선택의 이유를 말하며, 래블업(Lablup Inc) 신정규 대표는 “고해상도 이미지 전처리 및 이미지 콘텐츠 인식 등에 관련된 모든 분야, 감시 체계 및 자율주행 데이터 처리 분야에서 워보이의 가능성을 보고 있다. 향후 시각 인식 영역을 넘어 다양한 영역에서 퓨리오사 AI의 NPU가 전개될 것으로 보고 워보이와 통합 작업을 진행하고 있다”라고 말한다.

국내의 여러 NPU 제조사들의 선의의 경쟁을 펼치고 있지만, 유독 퓨리오사AI의 워보이가 앞서나가는 배경엔 이런 현장의 목소리가 있다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	가수에서 배우로 전향 했지만 기대에 못 미치는 스타는?	운영자	25/02/24	-	-
4962	[투자를IT다] 2025년 2월 4주차 IT기업 주요 소식과 주가 흐름	IT동아	03.01	5264	0
4961	‘인공지능 역량 높여 게이밍 성능 개선’ AMD, 라데온 RX 9070 시리즈 그래픽카드 공개 [6]	IT동아	03.01	5962	9
4960	[리뷰] 콘텐츠 품질 높이는 프로급 짐벌, DJI RS 4 미니	IT동아	02.28	95	0
4959	[생성 AI 길라잡이] 인공지능 생성물에 워터마크 표시…효과와 한계는?	IT동아	02.28	149	0
4958	[기술영업人] 고객관계관리에서 AI 기반으로, 세일즈포스의 기술영업 방법론은?	IT동아	02.28	107	0
4957	[IT애정남] 로봇청소기, 개인정보 보호 대처 방법을 알려주세요 [6]	IT동아	02.28	4484	0
4956	해시드오픈리서치 “국내 가상자산 투자자, 3040 남성 강세”	IT동아	02.28	112	0
4955	Startup KAIST 글로벌 스튜디오 “코호트 기업, 세계 누비도록 지원”	IT동아	02.28	109	0
4954	[IT신상공개] 4세대 뷰티 디바이스 ‘앳홈 톰 더 글로우’, 광채·탄력·보습 잡는다	IT동아	02.28	118	0
4953	“잘 쓰던 SSD가 갑자기 고장?” 데이터 보호하려면 철저한 대비가 필요해 [4]	IT동아	02.27	578	2
4952	솔리드웍스 CEO “손쉬운 사용자 경험...전 세계 800만 사용자 확보한 배경”	IT동아	02.27	134	0
4951	Arm, Armv9 엣지 AI 플랫폼, AI 엣지용 Cortex-A320 칩 공개	IT동아	02.27	180	0
4950	[리뷰] ‘폰카’로 ‘작품’ 찍는 짐벌, DJI 오즈모 모바일 7 시리즈 [2]	IT동아	02.27	4180	22
4949	배재인 다쏘시스템코리아 CRE본부장 “韓 로봇 시장 급성장…스타트업 혁신 적극 지원”	IT동아	02.27	150	0
4948	‘버추얼 트윈’ 기술로 시간당 200개 햄버거 패티 굽는 로봇 개발 '에니아이’ [10]	IT동아	02.27	1929	0
4947	‘다쏘시스템’ 솔루션에 ‘애플 비전 프로’ 접목…새로운 방식의 협업 기대	IT동아	02.26	148	0
4946	다쏘시스템 “설계 효율 높일 AI 챗봇 ‘아우라’ 오는 7월 도입”	IT동아	02.26	141	0
4945	[주간스타트업동향] 픽플리, AI 활용 실태 조사 “AI, 활용도 높지만 신뢰성은 아직”	IT동아	02.26	138	0
4944	[생활 속IT] 화면을 더 부드럽게, 120Hz 주사율 설정하는 법 [2]	IT동아	02.26	4770	4
4943	[크립토 퀵서치] 업비트는 왜 3개월 영업 일부 정지 조치를 받나요?	IT동아	02.26	126	0
4942	이통3사, MWC 2025서 선보일 AI 전략 차이점은?	IT동아	02.26	1476	0
4941	다양한 종류의 디지털 카메라, 무엇에 초점을 두고 선택할까? [5]	IT동아	02.26	277	0
4940	스테이블코인 협의회 출범 ‘실효성 있는 규제 환경 조성에 기여’	IT동아	02.25	167	0
4939	다쏘시스템 "버추얼 트윈 기술로 지속 가능한 선순환 구조 형성할 것"	IT동아	02.25	161	0
4938	국내외 인공지능 기업의 시선, ‘휴머노이드’로 이동 중 [2]	IT동아	02.25	812	0
4937	[르포] 美 유인 우주 계획의 본거지 ‘NASA 존슨 우주 센터’ 가보니	IT동아	02.25	722	4
4936	"채굴 가고 인공지능 왔다" 지포스 RTX 50 구매 대란, 굳이 지금 사야되나? [2]	IT동아	02.25	2039	0
4935	[리뷰] 2.5G에 관리 기능까지 더한 특별한 스위치, 넷기어 MS305E	IT동아	02.24	173	0
4934	배터리 부풀어 오를 때는 이렇게! [이럴땐 이렇게!]	IT동아	02.24	5432	5
4933	바이비트, 약 2조 원 규모 해킹 피해 ‘역대 최대 규모’ [3]	IT동아	02.24	1027	4
4932	[주간투자동향] 라이드, 40억 원 규모 시리즈A 투자 유치 外	IT동아	02.24	157	0
4931	[리뷰] 기본기, 완성도에 집중한 그래픽 카드, 인텔 아크 B580	IT동아	02.24	158	0
4930	[투자를IT다] 2025년 2월 3주차 IT기업 주요 소식과 주가 흐름	IT동아	02.21	5741	1
4929	[생성 AI 길라잡이] 신형 PC의 특권? 윈도우 그림판 AI 기능 활용하기 [7]	IT동아	02.21	5268	6
4928	[생활 속 IT] 알고리즘의 축복, 유튜브 ‘인급동’ 기준은?	IT동아	02.21	236	0
4927	화물차 차주에게는 주차공간을, 유휴부지 소유주에게는 수익을…‘트럭헬퍼’ [2]	IT동아	02.21	4515	1
4926	[리뷰] 성능과 배터리 효율의 극적인 조화, 삼성 갤럭시 북5 프로 [3]	IT동아	02.21	4411	18
4925	[크립토 퀵서치] 100만 원 미만 가상자산 출금 방식이 변경된 이유는?	IT동아	02.21	206	0
4923	[IT하는법] 신뢰할 수 있는 장소에서 '잠금 해제 유지'하는 방법	IT동아	02.21	207	0
4922	[민관협력 오픈이노베이션 지원사업] 큐빅 “SKT와의 협업으로 새로운 기회·가능성 발견”	IT동아	02.21	181	0
4921	레노버 “기업의 AI 도입, ‘무작정’ 아닌 ‘제대로’가 중요” [1]	IT동아	02.20	307	0
4920	우버 택시 “CEO가 직접 택시 운전하며 피드백 수렴…서비스 대상 확대 박차”	IT동아	02.20	1559	0
4919	[2024 고려대 초창패] 케미컴퍼니, '진정성 있는 인연, 하트트래블이 맺어드립니다'	IT동아	02.20	673	0
4918	세종창조경제혁신센터, 스타트업 생존전략 강화 및 피봇팅 성과 발표	IT동아	02.20	205	0
4917	[2024 고려대 초창패] 파이브지코퍼레이션 “AI 체형 분석으로 최적 침구 찾아주는 딥몽”	IT동아	02.20	200	0
4916	2025년 3월 출범하는 대체거래소 넥스트레이드, 장점과 아쉬운 점	IT동아	02.20	207	0
4915	기능을 포기하고 99만 원... 애플 아이폰 16e 공개 [2]	IT동아	02.20	779	0
4914	컬러 산업의 리더 모인 ‘2025 컬러 & 디자인 세미나 서울’ 성료 [1]	IT동아	02.19	563	0
4913	라스베이거스 초대형 돔 스피어는 어떻게 구동되나	IT동아	02.19	204	0
4912	험난한 야외 환경 견딜 필드용 로봇 위한 ‘전자파 내성 센서’ 개발	IT동아	02.19	188	0
뉴스	“새벽에만 외출”…최홍만, 제주 산속에서 6년째 생활 ‘충격’	디시트렌드	03.01

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

퓨리오사AI ‘워보이’란 어떤 제품인가?

MLPerf로 살펴보는 워보이 NPU의 성능

소프트웨어 개발 키트(SDK) 배포, 실전에서도 활약 중

근거 있는 자신감, 선택은 시작됐다

▶ '인공지능 각축전'으로 거듭난 컴퓨텍스 2023, 올해 주목받은 기업들은?▶ '인공지능 핵심 기업으로 우뚝···' 컴퓨텍스 2023에서 빛난 엔비디아▶ 메타버스 죽고, AI 빛나고, ESG는 여전…컴퓨텍스에서 확인한 트렌드

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ '인공지능 각축전'으로 거듭난 컴퓨텍스 2023, 올해 주목받은 기업들은?▶ '인공지능 핵심 기업으로 우뚝···' 컴퓨텍스 2023에서 빛난 엔비디아 ▶ 메타버스 죽고, AI 빛나고, ESG는 여전…컴퓨텍스에서 확인한 트렌드