[리뷰] 국산 반도체의 진면모를 파헤치다, 퓨리오사AI 워보이 NPU

IT동아 · 2023.06.02 13:26:45

[IT동아 남시현 기자] 인공지능 개발에서 그래픽 처리 장치(Graphic Processing Unit, 이하 GPU)가 사용되는 이유는 크게 두 가지다. 인공지능 모델을 개발하기 위해서는 대량의 수학 계산이 필요한데, GPU를 활용해서 처리할 수 있다. 하지만 GPU는 다양한 개발 환경에 적용할 순 있으나, 구조 자체가 인공지능 개발에 효율적인 방식은 아니라서 결과물 대비 전력 소비가 많고 단가도 비싸다. 테슬라 최고경영자 일론 머스크는 “현시점에서 GPU가 마약보다 구하기 훨씬 어렵다”라고 말할 정도로 품귀 현상도 겪고 있다.

이로 인해 반도체 업계는 인공지능 개발에 최적화된 형태의 반도체, 신경망 처리 장치 (Neural Prosessing Unit, 이하 NPU) 개발에 힘을 싣고 있다. 국내에서는 퓨리오사AI와 리벨리온, 사피온 등이 시제품 혹은 상용 제품을 내놓은 상황인데, 가장 주목도가 높은 제품이 지난해 퓨리오사AI가 출시한 NPU ‘워보이’다.

퓨리오사AI가 만든 1세대 NPU, 워보이(WARBOY). 출처=IT동아

워보이는 이미지 및 비디오 분석, 지능형 교통관리, 초고해상도, 광학 문자인식 및 자율주행 도메인을 위한 인공지능 전용 반도체로, 삼성 파운드리의 14나노 핀펫 공정을 기반으로 제조됐다. 워보이는 최근 과학기술정보통신부가 주관한 AI바우처 등 사업에서 과반 이상의 기업이 선택하는 등 실제 상용화 과정에서도 두각을 나타내고 있다. 퓨리오사AI의 도움을 받아 국산 인공지능 반도체 ‘워보이’의 성능과 현장의 목소리를 들어보았다.

퓨리오사AI ‘워보이’란 어떤 제품인가?

워보이는 최대 64 TOPS(Tera Operations Per Second)의 데이터 처리 속도를 제공하는 NPU다. TOPS는 초당 1조 번의 연산을 처리한다는 의미로, 부동소수점 연산에 대한 단위는 FLOPS, 정수처리를 위한 단위는 TOPS를 사용한다. 대조군인 엔비디아 A2와 INT8(8비트 정수 처리) 속도가 36 TOPS, 정확도를 떨어뜨리는 희소성(sparsity) 처리 시 72 TOPS인 점을 감안하면 심화학습(딥러닝) 처리 속도는 워보이가 앞선다.

워보이는 FHHL(위쪽), HHHL(아래쪽) 두 가지 폼팩터로 제작된다. 출처=IT동아

제품 폼팩터는 FHHL(Full-height half-length), HHHL(Half-height half-length) 두 종류로 제공되고, 호스트 인터페이스는 PCIe Gen 4 8레인이다. 열설계전력(TDP)은 구성에 따라 40W에서 60W 사이며, 동작 온도는 0~50도, 방열 구성은 패시브 및 액티브 쿨링 모두 지원한다. 메모리는 32MB가 온칩 메모리(SRAM)로 구성되며, 4266Mbps 동작 속도의 LPDDR4X 메모리가 16GB에서 최대 32GB 구성으로 탑재된다. 최대 메모리 대역폭은 초당 66GB다.

워보이가 8개 장착된 시스템. 출처=IT동아

시스템 규모는 일반적인 AI 추론(Inference) 업체를 기준으로 서버 한 대당 워보이 2대, 4대, 8대의 구성을 사용하며, 필요에 따라 최대 20대로 시스템을 구성한 경우도 있다. 특히 동영상 화질 개선 애플리케이션 등의 시스템은 고화질 콘텐츠에 대한 노이즈 저감(Denoising) 성능을 확보하기 위해 서버 한대당 12개의 워보이를 장착한다.

MLPerf로 살펴보는 워보이 NPU의 성능

워보이의 성능은 이미 ML커먼즈(MLCommons)의 인공지능 벤치마크, MLPerf를 통해 증명됐다. MLPerf는 전 세계 스타트업, 선도기업, 학계 및 비영리 단체 등 50개 이상의 창립 멤버와 계열사가 설립한 ‘ML커먼즈(MLCommons)’에서 진행하는 인공지능 성능 시험으로, 현재 전 세계 인공지능 반도체의 성능 지표로 사용된다. 퓨리오사AI는 ML커먼즈의 창립 멤버이며, 2019년 아시아권 스타트업으로는 처음으로 MLPerf에 등재되기도 했다.

MLPerf는 학습(Training)과 추론(Inference) 테스트로 구성되며, 크게 이미지 분류, 물체 감지(경량), 물체감지(중량), 생체 의학 이미지 분할, 자동 음성 인식(ASR), 자연어 처리(NLP), 추천, 강화학습에 대해 다룬다. 퓨리오사AI의 워보이는 지난해 5월 MLPerf v2.0의 추론-엣지, 닫힘(Inference-Edge, Close) 분야에 대한 테스트를 진행했으며, 이미지 인식과 물체 감지 경량 및 중량 세 개에 대한 테스트를 진행했다.

위쪽부터 엔비디아 A2 1개, A2 2개, 퓨리오사AI 워보이로 구성된 비교표. 노란색이 워보이 결과다. 출처=IT동아

워보이 시스템은 슈퍼마이크로 SYS-420GP-TNR에 인텔 제온 플래티넘 8368Q를 탑재했으며, 비교군으로 엔비디아 A2 한 대에 슈퍼마이크로 SYS-220HE-FTNR, 인텔 제온 골드 6338N을 탑재한 제품이 있다. 이미지 분류 항목에서 워보이의 단일 스트림 레이턴시는 0.71ms, 다중 스트림 반응 시간은 3.97ms로 나타난다. 이때 엔비디아 A2는 각각 0.7ms, 3.41ms로 조금 더 빠르며, 오프라인 시 초당 이미지 처리 수는 2천735.6장이었다. 워보이는 반응 시간은 느렸지만 처리량 자체는 2천758.44장으로 조금 더 빨랐다.

워보이는 물체감지 (경량) 항목에서 A2 두 대에 가까운 성능을 보여준다. 출처=IT동아

물체 감지(경량) 항목에서는 워보이의 단일 스트림 레이턴시가 0.36ms, 다중 스트림 레이턴시가 2.05ms로 나타났고, 엔비디아 A2가 각각 0.46ms, 2.26ms로 확인됐다. 하지만 실질 처리량은 엔비디아 A2가 4천408.99개일 때 워보이가 8천762.15개로 두 배 가까운 처리량을 보인다. 실제로 동일 시스템에 A2 두 대를 엮은 시스템의 처리량이 9천362.19개니 이미지 처리 효율은 기대 이상이다.

물체감지 (중량) 항목에서도 워보이는 단일 스트림 13.43ms, 다중 스트림 107.87ms으로 초당 79.92개의 데이터를 처리했는데, 이는 단일 16.01ms, 다중 125.02ms로 초당 66.92개를 처리한 엔비디아 A2에 상당히 앞선 수치다.

소프트웨어 개발 키트(SDK) 배포, 실전에서도 활약 중

플랫폼별 구축 도구 세트인 소프트웨어 개발 키트(SDK)의 배포도 워보이의 강점이다. 퓨리오사AI는 NPU 동작에 필요한 기본적인 예제코드를 깃허브(Github)를 통해 배포하고 있으며, 워보이 NPU 소개 및 활용에 필요한 소프트웨어 및 가이드, 명령 도구, 컴파일러, 모델 양자화 등의 내용을 담은 ‘FuriosaAI NPU 및 SDK 0.9.0 문서’도 누구나 열람할 수 있도록 제공하고 있다.

퓨리오사AI가 깃허브를 통해 배포하고 있는 SDK 도구. 출처=깃허브

퓨리오사AI 관계자는 “퓨리오사AI는 워보이로 인공지능 서비스를 개발하는 기업들이 필요한 정보를 직접 확인할 수 있게 깃허브에 관련 내용 및 SDK 문서를 공유하고 있다”라면서, “SDK를 제공하고 업데이트하는 이유는 소프트웨어 역량 확보가 인공지능 반도체의 경쟁력을 좌우하는 큰 기준점이라고 생각하기 때문이며, 전 세계 시장 눈높이에 맞는 풀스택 엔지니어링을 수행할 수 있는 근본 개념 설계 역량을 바탕으로 알고리즘, 소프트웨어, 그리고 하드웨어 개발을 수직 통합하는 역량을 갖추고자 노력해 왔기 때문이다”라고 말했다. 또한 “대다수 NPU 제조사들이 우리만큼 자료를 제공하지 못하는데, 이 부분에서 많은 수요 기업들이 자사 기술력을 신뢰하는 듯하다”라고 덧붙였다.

하드웨어 및 소프트웨어를 모두 갖춘 덕분에 이미 상용 서비스에도 도입이 돼있다. 카카오엔터프라이즈는 이팝소프트의 ‘말해보카’ 영어사전 앱에서 광학문자인식(OCR) 기능에 워보이를 활용하고 있다. 영어 문장이 포함된 사진을 촬영하면 앱이 해당 문장을 텍스트화하는데, 이 과정에서 워보이 NPU가 문자를 인식한다. 현재 카카오 i 클라우드는 퓨리오사AI 워보이 NPU 12대가 4개의 베어메탈 서버에 장착돼 있고, 올해 안에 워보이 NPU 카드 16장, 베어메탈 서버 10대를 추가할 계획이다.

써로마인드는 인공지능 추론 및 클라우드 기반 AI 서비스에 워보이를 활용할 예정이다. 출처=써로마인드

AI 스튜디오, 비전 솔루션 등을 개발하는 써로마인드(SURROMIND)는 다중 분류(Multi-class Classification)의 추론 및 클라우드 기반의 음원 추천 시스템에 워보이를 활용할 예정이다. 써로마인드 정헌수 연구원은 “워보이는 우리가 요구하는 결과에 부합하는 하드웨어 성능을 갖추고 있으며, SDK 등 기술 문서도 개발자에게 익숙한 포맷으로 잘 정리해 놨다”라면서, “워보이의 빠른 응답 속도 및 성능 덕분에 맞춤형 음원 목록을 더욱 빠르게 추론해서 반환할 것으로 기대하며, 사업 규모가 커짐에 따라 늘고 있는 추론 요청도 해소할 수 있으리라 본다” 라고 활용처를 밝혔다.

근거 있는 자신감, 선택은 시작됐다

퓨리오사AI 워보이는 빠른 제품 양산을 앞세워 국산 NPU 시장에서 두각을 나타내고 있다. 출처=IT동아

시장에서 워보이에 주목하고 있는 이유는 결국 우수한 와트당 성능, 그리고 수급의 안정성과 관련돼 있다. 오늘날 컴퓨터 서버는 대량의 전력을 소모하며 이를 유지하기 위한 자원이 꾸준히 투입돼야 한다. 하지만 RE100 등의 탄소 중립은 물론 EU 공급망 실사처럼 실질적인 소비전력 감축과 그 대안이 요구되는 상황이다. 기업 입장에서 더 나은 성능을 확보하고, 시장의 요구에 발맞추기 위해서라도 장기적으로 GPU를 NPU로 바꿔야 하는 상황이다. 특히 지금처럼 GPU 수요가 폭발해 품귀 현상을 겪는 상황에서는 NPU가 매력적인 대체재로 떠오르는 상황이다.

퓨리오사AI 워보이를 채택한 딥핑소스(Deeping Source) 김태훈 대표의 경우 “워보이를 선택한 가장 큰 이유는 소프트웨어 개발 편의성 때문이다. 엔비디아를 제외하면 툴킷이 직관적이거나 쉬운 기업이 거의 없는데, 퓨리오사AI의 워보이는 바로 당일에 작동 결과를 알 수 있을 정도였다”라고 선택의 이유를 말하며, 래블업(Lablup Inc) 신정규 대표는 “고해상도 이미지 전처리 및 이미지 콘텐츠 인식 등에 관련된 모든 분야, 감시 체계 및 자율주행 데이터 처리 분야에서 워보이의 가능성을 보고 있다. 향후 시각 인식 영역을 넘어 다양한 영역에서 퓨리오사 AI의 NPU가 전개될 것으로 보고 워보이와 통합 작업을 진행하고 있다”라고 말한다.

국내의 여러 NPU 제조사들의 선의의 경쟁을 펼치고 있지만, 유독 퓨리오사AI의 워보이가 앞서나가는 배경엔 이런 현장의 목소리가 있다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	오픈 마인드로 이성을 만날 것 같은 스타는?	운영자	24/12/02	-	-
2708	[혁신스타트업 in 홍릉] 덴티로드 “구강 케어, 스마트 틀니 세척기 세계로”	IT동아	23.06.13	121	0
2707	한 여름철 냉방기기 전기 화재를 예방하려면 이렇게![이럴땐 이렇게!] [10]	IT동아	23.06.12	2128	1
2706	[IT신상공개] 에어컨, 제습기 자동 ON/OFF, 텐플 스마트 온습도 만능리모컨 [2]	IT동아	23.06.12	2571	0
2705	애플 비전 프로, ‘AR 플랫폼’으로 공간을 말한다	IT동아	23.06.09	194	0
2704	[리뷰] 리넨으로 꾸몄다, 카멜마운트 CA3·CA3D 패브릭 디자인 모니터암 [1]	IT동아	23.06.09	1394	0
2703	[농업이 IT(잇)다] 날아오름 “우리 농산물·꽃의 향과 맛 전파"	IT동아	23.06.09	130	0
2702	[동국대학교 캠퍼스타운] 저스트컴퍼니 “이력서 대신 업무 역량으로 기업과 개인 연결”	IT동아	23.06.09	135	0
2701	탄소중립 향해 달리는 세계, ‘수소경제’가 마지막 퍼즐?[K비즈니스 가이드]	IT동아	23.06.08	157	0
2700	[먹거리+IT] 농업회사법인 상생 임종순 대표, “쌀은 우리나라의 토종 자원입니다”	IT동아	23.06.08	146	0
2699	[리뷰] 1.17kg대 14인치 가성비 노트북, 레노버 아이디어패드 슬림 5 라이트 [6]	IT동아	23.06.08	1601	1
2698	[스타트업-ing] 퍼밋 "월드 퍼밋 센터, 농산업·스마트팜 상생 터전"	IT동아	23.06.08	128	0
2697	CIT “5G·6G 통신 위한 PTFE·구리 증착 기술 독자 개발” [1]	IT동아	23.06.08	1145	1
2696	[SCS] 시설관리 시스템 '메타 세이프티'를 도입한 강릉물류센터	IT동아	23.06.07	142	0
2695	[WWDC23] iOS 17, 워치OS 10, 맥OS 소노마 등장··· 핵심은 '사용자 경험'	IT동아	23.06.07	181	0
2694	[WWDC23] 애플, M2 울트라 기반 맥프로, 15인치 맥북 에어로 라인업 확충 [3]	IT동아	23.06.07	1164	0
2693	[동국대학교 캠퍼스타운] 스포잇 “스포츠로 사회적 가치 실현한다”	IT동아	23.06.07	129	0
2692	차세대 주연산장치 속속...스마트폰 성능·효율 좋아진다. [9]	IT동아	23.06.07	1303	0
2691	[메타버스에 올라타자] 5. 메타버스 세상에서의 '소통'	IT동아	23.06.07	143	0
2690	[뉴스줌인] 에이수스 비보북 16X에 탑재된 MUX 스위치, 용도는?	IT동아	23.06.05	170	0
2689	[IT애정남] 10년 기다린 디아블로 IV, 제 노트북으로도 되나요?	IT동아	23.06.05	188	0
2688	충전 속도 빠른 충전기 구분하려면 이렇게![이럴땐 이렇게!] [44]	IT동아	23.06.05	8187	28
2687	[주간투자동향] 비욘드뮤직, 2,000억 원 규모의 추가 투자 유치	IT동아	23.06.05	198	0
2686	[뉴스줌인] NAS 제조사 시놀로지에서 출시한 HDD, 뭐가 다를까? [48]	IT동아	23.06.03	7856	1
2685	'인공지능 각축전'으로 거듭난 컴퓨텍스 2023, 올해 주목받은 기업들은?	IT동아	23.06.02	176	0
	[리뷰] 국산 반도체의 진면모를 파헤치다, 퓨리오사AI 워보이 NPU	IT동아	23.06.02	241	0
2683	[농업이 IT(잇)다] 아케미 “우리 쌀 디저트로 건강과 맛을 함께”	IT동아	23.06.02	190	0
2682	모토롤라 '레이저 40' 공개, 갤럭시Z 플립과 맞대결 [19]	IT동아	23.06.02	2636	3
2681	NAS만이 아니다? 시놀로지, 컴퓨텍스에서 다양한 솔루션 선보여	IT동아	23.06.01	239	1
2680	인텔, 차세대 CPU에 인공지능 전용 처리 장치, 'VPU' 심는다 [10]	IT동아	23.06.01	1686	1
2679	음향기기의 활발한 콜라보레이션 ‘소비자 구매욕 자극’	IT동아	23.06.01	1056	0
2678	'인공지능 핵심 기업으로 우뚝···' 컴퓨텍스 2023에서 빛난 엔비디아 [1]	IT동아	23.06.01	989	2
2677	LG U+·KT ‘PASS’ 주의, 약관 전체동의 시 부가 서비스에 가입 [17]	IT동아	23.05.31	2670	20
2676	인공지능, 전염병·핵 전쟁 수준의 위협 되기 전 관리해야 [10]	IT동아	23.05.31	1344	2
2675	신산업 기술 개발하는 딥테크… 정부가 나서 육성한다	IT동아	23.05.30	204	0
2674	파손·침수된 스마트폰 데이터 복원하려면 이렇게![이럴땐 이렇게!] [1]	IT동아	23.05.30	1731	0
2673	경쟁 심화·규모 감소에 스마트폰 기업 철수 연이어 [7]	IT동아	23.05.30	3790	15
2672	[주간투자동향] IPX, BRV캐피탈로부터 1,200억 원 규모의 투자 유치	IT동아	23.05.30	158	0
2671	니콘 Z8 수석 개발자, "니콘 Z8, 플래그십 Z9보다 더 도전적인 카메라" [2]	IT동아	23.05.30	687	2
2670	사고에 취약한 1인 가구, IoT로 극복 가능? [1]	IT동아	23.05.26	1229	2
2669	[리뷰] 소형 TV를 위한 인테리어 스탠드, 카멜마운트 SMB32 이동형 스탠드	IT동아	23.05.26	336	0
2668	[농업이 IT(잇)다] 와일드웨이브 “우리나라만의 사워 맥주 보급” [6]	IT동아	23.05.26	1098	1
2667	음악 감상 경험 높이는 음질·ANC 개인 최적화 기술	IT동아	23.05.26	200	0
2666	가짜뉴스 잡으려는 AI 업계…. 관건은 ‘정확도’ [11]	IT동아	23.05.25	2065	1
2665	‘코로나 특수’ 맞았던 글로벌 게임시장, 왜 중국만 역성장?[K비즈니스 가이드] [21]	IT동아	23.05.25	2009	6
2664	건설 현장 논란 ‘근로자 경력 관리’로 보완한다 [10]	IT동아	23.05.25	1139	3
2663	배달비 인상에 주목받는 ‘배달비 무료 배달앱’ [25]	IT동아	23.05.25	1881	1
2662	샘 워너 IBM 부사장 “효율성, 보안성까지 잡은 IBM 스토리지, 한국 시장에서 호응”	IT동아	23.05.24	192	1
2661	[IT 신상공개] 가장 작고 가벼운 EOS, 캐논 EOS R100	IT동아	23.05.24	1357	0
2660	[농업+IT=스마트팜] 6. 나만의 스마트팜 본격 구축하기 (1)	IT동아	23.05.24	187	0
2659	콘텐츠 소비자, 몰입감 위해 지갑 연다 [3]	IT동아	23.05.24	3089	0
뉴스	‘로드 투 킹덤’ 콘서트, 공연 한 달 앞두고 취소 “부득이한 사정” [전문]	디시트렌드	12.02

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

퓨리오사AI ‘워보이’란 어떤 제품인가?

MLPerf로 살펴보는 워보이 NPU의 성능

소프트웨어 개발 키트(SDK) 배포, 실전에서도 활약 중

근거 있는 자신감, 선택은 시작됐다

▶ '인공지능 각축전'으로 거듭난 컴퓨텍스 2023, 올해 주목받은 기업들은?▶ '인공지능 핵심 기업으로 우뚝···' 컴퓨텍스 2023에서 빛난 엔비디아▶ 메타버스 죽고, AI 빛나고, ESG는 여전…컴퓨텍스에서 확인한 트렌드

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ '인공지능 각축전'으로 거듭난 컴퓨텍스 2023, 올해 주목받은 기업들은?▶ '인공지능 핵심 기업으로 우뚝···' 컴퓨텍스 2023에서 빛난 엔비디아 ▶ 메타버스 죽고, AI 빛나고, ESG는 여전…컴퓨텍스에서 확인한 트렌드