메타, 라마 3 LLM도 오픈소스로 공개··· '시장 장악력 더 높아질 듯'

IT동아 · 2024.04.24 15:50:19

[IT동아 남시현 기자] 메타(前 페이스북)의 오픈소스 대형언어모델(LLM)인 라마(Llama)의 3세대 버전이 지난 18일(현지 시간) 출시됐다. 메타 라마는 2023년 2월에 처음으로 70억, 130억, 330억, 650억 개의 매개변수로 학습된 1세대 버전이 출시됐고, 23년 7월에 70억, 130억, 700억 개 매개변수로 구성된 라마 2세대 버전이 출시됐다. 3세대 버전은 라마 2와 마찬가지로 오픈소스로 제공되며, 상업적 이용도 가능하다.

메타 라마가 주목받는 이유는 누구나 무료로 이용할 수 있는 모델이라서다. 경쟁 기업인 구글의 제미나이(Gemini)도 무료 버전이 있지만, 고성능 버전은 월 19.99달러의 제미나이 어드벤스드를 써야 한다. 앤스로픽의 클로드 3 역시 소네트 모델만 무료고, 오퍼스 모델은 월 20달러 기본료에 토큰 입력 및 출력당 비용을 받는다. GPT 역시 GPT-4 등의 유료 서비스가 이미 절찬리에 쓰인다.

메타가 지난 4월 18일(현지 시간), 메타 라마 3 대형언어모델 8B, 70B 모델을 공개했다 / 출처=메타

메타 역시 1세대 라마는 학계를 대상으로만 오픈소스로 공개했으나, 생태계 확보를 주요 전략으로 변경하면서 두 번째 버전부터 상업적 사용까지 허가됐다. 누구나 제약 없이 활용할 수 있으니 라마를 기반으로 알파카, 비쿠냐, 차이니즈 라마 같은 다양한 파생모델이 탄생했고, 마이크로소프트 애저 및 AWS, 허깅페이스 등의 플랫폼을 통해 전방위적으로 확산했다.

라마 3 8B, 70B 우선 출격, 추후 400B도 공개 예정

이번에 공개된 3세대 모델은 성능이 더 뛰어나다. 라마 3는 8B 및 70B 매개변수 두 모델이 먼저 출시된다. 라마 3는 라마 2의 2조 개 토큰보다 훨씬 많은 15조 개 토큰으로 학습됐고, 7배 더 크고 4배 더 많은 코드를 포함한다. 또한 학습 데이터의 5%가 30개 이상의 비영어 데이터로 구성되고, 대형언어모델의 성능과 관계된 콘텍스트 길이(Context length)도 두 배로 늘어났다. 콘텍스트 길이는 LLM이 한 번에 처리할 수 있는 토큰 수를 의미한다.

라마 3 8B 및 70B 모델과 타사 경쟁 모델과의 성능 비교 / 출처=메타

메타가 공개한 라마 3 성능 분석 자료를 살펴보자. 메타는 라마 3의 모델 성능을 표준화하기 위해 조언 요청, 브레인스토밍, 분류, 폐쇄형 질문 답변, 코딩, 창의적 글쓰기, 추출, 특정 캐릭터 역할극, 공개 질문 답변, 추론, 재작성 및 요약 등 12가지 주요 사용 사례에 대한 1800개의 프롬프트를 생성했고, 이를 처리한 속도를 바탕으로 성능을 비교했다.

그 결과 라마 3 8B는 파이썬 코드 생성과 관련된 HumanEval 테스트에서 젬마 7B 및 미스트랄 7B와 비교해 두 배에 가까운 처리 성능을 보여주었고, 57개의 주제를 통해 보유 지식을 비교하는 MMLU 테스트에서는 68.4점을 획득했다. 동일 테스트에서 젬마 7B는 53.3, 미스트랄 7B는 58.4점을 획득했다.

라마 3 70B 모델은 구글 제미나이 프로 1.5 및 클로드 3에 비해 거의 모든 영역에서 비슷하거나 조금 더 나은 면을 보여주었고, MMLU에서 82점을 획득해 GPT-4의 MMLU 값인 86.4에 근접했다. 다만 수학 성능(MATH)과 대학원 수준의 추론(GPQA)에서는 타 모델보다 조금 성능이 낮았다. 하지만 라마 3는 무료 모델이므로 시장 경쟁력은 절대적으로 우위에 있다.

70B 모델의 경우 타사 모델들과 비교해 긍정적인 응답을 이끌어냈다 / 출처=메타

또한 라마 3 70B 모델과 클로드 소네트, 미스트랄 미디엄, GPT-3.5, 라마2 네 개의 LLM을 놓고, 사람이 직접 선호하는 결과를 선택하게 한 결과도 제시했다. 클로드 3와 라마 3를 비교한 결과에서는 응답자의 52.9%는 라마를, 34.2%는 클로드의 답변을 선호했다. 12.9%는 무승부라고 응답했다. GPT-3.5와의 비교해서는 63.2%가 라마 3를 선택했고, 27.1%만이 GPT-3.5를 선택했다.

추후 공개될 메타 라마 3 400B+ 모델의 대략적인 성능 평가 / 출처=메타

메타는 8B 및 70B 모델에 이어 4000억 개 매개변수로 구성된 400B 모델도 출시할 예정이다. 4월 15일 자로 발표된 400B 모델 성능은 MMLU 벤치마크에서 구글 제미나이 프로의 90점, 클로드 3 오퍼스의 88.2점, GPT-4의 86.8점에 이어 네 번째로 높다. 메타는 라마 3 400B 모델을 개발하고 있고, 훈련이 완료되면 자세한 연구 논문과 함께 공개한다고 밝혔다. 또한 앞으로 몇 달에 걸쳐 다중 모드, 다국어 기능, 콘텍스트 창 확장 등 새로운 기능들을 추가해 나갈 예정이다.

라마 3는 마이크로소프트 애저, 구글 클라우드, AWS는 물론 IBM 왓슨X, 허깅페이스, 캐글, 데이터브릭스, 엔비디아 NIM, 스노플레이크 등의 플랫폼에서 활용할 수 있다. 라마 3-70B는 공개 직후 LLM 평가를 위한 크라우드소싱 개방형 플랫폼 LMSYS 챗봇 아레나 리더보드에서 GPT-4 터보, 클로드 3 오퍼스 등에 이어 5위로 순위가 매겨졌고, 4월 24일 현재 6위에 안착했다.

AI 수혜 확산에 기여 VS 생태계 독점 노린 무료화

메타는 오래전부터 수익성보다 생태계를 먼저 확보하는 전략을 취해왔다. 인스타그램과 페이스북도 초반에는 광고수익보다는 사용자 확보에 열을 올렸고, 왓츠앱을 인수한 이유도 개인용 메신저 생태계를 흡수하기 위해서였다. 지난 23일에는 메타 VR 기기에 탑재되는 ‘메타 호라이즌 OS’를 에이수스, 레노버, 마이크로소프트 등 타사 VR 하드웨어 기업들에게 개방하기로 했다.

이런 ‘퍼주기’가 가능한 이유는 메타의 핵심 수입원인 광고 사업 덕분이다. 메타의 지난해 4분기 실적은 전년 동기대비 25% 증가한 401억 달러(약 54조 9000억 원)였으며, 순이익도 전년 대비 46억 5000만 달러(약 6조 원) 증가한 140억 달러(약 19조 1800억 원)였다. 영업 이익률도 41%나 늘었다. 온라인 광고 시장이 호조세에 접어들며 메타의 수익률은 매 분기 상승하고, 여기서 벌어들인 돈을 생태계 확보에 투입된다.

메타 라마 3 70B 모델이 사용자 평가 차트에서 현재 6위를 기록하고 있다. 라마 3가 무료 모델인 점을 고려하면 대단한 성과다 / 출처=LMSYS

메타가 라마를 오픈소스로 공개한 건 긍정적으로만 볼 수 없다. 앤스로픽, 오픈AI, 구글 등의 경쟁자들도 유료화 없이는 모델 개발 및 운영을 하기 어려울 정도로 많은 비용이 필요하다. 즉 메타가 타사 유료 모델에 맞먹는 LLM을 무료로 제공하는 것 자체가 시장 생태계 확보라는 분명한 이유가 있어서다. 장기적으로 라마의 시장 영향력이 지배적인 수준에 이르면 언제든지 유료화가 될 수 있다. 또한 라마보다 성능이 부족하거나, 자금력이 부족한 기업은 사업을 포기해야 할 처지에 놓인다.

결과적으로 무료 모델의 성능이 높아지는 건 환영할 일이지만, 반대로 AI 생태계 자체가 편협하고 다양성을 잃을 수 있다. 시장에서도 이미 메타의 전략은 잘 알려져 있지만, 무료 모델이라는 유혹은 너무나 매력적이다. 앞으로 메타가 바라는 대로 시장이 흘러갈지, 아니면 또 다른 전개가 이어질지는 지켜봐야 할 일이다.

글 / IT동아 남시현 (sh@itdong.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	여론 선동에 잘 휘둘릴 것 같은 스타는?	운영자	24/12/16	-	-
3883	전기차 캐즘에도 정면 돌파 택한 ‘현대차그룹’	IT동아	06.04	163	0
3882	"AI PC 시대, 피처폰에서 스마트폰 전환만큼 혁명적 도약" [1]	IT동아	06.03	740	1
3881	韓 자동차 등대공장 0개...제조공정 혁신 시급	IT동아	06.03	186	0
3880	3세대 라이젠 AIㆍ라이젠 9000 시리즈, AMD 새 CPU 제품군 대거 공개 [7]	IT동아	06.03	765	1
3879	6월부터 달라진 통신3사 요금·혜택 살펴보니 [1]	IT동아	06.03	1608	0
3878	[정구태의 디지털자산 리터러시] 1. 지금 당신이 디지털자산에 관심을 가져야할 이유	IT동아	06.03	163	0
3877	[주간투자동향] 벤디트, 80억 원 규모 프리 시리즈A 투자 유치	IT동아	06.03	803	2
3876	여름철 필수품 '선풍기', 용도·기능에 맞춰 고르는 법! [이럴땐 이렇게!]	IT동아	06.03	199	0
3875	블랙웰 다음 루빈, 엔비디아 차기 인공지능 가속 플랫폼 공개 [2]	IT동아	06.03	2106	1
3874	베일에 싸였던 구글의 '검색 알고리즘'…유출 문건으로 실체 드러나	IT동아	05.31	242	0
3873	가비아, 한국마사회에 클라우드 PC ‘가비아 DaaS’ 공급	IT동아	05.31	194	0
3872	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 13	IT동아	05.31	209	0
3871	외산 솔루션 가격 인상, 국산 가상화 시장 훈풍 기대	IT동아	05.31	187	0
3870	[리뷰] 게이밍-홈시네마 넘나드는 전천후 빔프로젝터, 뷰소닉 LX700-4K	IT동아	05.31	1250	1
3869	[생성 AI 길라잡이] 1분 만에 영상·이미지 제작 ‘브이캣’ [2]	IT동아	05.31	5358	5
3868	[농업이 IT(잇)다] 실내 수직형 스마트팜으로 생산량 극대화하는 ‘플랜티팜’ [1]	IT동아	05.31	574	0
3867	페라리 DNA 담은 12기통 2인승 '12 칠린드리'…아시아 최초 공개	IT동아	05.30	232	0
3866	블랙웰에 FOPLP 조기 도입 고려 중인 엔비디아, 미세공정 넘어 생산 경쟁 유도하나?	IT동아	05.30	260	0
3865	북블라 “창업의 꿈, 가천대 코코네스쿨에서 이뤄”	IT동아	05.30	217	0
3864	스페이스앤빈 “뉴스페이스로의 전환, 상용 부품 적용 물꼬부터 터야”	IT동아	05.30	164	0
3863	[리뷰] AFMF로 가성비 게이밍 환경 구축, AMD 라데온 RX 7700 XT [8]	IT동아	05.30	5916	5
3862	[스타트업 첫걸음] 스타트업, 창업 아이디어는 어떻게 시작할까	IT동아	05.30	169	0
3861	KT클라우드, 엔비디아 GPU 기반 학습 서비스 'AI Train' 출시	IT동아	05.30	147	0
3860	캐딜락, 브랜드 최초 순수 전기 SUV ‘리릭’ 출시 [2]	IT동아	05.30	570	1
3859	SBA 유망 스타트업의 면모 확인, ‘2024 연합 데모데이’ 이모저모	IT동아	05.29	138	0
3858	AI 구심점으로 떠오른 '컴퓨텍스', 올해 주목할만한 기업 별 소식은? [2]	IT동아	05.29	541	0
3857	[IT애정남] 로봇청소기 고를 때 고려할 점은?	IT동아	05.29	933	0
3856	두루·무의 “모두의1층이니셔티브로 장애 인식·접근성 개선”	IT동아	05.29	134	0
3855	[자동차와 法] 음주운전 시 위드마크 공식 적용의 문제점에 대하여	IT동아	05.28	943	0
3854	[신차공개] 기아 'EV3'·벤틀리 '더 뉴 컨티넨탈 GT' 론칭 예고	IT동아	05.28	167	0
3853	[뉴스줌인] 내연기관차 이어 전기차 찍은 LG전자 웹OS, 다음 목표는?	IT동아	05.28	239	0
3852	글로벌 가상자산 정책 동향 ‘제도 틀 안에서 규제 공백 보완’	IT동아	05.28	148	0
3851	샥즈, 오픈스윔 프로·오픈핏 에어 출시···오픈형 이어폰 1위 입지 굳힌다	IT동아	05.28	305	0
3850	서울과기대의 제조창업 지원, '밀도있는 심화 과정'으로 민다	IT동아	05.28	163	0
3849	아직도 안 찾고 쌓이는 숨은 보험금, 이 기회에 찾아볼까? [1]	IT동아	05.27	1139	0
3848	자동차 에어컨 필터 고를 땐 이렇게! [이럴땐 이렇게!]	IT동아	05.27	1025	0
3847	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 12	IT동아	05.26	218	0
3846	[자동차 디자人] 英 오프로더 SUV ‘그레나디어’ 디자이너 ‘토비 이큐어’	IT동아	05.24	260	0
3845	가상자산 시장 ‘거래량·수익 상승, 원화·코인 마켓 격차 뚜렷’	IT동아	05.24	234	0
3844	[농업이 IT(잇)다] 전통주로 과거ㆍ현재ㆍ미래를 잇는 나루 되겠다, 한강주조 고성용 대표	IT동아	05.24	244	1
3843	[IT하는법] 잘 사용하지 않는 MS 원드라이브, 사용 해제하는 방법 [4]	IT동아	05.24	5715	1
3842	‘천비디아’ 달성한 엔비디아, 독주할까? 반도체주와 함께할까?	IT동아	05.24	228	0
3841	SEC, 이더리움 현물 ETF 승인 “증권거래법 요건 충족”	IT동아	05.24	254	0
3840	벤처 투자 80%가 수도권 편중··· '투자 해결사'로 나선 부산창경	IT동아	05.24	238	0
3839	국내 통신3사 모두 "이제 우리는 AI 기업" [16]	IT동아	05.23	2347	1
3838	[IT애정남] 갤럭시 '생성형 편집', 어떻게 해야 잘 될까요?	IT동아	05.23	439	0
3837	즉석 카메라로 이런 ‘손맛’이? ‘인스탁스 미니 99’ 출시	IT동아	05.23	313	0
3836	스타트업 해외 진출 시 알아야 할 정보 공유 ‘라이징 스타트업 콘서트4’	IT동아	05.23	336	0
3835	[IT애정남] 해외 구매폰에 국내 유심 쓰는데 음성 통화 안되면? [1]	IT동아	05.23	1200	3
3834	퀄컴, 코파일럿+ PC 등장에 'AI 허브 및 개발 도구'로 지원 사격	IT동아	05.23	251	0
뉴스	오늘(18일) 첫 방송 '수상한 그녀' 김해숙, 김병옥과 수상한 만남...궁금증 고조	디시트렌드	10:00

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

라마 3 8B, 70B 우선 출격, 추후 400B도 공개 예정

AI 수혜 확산에 기여 VS 생태계 독점 노린 무료화

▶ 넥스트페이먼츠 “한국의 홍익인간 정신, 오픈AI 설립 이념과 판박이”▶ AI 품은 LG전자 에어컨, 판매량 청신호▶ [생성 AI 길라잡이] 전문 지식 없어도 음원 제작 거뜬 ‘AI 작곡’

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ 넥스트페이먼츠 “한국의 홍익인간 정신, 오픈AI 설립 이념과 판박이”▶ AI 품은 LG전자 에어컨, 판매량 청신호 ▶ [생성 AI 길라잡이] 전문 지식 없어도 음원 제작 거뜬 ‘AI 작곡’