메타, 라마 3 LLM도 오픈소스로 공개··· '시장 장악력 더 높아질 듯'

IT동아 · 2024.04.24 15:50:19

[IT동아 남시현 기자] 메타(前 페이스북)의 오픈소스 대형언어모델(LLM)인 라마(Llama)의 3세대 버전이 지난 18일(현지 시간) 출시됐다. 메타 라마는 2023년 2월에 처음으로 70억, 130억, 330억, 650억 개의 매개변수로 학습된 1세대 버전이 출시됐고, 23년 7월에 70억, 130억, 700억 개 매개변수로 구성된 라마 2세대 버전이 출시됐다. 3세대 버전은 라마 2와 마찬가지로 오픈소스로 제공되며, 상업적 이용도 가능하다.

메타 라마가 주목받는 이유는 누구나 무료로 이용할 수 있는 모델이라서다. 경쟁 기업인 구글의 제미나이(Gemini)도 무료 버전이 있지만, 고성능 버전은 월 19.99달러의 제미나이 어드벤스드를 써야 한다. 앤스로픽의 클로드 3 역시 소네트 모델만 무료고, 오퍼스 모델은 월 20달러 기본료에 토큰 입력 및 출력당 비용을 받는다. GPT 역시 GPT-4 등의 유료 서비스가 이미 절찬리에 쓰인다.

메타가 지난 4월 18일(현지 시간), 메타 라마 3 대형언어모델 8B, 70B 모델을 공개했다 / 출처=메타

메타 역시 1세대 라마는 학계를 대상으로만 오픈소스로 공개했으나, 생태계 확보를 주요 전략으로 변경하면서 두 번째 버전부터 상업적 사용까지 허가됐다. 누구나 제약 없이 활용할 수 있으니 라마를 기반으로 알파카, 비쿠냐, 차이니즈 라마 같은 다양한 파생모델이 탄생했고, 마이크로소프트 애저 및 AWS, 허깅페이스 등의 플랫폼을 통해 전방위적으로 확산했다.

라마 3 8B, 70B 우선 출격, 추후 400B도 공개 예정

이번에 공개된 3세대 모델은 성능이 더 뛰어나다. 라마 3는 8B 및 70B 매개변수 두 모델이 먼저 출시된다. 라마 3는 라마 2의 2조 개 토큰보다 훨씬 많은 15조 개 토큰으로 학습됐고, 7배 더 크고 4배 더 많은 코드를 포함한다. 또한 학습 데이터의 5%가 30개 이상의 비영어 데이터로 구성되고, 대형언어모델의 성능과 관계된 콘텍스트 길이(Context length)도 두 배로 늘어났다. 콘텍스트 길이는 LLM이 한 번에 처리할 수 있는 토큰 수를 의미한다.

라마 3 8B 및 70B 모델과 타사 경쟁 모델과의 성능 비교 / 출처=메타

메타가 공개한 라마 3 성능 분석 자료를 살펴보자. 메타는 라마 3의 모델 성능을 표준화하기 위해 조언 요청, 브레인스토밍, 분류, 폐쇄형 질문 답변, 코딩, 창의적 글쓰기, 추출, 특정 캐릭터 역할극, 공개 질문 답변, 추론, 재작성 및 요약 등 12가지 주요 사용 사례에 대한 1800개의 프롬프트를 생성했고, 이를 처리한 속도를 바탕으로 성능을 비교했다.

그 결과 라마 3 8B는 파이썬 코드 생성과 관련된 HumanEval 테스트에서 젬마 7B 및 미스트랄 7B와 비교해 두 배에 가까운 처리 성능을 보여주었고, 57개의 주제를 통해 보유 지식을 비교하는 MMLU 테스트에서는 68.4점을 획득했다. 동일 테스트에서 젬마 7B는 53.3, 미스트랄 7B는 58.4점을 획득했다.

라마 3 70B 모델은 구글 제미나이 프로 1.5 및 클로드 3에 비해 거의 모든 영역에서 비슷하거나 조금 더 나은 면을 보여주었고, MMLU에서 82점을 획득해 GPT-4의 MMLU 값인 86.4에 근접했다. 다만 수학 성능(MATH)과 대학원 수준의 추론(GPQA)에서는 타 모델보다 조금 성능이 낮았다. 하지만 라마 3는 무료 모델이므로 시장 경쟁력은 절대적으로 우위에 있다.

70B 모델의 경우 타사 모델들과 비교해 긍정적인 응답을 이끌어냈다 / 출처=메타

또한 라마 3 70B 모델과 클로드 소네트, 미스트랄 미디엄, GPT-3.5, 라마2 네 개의 LLM을 놓고, 사람이 직접 선호하는 결과를 선택하게 한 결과도 제시했다. 클로드 3와 라마 3를 비교한 결과에서는 응답자의 52.9%는 라마를, 34.2%는 클로드의 답변을 선호했다. 12.9%는 무승부라고 응답했다. GPT-3.5와의 비교해서는 63.2%가 라마 3를 선택했고, 27.1%만이 GPT-3.5를 선택했다.

추후 공개될 메타 라마 3 400B+ 모델의 대략적인 성능 평가 / 출처=메타

메타는 8B 및 70B 모델에 이어 4000억 개 매개변수로 구성된 400B 모델도 출시할 예정이다. 4월 15일 자로 발표된 400B 모델 성능은 MMLU 벤치마크에서 구글 제미나이 프로의 90점, 클로드 3 오퍼스의 88.2점, GPT-4의 86.8점에 이어 네 번째로 높다. 메타는 라마 3 400B 모델을 개발하고 있고, 훈련이 완료되면 자세한 연구 논문과 함께 공개한다고 밝혔다. 또한 앞으로 몇 달에 걸쳐 다중 모드, 다국어 기능, 콘텍스트 창 확장 등 새로운 기능들을 추가해 나갈 예정이다.

라마 3는 마이크로소프트 애저, 구글 클라우드, AWS는 물론 IBM 왓슨X, 허깅페이스, 캐글, 데이터브릭스, 엔비디아 NIM, 스노플레이크 등의 플랫폼에서 활용할 수 있다. 라마 3-70B는 공개 직후 LLM 평가를 위한 크라우드소싱 개방형 플랫폼 LMSYS 챗봇 아레나 리더보드에서 GPT-4 터보, 클로드 3 오퍼스 등에 이어 5위로 순위가 매겨졌고, 4월 24일 현재 6위에 안착했다.

AI 수혜 확산에 기여 VS 생태계 독점 노린 무료화

메타는 오래전부터 수익성보다 생태계를 먼저 확보하는 전략을 취해왔다. 인스타그램과 페이스북도 초반에는 광고수익보다는 사용자 확보에 열을 올렸고, 왓츠앱을 인수한 이유도 개인용 메신저 생태계를 흡수하기 위해서였다. 지난 23일에는 메타 VR 기기에 탑재되는 ‘메타 호라이즌 OS’를 에이수스, 레노버, 마이크로소프트 등 타사 VR 하드웨어 기업들에게 개방하기로 했다.

이런 ‘퍼주기’가 가능한 이유는 메타의 핵심 수입원인 광고 사업 덕분이다. 메타의 지난해 4분기 실적은 전년 동기대비 25% 증가한 401억 달러(약 54조 9000억 원)였으며, 순이익도 전년 대비 46억 5000만 달러(약 6조 원) 증가한 140억 달러(약 19조 1800억 원)였다. 영업 이익률도 41%나 늘었다. 온라인 광고 시장이 호조세에 접어들며 메타의 수익률은 매 분기 상승하고, 여기서 벌어들인 돈을 생태계 확보에 투입된다.

메타 라마 3 70B 모델이 사용자 평가 차트에서 현재 6위를 기록하고 있다. 라마 3가 무료 모델인 점을 고려하면 대단한 성과다 / 출처=LMSYS

메타가 라마를 오픈소스로 공개한 건 긍정적으로만 볼 수 없다. 앤스로픽, 오픈AI, 구글 등의 경쟁자들도 유료화 없이는 모델 개발 및 운영을 하기 어려울 정도로 많은 비용이 필요하다. 즉 메타가 타사 유료 모델에 맞먹는 LLM을 무료로 제공하는 것 자체가 시장 생태계 확보라는 분명한 이유가 있어서다. 장기적으로 라마의 시장 영향력이 지배적인 수준에 이르면 언제든지 유료화가 될 수 있다. 또한 라마보다 성능이 부족하거나, 자금력이 부족한 기업은 사업을 포기해야 할 처지에 놓인다.

결과적으로 무료 모델의 성능이 높아지는 건 환영할 일이지만, 반대로 AI 생태계 자체가 편협하고 다양성을 잃을 수 있다. 시장에서도 이미 메타의 전략은 잘 알려져 있지만, 무료 모델이라는 유혹은 너무나 매력적이다. 앞으로 메타가 바라는 대로 시장이 흘러갈지, 아니면 또 다른 전개가 이어질지는 지켜봐야 할 일이다.

글 / IT동아 남시현 (sh@itdong.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	나라가 위기에 처하면 가장 먼저 나설 것 같은 스타는?	운영자	24/12/09	-	-
3765	[시승기] 마세라티와 스트릿 패션의 만남…‘기블리 프라그먼트 에디션’ [11]	IT동아	05.03	1274	1
3764	빗썸 “편의성 개선 프로젝트로 한층 편하고 안전해졌습니다”	IT동아	05.03	253	0
3763	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 9 [2]	IT동아	05.03	706	3
3762	금감원·DAXA, 가상자산 투자사기 예방 위해 종합 홍보 나선다	IT동아	05.02	237	0
3761	韓 진출 앞둔 中 패션 플랫폼 쉬인, '자본력보다 노련한 유통 전략 세워야'	IT동아	05.02	281	0
3760	'협동로봇'으로 효율 제고 나선 車 업계 [2]	IT동아	05.02	664	1
3759	KT클라우드 "파트너 생태계 강화로 시장 전체 파이 키울 것" [1]	IT동아	05.02	967	0
3758	서울시·KB증권·모두의1층이니셔티브 이동약자 접근성 높인다	IT동아	05.02	195	0
3757	[리뷰] 해외 직구 초저가 디지털 제품, 쓸 만할까?	IT동아	04.30	349	0
3756	[자동차와 法] 배기량 기준 자동차세 부과의 문제점	IT동아	04.30	250	0
3755	[자동차 디자人] 벤틀리 코리아 에디션 그려낸 추상화가 ‘하태임’	IT동아	04.30	305	0
3754	HP, AI로 비용∙속도∙보안성까지 개선한 ‘AI PC’ 제품군 공개	IT동아	04.30	249	0
3753	[마인드테크 시대가 온다] 8. 모두가 행복한 사회를 위하여	IT동아	04.30	246	0
3752	[KESIA 시드팁스] 벳플레이스 "수의사가 만든, 수의사를 위한 플랫폼입니다"	IT동아	04.30	207	0
3751	마이크로소프트 ‘코파일럿 한국어 지원’ 앞세워 국내 인공지능 서비스 지원 강화 나선다	IT동아	04.30	217	0
3750	AWS, '전략적 협업 계약'으로 클라우드 동맹 늘린다	IT동아	04.30	4610	1
3749	클레이튼·핀시아, 통합 브랜드 ‘카이아’ 공개···프로젝트 합병도 순조로워	IT동아	04.30	281	0
3748	인공지능 서비스 기업의 투자 확대, 시장 흐름은?	IT동아	04.29	209	0
3747	자동차 번호판 교체를 원한다면, 가능한 조건 확인하기! [이럴땐 이렇게!] [5]	IT동아	04.29	1520	0
3746	[스타트업-ing] CIT “ASE 증착 기술, 다양한 활용도에 국내외 산업계 주목”	IT동아	04.29	216	0
3745	[생성 AI 길라잡이] ‘정부용 생성 AI’ 활용 방안 살펴보니	IT동아	04.26	305	0
3744	[리뷰] 10G SFP+ 지원 비관리형 이더넷 스위치, 넷기어 GS108X	IT동아	04.26	278	0
3743	[농업이 IT(잇)다] “농가와 기업, 구성원과 함께 성장하고 싶어” 강경훈 키움바이오 대표 [1]	IT동아	04.26	1316	0
3742	서울과기대 창업지원단, 예창패·초창패 기업 지원 '선순환' 만든다	IT동아	04.26	271	0
3741	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 8	IT동아	04.25	508	0
3740	써드웍스, 신규 수입 상품 소싱 위한 ‘수입상품 소싱 플랫폼’ 선보여	IT동아	04.25	270	0
3739	[리뷰] 미국/영국 청소기 시장 1등 '샤크'의 무선 진공청소기 '클린 센스 IQ+' [2]	IT동아	04.25	2188	0
3738	퀄컴, '스냅드래곤 X 플러스'로 라인업 확장··· AI PC 시장 정조준	IT동아	04.25	266	0
3737	[KESIA 시드팁스] 디써클, AI 기반 R&D 플랫폼 ‘알앤디써클’로 전 세계 기업과 연구간 가교 꿈꾼다	IT동아	04.24	294	0
3736	TG삼보, 인포플라와 AI 분야 MOU 체결	IT동아	04.24	251	0
	메타, 라마 3 LLM도 오픈소스로 공개··· '시장 장악력 더 높아질 듯'	IT동아	04.24	271	0
3734	더길, 상위 10% 프리미엄 셀러 위한 지원 솔루션 선보인다	IT동아	04.24	4504	0
3733	카파바이오사이언스, 신소재 ‘Vita-SPMD’ 글로벌 시장 공급 발판 마련	IT동아	04.24	231	0
3732	플러스닷, NIPA 호치민IT지원센터 2024년 입주기업에 선정	IT동아	04.24	262	0
3731	교수창업기업 ‘럭스바이옴’, 마이크로바이옴 기반 신제품 출시 임박	IT동아	04.24	244	0
3730	‘체계적인 e스포츠 대면 강의 제공할 것’ 게임프로, e스포츠 오프라인 강의실 5월 말 개소 [9]	IT동아	04.24	2281	2
3729	삼성전자, 업계 최초 '9세대 V낸드' 양산	IT동아	04.23	326	0
3728	[스타트업-ing] 더길 “e커머스 초보자도 ‘상생’하며 함께 성장하는 플랫폼”	IT동아	04.23	219	0
3727	세일즈포스, '데이터, AI, CRM, 신뢰가 디지털 혁신의 열쇠'	IT동아	04.23	225	0
3726	윌리엄앤코, 영유아 영어교육 키트 ‘텔리’ 조달청 등록 추진	IT동아	04.23	220	0
3725	시향 플랫폼 기업 ‘퍼퓸투데이’…BM 확장 및 투자 유치 나서 [1]	IT동아	04.23	1933	0
3724	[IT신상공개] 실시간 온체인 데이터 분석·시각화로 업무 효율 높인다, 쟁글ERP	IT동아	04.23	4571	0
3723	안창욱 GIST AI연구소장 “이노디테크 AI 시스템, 합성형 AI로 구축했습니다”	IT동아	04.23	221	0
3722	CRT게임즈, 서울과기대 초기창업패키지 최우수 기업 선정	IT동아	04.23	223	0
3721	[리뷰] 애플 M3로 실성능 끌어올린 '애플 맥북에어 13'	IT동아	04.22	676	0
3720	[시승기] 브랜드 첫 쿠페형 SUV…’제네시스 GV80 쿠페’	IT동아	04.22	220	0
3719	IBM “ESG 솔루션으로 지속가능성·비즈니스 성과 높인다”	IT동아	04.22	372	0
3718	[리뷰] ‘AI 시대’가 낳은 차세대 TV, 2024 LG 올레드 evo G4 [3]	IT동아	04.22	1649	1
3717	오렌지바이오메드, 품질경영시스템 ISO 9001 인증 획득	IT동아	04.22	185	0
3716	[주간투자동향] 비즈플레이, 30억 원 규모 전략적 투자 유치	IT동아	04.22	181	0
뉴스	뮤직카우, ‘너 탄생곡은 머니?’ 이벤트 진행	디시트렌드	10:00

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

라마 3 8B, 70B 우선 출격, 추후 400B도 공개 예정

AI 수혜 확산에 기여 VS 생태계 독점 노린 무료화

▶ 넥스트페이먼츠 “한국의 홍익인간 정신, 오픈AI 설립 이념과 판박이”▶ AI 품은 LG전자 에어컨, 판매량 청신호▶ [생성 AI 길라잡이] 전문 지식 없어도 음원 제작 거뜬 ‘AI 작곡’

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ 넥스트페이먼츠 “한국의 홍익인간 정신, 오픈AI 설립 이념과 판박이”▶ AI 품은 LG전자 에어컨, 판매량 청신호 ▶ [생성 AI 길라잡이] 전문 지식 없어도 음원 제작 거뜬 ‘AI 작곡’