엔비디아, PC용 개인 AI 챗봇 'Chat with RTX' 출시

GPT매거진 갤러리

1/3

낭만낭만 수제 초콜릿 못 받아서 실망한 남학생 https://www.youtube.com/watch?v=haceXrrm-LU여름... 이었다 - dc official App 작성자 : 산책

엔비디아, PC용 개인 AI 챗봇 'Chat with RTX' 출시

GPTMAGAZINE

2024.02.14 14:21:33

조회 1101 추천 1 댓글 5

🔼 개인 AI 챗봇 'Chat with RTX'로 데이터 분석 간소화

🔼 PC 기반 개인화된 AI 대화 서비스

🔼 사용자 데이터 분석을 위한 강력한 AI 챗봇 도구로 등장

Nvidia가 오늘 'Chat with RTX'의 초기 버전을 공개했다. 이는 사용자의 PC에서 직접 동작하는 개인 AI 챗봇 데모 앱으로, YouTube 비디오 및 개인 문서를 분석하여 요약하고 관련 답변을 제공한다. 이 모든 과정은 사용자의 PC에서 로컬로 진행되며, RTX 30- 또는 40-시리즈 GPU와 최소 8GB의 VRAM이 필요하다.

한 기자는 지난 하루 동안 'Chat with RTX'를 짧게 테스트하며, 앱이 아직 초기 단계이긴 하지만, 데이터 연구에 있어 가치 있는 도구가 될 수 있음을 확인했다. 특히, YouTube 비디오의 URL을 입력하여 특정 언급을 검색하거나 전체 비디오를 요약할 수 있어, 비디오 팟캐스트를 통한 정보 검색에 이상적이라 평가했다.

그러나 YouTube 비디오 검색 기능에는 완벽하지 않은 부분이 있었다. 특정 Verge YouTube 비디오의 대본을 검색하려 했으나, 완전히 다른 비디오의 대본을 다운로드하는 오류가 발생했다. 이는 분명 초기 데모 버전의 버그 중 하나로 보인다.

그럼에도 불구하고, 정상 작동했을 때는 비디오 내 참조를 몇 초 안에 찾을 수 있었다. 기자는 FTC 대 Microsoft 사건 문서 데이터셋을 'Chat with RTX'로 분석했으며, 이를 통해 지난해 법정 사건을 커버하며 다수의 문서를 신속히 검색하는 데 도움을 받았다고 한다.

예를 들어, 챗봇은 Microsoft의 Xbox Game Pass 전략을 내부 문서를 통해 요약하는 데 뛰어난 성과를 보였다. Xbox Game Pass는 게이머가 어디서나 게임을 할 수 있게 하고, 게임 출판사가 플레이어에게 도달할 수 있는 플랫폼으로, Project xCloud와 Xbox Series X를 지원하며, 출판사가 게임을 수익화할 수 있는 기회를 제공한다. 주요 전략 목표는 Xbox Game Pass를 확대하는 것이며, 전 세계적으로 7억 5천만 명의 구독자를 목표로 하고 있다.

또한, PDF 문서를 통한 데이터 팩트 체크에도 유용하게 사용되었다. Microsoft의 Copilot 시스템은 Word 내에서 PDF를 잘 다루지 못하지만, Nvidia의 'Chat with RTX'는 문제없이 모든 핵심 정보를 추출했다. 응답 속도는 거의 즉각적이며, 클라우드 기반의 ChatGPT나 Copilot 챗봇을 사용할 때 보통 경험하는 지연이 없었다.

'Chat with RTX'의 주요 단점은 이른 개발자 데모 버전 같은 느낌이라는 것이다. 이 앱은 PC에 웹 서버와 Python 인스턴스를 설치하며, 사용자가 입력한 데이터를 쿼리하기 위해 Mistral 또는 Llama 2 모델을 활용한다. 이후 Nvidia의 Tensor 코어를 사용하는 RTX GPU를 통해 쿼리 속도를 높인다.

앱 설치는 약 30분이 걸렸으며, 앱 크기는 거의 40GB에 달했다. 한 번 실행되면, 사용자는 브라우저를 통해 'Chat with RTX'에 접근할 수 있으며, 백그라운드에서는 처리되는 내용과 오류 코드가 명령 프롬프트를 통해 출력된다.

Nvidia는 이를 모든 RTX 사용자가 즉시 다운로드하고 설치해야 할 완성된 앱으로 제공하지는 않는다. 알려진 문제와 제한 사항이 있으며, 출처 인용의 정확성에 문제가 있을 수 있다. 또한 처음에 25,000개 문서를 인덱싱하려 했을 때 앱이 충돌하는 문제가 발생했고, 설정을 초기화해야 했다.

'Chat with RTX'는 이전 질문의 맥락을 기억하지 못하므로, 후속 질문은 이전 질문의 맥락을 기반으로 할 수 없다. 또한 인덱싱하는 폴더 내에 JSON 파일을 생성하므로, Windows의 전체 문서 폴더에 사용하는 것은 권장하지 않는다.

Nvidia는 이 기술 데모를 통해 PC에서 로컬로 AI 챗봇이 할 수 있는 일의 가능성을 보여주었다. 특히 개인 파일을 분석하기 위해 Copilot Pro나 ChatGPT Plus와 같은 서비스에 구독할 필요가 없는 사용자에게 유용할 것으로 보인다.

◎GPT매거진 (https://www.gptmagazine.net)
지피티 기자 : gptmagazinebiz@gmail.com
카카오 오픈채팅방 : https://open.kakao.com/o/gLI8Wetf
페이스북 그룹 : https://www.facebook.com/groups/392367786704067

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	SNS로 싸우면 절대 안 질 것 같은 고집 있는 스타는?	운영자	24/05/06	-	-
315	애플, 1100억 달러 규모 자사주 매입 결정.. AI 탑재 신제품 예고 [5]	GPTMAGAZINE	05.03	5382	3
314	애플, AI 개발 위해 스위스에 비공개 연구소 구축 [4]	GPTMAGAZINE	05.02	1813	3
313	SKT, 통신 분야 최적화된 'AI 멀티엔진' 개발 착수	GPTMAGAZINE	05.02	116	0
312	마이크로소프트, AI 전력 확보 위해 재생에너지에 14조 투자 [5]	GPTMAGAZINE	05.02	5201	4
311	깃허브, 개발자의 코드 작성부터 테스트까지 지원하는 AI 발표 [3]	GPTMAGAZINE	04.30	2499	3
310	인텔, 삼성, 네이버의 연합으로 새로운 AI 생태계의 출범 [36]	GPTMAGAZINE	04.29	5558	19
309	메타, ‘라마 3’ 와 ‘메타 AI’ 오픈소스 공개 [6]	GPTMAGAZINE	04.25	2607	1
308	어도비, 창의적 AI 모델인 'Firefly Image 3' 공개 [14]	GPTMAGAZINE	04.24	5685	2
307	업스테이지, 1000억 원 투자 유치로 글로벌 AI 시장 진출 가속화 [3]	GPTMAGAZINE	04.23	2136	1
306	일본 소프트뱅크, '챗GPT 잡기' 위한 통큰 투자 전략 공개 [13]	GPTMAGAZINE	04.23	5516	7
305	중국 바이두, 챗GPT 넘어서기 위한 대규모 개발 도전	GPTMAGAZINE	04.23	262	0
304	영국 작가협회, 번역 AI로 인한 번역가 일자리 감소 및 소득 하락 [16]	GPTMAGAZINE	04.23	2842	7
303	텐센트AI, 3조 토큰의 파워로 오픈AI 압도하나 [3]	GPTMAGAZINE	04.22	2245	0
302	마이크로소프트, 사람 얼굴 이미지를 말하는 동영상으로 변환 [14]	GPTMAGAZINE	04.22	6668	6
301	구글, 코카콜라와 로레알 AI광고 파트너십 체결	GPTMAGAZINE	04.15	1984	1
300	구글 , 신형 ‘제미나이 1.5 프로' 도입으로 개발시간 40% 단축	GPTMAGAZINE	04.11	597	3
299	오픈AI, 챗GPT 내 DALL-E 이미지 편집 기능 업데이트 발표 [1]	GPTMAGAZINE	04.04	4776	3
295	챗GPT 이제 계정 없이도 자유롭게! 오픈AI의 대대적 접근성 향상 전략 [5]	GPTMAGAZINE	04.03	6268	9
294	오픈AI, 이달 일본 도쿄에 아시아 첫 거점 개설 [6]	GPTMAGAZINE	04.02	1119	5
293	MS-오픈AI, 슈퍼컴퓨터 구축에 135조 원 투자 [5]	GPTMAGAZINE	04.01	4949	9
292	실리콘밸리 최상급 AI 전문가, 연봉 13억 이상으로 급상승	GPTMAGAZINE	03.28	1414	2
291	오픈AI, Sora를 통한 크리에이터들의 첫 작품 공개 [4]	GPTMAGAZINE	03.27	1229	2
290	청소년, 음란 AI 챗봇에 쉽게 접근 무방비 노출 [39]	GPTMAGAZINE	03.26	2675	0
289	애플, 바이두 AI 기술 도입 검토 [31]	GPTMAGAZINE	03.26	2698	11
288	오픈AI, 새로운 AI 음성 비서 출시 예정 [6]	GPTMAGAZINE	03.25	4885	0
287	블랙웰의 등장과 AI의 확장, 기독교적 복음의 전달 [1]	GPTMAGAZINE	03.22	576	0
286	오픈AI, GPT-5 올 여름 출시 예정 [11]	GPTMAGAZINE	03.21	3161	9
285	애플, 구글과 차세대 아이폰에 생성 AI 탑재를 위한 협력 모색 [8]	GPTMAGAZINE	03.20	4735	4
284	xAI, 새로운 AI 모델 Grok-1 발표 [2]	GPTMAGAZINE	03.18	1063	0
283	MS, 전 세계 코파일럿 프로 출시와 함께 1개월 무료 체험 제공 [18]	GPTMAGAZINE	03.15	5450	5
282	오픈AI, 소라AI 올해 안에 공개 예정 [18]	GPTMAGAZINE	03.14	2735	4
281	국내 AI 대체 가능 일자리 327만개…60%는 전문직 집중 포진 [27]	GPTMAGAZINE	03.13	2100	5
280	일론 머스크, xAI의 챗봇 '그록' 오픈소스로 공개 예정 [15]	GPTMAGAZINE	03.12	4989	6
279	가상 인간 아나운서, 제주도 뉴스 새 얼굴로 등장	GPTMAGAZINE	03.12	439	1
278	검찰, ‘AI수사관’ 도입 예정 [26]	GPTMAGAZINE	03.07	6001	5
277	마이크로소프트 코파일럿, 파일 분석 기능 서비스 [11]	GPTMAGAZINE	03.05	42923	5
276	챗GPT, 음성으로 답변한다 [4]	GPTMAGAZINE	03.05	2261	1
275	구글, 신규 AI 모델 '젬마' 공개 [15]	GPTMAGAZINE	02.28	2144	2
274	MS, 코파일럿 한글판 출시 앞당겨... [1]	GPTMAGAZINE	02.26	5314	6
273	오픈AI, ChatGPT 플러그인 베타 종료 발표 [3]	GPTMAGAZINE	02.26	3035	0
272	스테이블 디퓨전 3 출시 예정 [4]	GPTMAGAZINE	02.23	3100	4
271	북한 해커, AI 사용해 가상화폐 거래소 공격 확대 [5]	GPTMAGAZINE	02.20	5317	7
270	AI가 만든 아이스크림, 배스킨라빈스의 새로운 도전 [12]	GPTMAGAZINE	02.19	2724	2
269	법조계를 혁신하는 AI 기술, 법률 분야에 새로운 가능성 제시 [9]	GPTMAGAZINE	02.19	2467	3
268	구글, 차세대 AI 모델 'Gemini 1.5' 발표	GPTMAGAZINE	02.16	515	1
267	오픈AI, 텍스트를 통해 비디오 생성하는 AI 모델 'Sora' 발표 [5]	GPTMAGAZINE	02.16	1648	1
266	애플의 새로운 AI 도구 '키프레이머' [9]	GPTMAGAZINE	02.15	2254	1
	엔비디아, PC용 개인 AI 챗봇 'Chat with RTX' 출시 [5]	GPTMAGAZINE	02.14	1101	1
264	오픈AI, 챗GPT에 '기억력' 추가로 '제미나이 울트라'에 대응 [4]	GPTMAGAZINE	02.14	1106	1
263	AI의 진화, 이제는 뉴스 앵커도 인공지능 시대 [26]	GPTMAGAZINE	02.14	3017	4