디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

내 PC에 인공지능이? 엔비디아 ‘Chat With RTX’ 써보니

IT동아갤로그로 이동합니다. 2024.02.22 22:50:36
조회 102 추천 0 댓글 0
[IT동아 강형석 기자] 지난 14일, 엔비디아는 윈도우 PC 시스템 내에서 사용 가능한 챗봇, 챗 위드 알티엑스(Chat With RTX)를 공개했다. 이 소프트웨어는 개인 맞춤형 인공지능(AI) 챗봇이라 강조한다. 시스템 내 문서와 메모, 동영상, 그 외 데이터를 인공지능이 인지하고 차후 검색했을 때 즉시 결과를 내놓는 형태다.

엔비디아는 대규모 언어 모델 기반 생성적 사전학습 변환기(GPT LLM)를 개인화할 수 있는 앱이라고 말한다. 상용화된 것은 아니고 일부 기능을 쓸 수 있는 체험판이다. 검색 증강 생성(RAG)과 엔비디아 그래픽 프로세서가 지원하는 명령어(RTX, TensorRT-LLM) 등을 십분 활용한다. 따라서 앱을 쓰려면 8GB 이상 메모리를 갖춘 지포스 RTX 30 시리즈 이상 그래픽카드가 필요하다.


엔비디아 홈페이지에서 Chat With RTX를 내려받을 수 있다. / 출처=IT동아



Chat With RTX는 엔비디아 홈페이지에서 내려받을 수 있다. 해당 이름으로 검색을 하거나 첫 페이지에 별도로 링크가 마련되어 있으니 접속하면 된다. 파일은 약 35GB 정도로 큰 편이니 설치 전, 저장공간을 충분히 확보하자.

설치는 크게 2가지로 이뤄져 있으며 하나는 Chat With RTX와 미스트랄 7B INT4 세트 설치 항목으로 이뤄져 있다. Llama2 세트도 설치파일 내에는 포함되어 있지만 설치 과정 중 선택지는 등장하지 않았다. 설치가 끝나면 바탕화면의 아이콘을 실행하면 된다. 일부 오류를 내는 시스템도 있는 것으로 알려져 있는데 엔비디아 포럼에 해결 방안이 다양하게 있으므로 확인해 보자.


실행하면 명령프롬프트 가동이 먼저 시작되며 관련 파일을 불러온다. / 출처=IT동아



실행하면 명령프롬프트가 먼저 실행되며 몇몇 파일을 불러온 후 별도의 브라우저를 출력하게 된다. 여러 브라우저가 설치된 시스템이라면 무엇을 우선시할지 확인하는 과정을 거친다.


Chat With RTX는 브라우저 상에서 실행된다. 인터페이스 구성은 매우 간단하다. / 출처=IT동아



브라우저가 실행되면 Chat With RTX의 주요 화면이 출력된다. 구조는 매우 간단하다. 먼저 좌측 상단에는 인공지능 모델을 선택할 수 있다. 기본으로 미스트랄 7B INT4 세트가 설정되어 있다. 기자가 사용하는 시스템에서는 Llama2를 선택할 수 없었다. 확인해 보니 해당 명령어를 쓰려면 15GB 이상 비디오 메모리를 가진 그래픽카드를 조건으로 내걸었다. 그러니까 12GB 메모리를 품은 기자의 지포스 RTX 3080 12GB로는 사양을 충족시키지 못했던 것이다.

우측 상단은 데이터 세트를 설정해 원하는 결과를 얻을 수 선택 가능하다. 폴더를 지정해서 구현할지 유튜브 링크를 기반으로 할지 인공지능 모델 기본으로 설정할지 등 3가지 항목 내에서 고르면 된다.

참조파일 기반 아래에서 활용할 경우 인공지능이 인지할 수 있는 폴더를 선택해야 된다. 검색은 문서파일 위주로 가능하며 TXT, PDF, DOC 파일을 지원한다. 폴더를 지정하면 Chat With RTX 프롬프트 내에서 폴더 데이터를 불러들이는 작업을 거치는데 용량과 구성에 따라 소요시간이 천차만별이니 참고하자. 만약 대용량 하드디스크 내 자료를 통째로 불러올 경우 상당한 시간이 필요하므로 가급적 용량이 적은 단일 폴더로 구성하는 게 좋다.


보완할 부분은 많지만, 챗봇의 느낌을 잘 구현한 것이 특징이다. / 출처=IT동아



문서 파일 내 내용을 찾거나 간단한 질문에 대한 답변은 비교적 빠른 시간 내에 알려준다는 것이 Chat With RTX의 특징이다. 무엇보다 흔히 쓰는 인공지능 서비스는 온라인 연결이 필수인데 반해 이 앱은 온라인 연결이 필요 없다. 고급 기능까지 바라는 건 무리지만, 내 시스템에 숨어 있는 문서를 빠르게 검색하고 필요한 결과를 얻는다는 부분은 인상적이었다. 속도도 매우 빠른데 앞서 언급한 것처럼 하드디스크에 폴더 동기화를 했을 경우, 용량에 따라 대응이 느릴 수 있다.

유튜브 대화기능도 마찬가지다. 자주 쓰는 링크를 인식해 두면 시스템 내에 있는 파일 내에 스크립트가 저장되고 검색하면 빠르게 관련 내용을 출력해 준다. 기본 인공지능 모델을 사용하면 사전에 학습된 내용에 기반해 구동된다. 아직 체험판 수준이기 때문에 완벽한 기능을 기대하면 실망할 수 있다. 파일을 검색하고 간단한 궁금증 정도는 해결하는데 도움이 되지만, 복잡한 사항에 대해서는 향후 보완이 필요하다.


RTX 20 시리즈도 인공지능 처리가 가능하지만, Chat With RTX에서는 지원하지 않는 점이 아쉽다. / 출처=IT동아



또한 왜 지원 시스템을 지포스 RTX 30 시리즈 이상으로 설정했는지도 의문이다. 이전 세대인 지포스 RTX 20 시리즈에도 제품에 따라 8GB 이상 메모리, 그래픽 프로세서 내에 인공지능 처리 기능을 품었다. 업데이트될 Chat With RTX에서 지원할지 알 수 없지만, 계속 지원하지 않는다면 1세대 RTX 그래픽카드의 존재 의의가 궁금해진다.

PC 내에서 쓰는 이른바 로컬 챗봇인 Chat With RTX. 네트워크 연결 없이 시스템 내 자원을 검색하고 내용까지 일부 파악할 수 있다는 점에서 잠재력이 느껴진다. 엔비디아에서 앱을 지속적으로 업데이트해준다면 윈도우 운영체제의 부족한 검색기능을 충분히 보완해 줄 것으로 기대된다.

글 / IT동아 강형석 (redbk@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ Arm, '3세대 네오버스' 로드맵 발표··· 'AI인프라 확산에 기여'▶ [생성 AI 길라잡이] 챗GPT, PC·스마트폰 설치와 활용▶ [칼럼] 생성형 AI 시대, 성공적인 도입 전략



추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 여론 선동에 잘 휘둘릴 것 같은 스타는? 운영자 24/12/16 - -
3532 현대차 ”포니 시대로 타임슬립”…제페토에 신규 콘텐츠 론칭 [9] IT동아갤로그로 이동합니다. 03.06 1263 4
3531 [메타버스에 올라타자] 7. 메타버스 어떻게 활용할 것인가? 기업 도입 사례 IT동아갤로그로 이동합니다. 03.06 213 0
3530 [리뷰] 인터넷으로 사진·동영상 전송하는 '카멜 클라우드 디지털 액자' IT동아갤로그로 이동합니다. 03.06 972 2
3529 [IT애정남] DDR4, LPDDR5 램을 탑재한 노트북, 뭐가 더 좋나요? IT동아갤로그로 이동합니다. 03.05 155 0
3528 [자동차와 法] 전기차 충전시설 의무 설치 관련 법률 살펴보니 IT동아갤로그로 이동합니다. 03.05 340 0
3527 ‘빅 이벤트 온다’ 엔비디아 GTC 2024 관전 포인트는? IT동아갤로그로 이동합니다. 03.05 152 0
3526 [IT애정남] 버티컬 마우스는 왜 쓰는 걸까요? IT동아갤로그로 이동합니다. 03.05 158 0
3525 [IT신상공개] 애플, M3 탑재한 새 맥북에어 13 및 15 공개 IT동아갤로그로 이동합니다. 03.05 158 0
3524 [2024 고려대 초창패] 뉴로엑스티 “알츠하이머 치매 정밀의료를 실현합니다” [1] IT동아갤로그로 이동합니다. 03.05 961 0
3523 “혹시 퇴직연금 깜박하셨나요?” 찾는 방법부터 앞으로 바뀌는 부분까지 IT동아갤로그로 이동합니다. 03.04 382 0
3522 [KESIA 시드팁스] 그랜터 “회사 지출 관리, AI에 맡기고 업무에 집중하세요” IT동아갤로그로 이동합니다. 03.04 166 0
3521 [스타트업-ing] 니어스랩 “한국의 자율비행 드론, 전 세계를 누빌 것” IT동아갤로그로 이동합니다. 03.04 111 0
3520 플리토 이정수 대표 "온디바이스 AI, LLM으로 데이터 중요성 커져" IT동아갤로그로 이동합니다. 03.04 110 0
3519 [스타트업 법률실무 마스터링] 투자유치 법률실무 (2) Termsheet 이해를 통한 분쟁방지 IT동아갤로그로 이동합니다. 03.04 738 0
3518 헷갈리는 버스전용 차로 만나면 이렇게![이럴땐 이렇게!] IT동아갤로그로 이동합니다. 03.04 115 0
3517 [월간자동차] 24년 1월, 수입 신차 판매량 급감...BMW 5시리즈 1위 수성 IT동아갤로그로 이동합니다. 02.29 814 0
3516 인텔, “새로운 vPro 플랫폼 통해 기업시장에 AI PC 확대할 것” IT동아갤로그로 이동합니다. 02.29 174 0
3515 [리뷰] ‘좋아할 만한 건 다 담았네?’ 에이수스 비보북 프로 15 OLED IT동아갤로그로 이동합니다. 02.29 183 0
3514 레노버 “한국 기업들의 생성형 AI투자, 아태지역 1위” IT동아갤로그로 이동합니다. 02.29 167 0
3513 [IT강의실] 생성형 AI와 클라우드의 상관관계는? IT동아갤로그로 이동합니다. 02.29 147 0
3512 [생성 AI 길라잡이] 챗GPT에서 최신 정보까지 검색한다 ‘웹챗GPT’ IT동아갤로그로 이동합니다. 02.29 1290 1
3511 LG전자, AI로 화질과 음향 강화한 2024 올레드/QNED TV 라인업 선보여 IT동아갤로그로 이동합니다. 02.28 482 0
3510 [리뷰] 실용주의 AI폰, 삼성 갤럭시 S24 울트라 [2] IT동아갤로그로 이동합니다. 02.28 813 4
3509 하이퍼커넥트가 글로벌 인공지능 기술 기업으로 성장할 수 있었던 이유 IT동아갤로그로 이동합니다. 02.28 123 0
3508 [스타트업-ing] MRI 영상 복원 솔루션으로 진단 효율 높이는 ‘에어스메디컬’ IT동아갤로그로 이동합니다. 02.28 115 0
3507 빗썸, 멤버십 혜택 강화 ‘모든 회원에 특별 메이커 리워드 지급’ IT동아갤로그로 이동합니다. 02.28 118 0
3506 퀄컴, X80 5G, 패스트커넥트 7900 공개··· 'AI로 혁신에 시동' IT동아갤로그로 이동합니다. 02.28 689 0
3505 [스타트업-ing] 발켄모빌리티 “전기자전거·충전 스테이션·소프트웨어 모두 갖췄습니다” IT동아갤로그로 이동합니다. 02.28 215 1
3504 [리뷰] 이름은 독특해도 성능은 확실하다, AMD 라데온 RX 7900 GRE [9] IT동아갤로그로 이동합니다. 02.27 1789 3
3503 [EV 시대] 급부상하는 중국 전기차 IT동아갤로그로 이동합니다. 02.27 129 0
3502 [스타트업-ing] 리셋컴퍼니 정성대 대표 “지속 가능한 친환경 에너지 생태계 구축할 것” IT동아갤로그로 이동합니다. 02.27 126 0
3501 [IT신상공개] JBL·보스, 귀를 열고 듣는 ‘오픈이어 이어폰’ 출시 IT동아갤로그로 이동합니다. 02.27 122 0
3500 [혁신스타트업 in 홍릉] 뉴라이브 “이명·퇴행성 뇌질환 디지털 치료 시대” IT동아갤로그로 이동합니다. 02.27 954 0
3499 [신차공개] 올 뉴 포드 머스탱·BMW X1 M35i 출시 [2] IT동아갤로그로 이동합니다. 02.26 1505 3
3498 [스타트업-ing] 뷰브레인헬스케어 김재학 대표 “치매 조기진단과 예방, 인공지능으로 해결할 것” IT동아갤로그로 이동합니다. 02.26 178 0
3497 웨어러블의 진화…반지형 제품, 복약 관리하는 워치까지 IT동아갤로그로 이동합니다. 02.26 169 0
3496 세일즈포스, 전 세계 자동화·AI 전략 구축 담은 '2024 연결성 벤치마크' 발표 IT동아갤로그로 이동합니다. 02.26 102 0
3495 [주간투자동향] 테크타카, 126억 원 규모 투자 유치 IT동아갤로그로 이동합니다. 02.26 776 0
3494 [자동차 디자人] 세계 3대 명차 ‘롤스로이스’ 디자인 이끄는 ‘앤더스 워밍’ IT동아갤로그로 이동합니다. 02.23 140 0
3493 엔비디아가 굴린 거대한 공, 앞으로 AI 하드웨어 시장은? IT동아갤로그로 이동합니다. 02.23 150 0
3492 [IT애정남] 커피머신 석회질 제거, 꼭 해야 하나요? IT동아갤로그로 이동합니다. 02.23 126 0
3491 [IT신상공개] 돌아온 레트로 카메라의 주인공, 후지필름 X100VI IT동아갤로그로 이동합니다. 02.23 935 1
3490 [IT애정남] 블록체인은 안전하다는데 왜 해킹 사고는 끊이지 않나요? IT동아갤로그로 이동합니다. 02.23 125 0
3489 [스타트업 법률실무 마스터링] 투자유치 법률실무 (1) - 투자 방법과 투자 받기 전 주의사항(2) IT동아갤로그로 이동합니다. 02.23 144 0
3488 유한킴벌리 이승곤 본부장 "NHN 두레이 기반 업무 문화, 사회적 가치 위한 노력" IT동아갤로그로 이동합니다. 02.23 115 0
3487 [스타트업-ing] 콜라보그라운드 "뷰티숍 특화 솔루션, 글로벌 시장으로 갑니다” [3] IT동아갤로그로 이동합니다. 02.23 572 0
내 PC에 인공지능이? 엔비디아 ‘Chat With RTX’ 써보니 IT동아갤로그로 이동합니다. 02.22 102 0
3485 [KTVF] AI가 제시하는 똑똑한 세금 절세·연금 설계…‘아티웰스’ IT동아갤로그로 이동합니다. 02.22 108 0
3484 Arm, '3세대 네오버스' 로드맵 발표··· 'AI인프라 확산에 기여' IT동아갤로그로 이동합니다. 02.22 157 0
3483 [생성 AI 길라잡이] 챗GPT, PC·스마트폰 설치와 활용 [1] IT동아갤로그로 이동합니다. 02.22 1180 0
뉴스 아이유, 빌보드 ‘글로벌 넘버 1 아티스트 시리즈’ 韓 대표 선정 디시트렌드 10:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2