[HW] NVIDIA의 Chat With RTX로 GPU에서 AI 챗봇 실행하기
본문
Chat With RTX란 무엇인가?
Chat With RTX는 NVIDIA가 개발한 데모 앱으로, 사용자가 자신의 콘텐츠에 연결된 GPT 대규모 언어 모델(Large Language Model, LLM)을 개인화할 수 있게 해줍니다. 콘텐츠는 문서, 메모, 동영상, 기타 데이터 등 다양한 형식이 될 수 있습니다. Chat With RTX는 검색 증강 생성(Retrieval-Augmented Generation, RAG), TensorRT-LLM, 그리고 RTX 가속 기술을 활용하여, 맞춤형 챗봇에 질문을 하면 상황에 맞는 답변을 빠르게 얻을 수 있습니다. 또한, 이 앱은 Windows RTX PC 또는 워크스테이션에서 로컬로 실행되므로, 빠르고 안전한 결과를 보장합니다12.
Chat With RTX의 사용 방법
Chat With RTX는 텍스트, PDF, doc/docx, xml 등 다양한 파일 형식을 지원합니다. 사용자가 원하는 파일이 포함된 폴더를 애플리케이션에 지정하면, 몇 초 만에 해당 파일이 라이브러리에 로드됩니다. 라이브러리에 로드된 파일은 챗봇의 지식 베이스로 사용됩니다. 즉, 챗봇은 해당 파일의 내용을 바탕으로 질문에 답할 수 있습니다. 또한, YouTube 재생목록의 URL을 제공하면, 앱이 재생목록에 있는 동영상의 스크립트를 로드하여, 해당 콘텐츠를 쿼리할 수 있습니다12.
Chat With RTX의 개발자 버전
Chat With RTX 기술 데모는 github에서 제공되는 TensorRT-LLM RAG 개발자 레퍼런스 프로젝트를 기반으로 제작되었습니다. 개발자는 해당 레퍼런스를 사용하여, TensorRT-LLM으로 가속화된 RTX용 자체 RAG 기반 애플리케이션을 개발하고 배포할 수 있습니다. Chat With RTX 출시에 대한 이메일 알림을 받고 싶다면, 여기에서 등록할 수 있습니다. NVIDIA의 생성형 AI 개발자 도구와 엔터프라이즈 솔루션에 대해 자세히 알아보려면, 여기를 클릭하세요.
-
Mobile - 아이폰 17 슬림(Slim), 정말 나올까? 얇아진 아이폰의 미래는?5시간 27분전
-
Computer - 와, 팩맨이 현실로? 맨체스터에서 진짜 팩맨 미로를 체험할 수 있다구!6시간 39분전
-
Computer - 마이크로소프트 엣지 게임 어시스트: 윈도우 11 게이머를 위한 필수 툴!6시간 44분전
-
Computer - 퀄컴, 저가형 윈도우 노트북용 Snapdragon X 칩셋 출시 예정!2024-11-20
-
Mobile - 안드로이드 16 개발자 프리뷰 1: 새로운 기능 총정리2024-11-20
-
Computer - 인텔 랩터 레이크 CPU, 액체 금속 사용 시 보증 무효 – 과연 위험을 감수할 가치가 있을까?2024-11-19
-
Mobile - 삼성 갤럭시 링 vs. Ultrahuman 링 에어 – 최고의 스마트 링은?2024-11-19
-
Mobile - 갤럭시 S25 스펙 유출: 12GB RAM에 실망스러운 CPU 성능?2024-11-16
최신글이 없습니다.
댓글목록 0