IT 노하우 뉴스 정보 공유 커뮤니티

Chat With RTX란 무엇인가?

Chat With RTX는 NVIDIA가 개발한 데모 앱으로, 사용자가 자신의 콘텐츠에 연결된 GPT 대규모 언어 모델(Large Language Model, LLM)을 개인화할 수 있게 해줍니다. 콘텐츠는 문서, 메모, 동영상, 기타 데이터 등 다양한 형식이 될 수 있습니다. Chat With RTX는 검색 증강 생성(Retrieval-Augmented Generation, RAG), TensorRT-LLM, 그리고 RTX 가속 기술을 활용하여, 맞춤형 챗봇에 질문을 하면 상황에 맞는 답변을 빠르게 얻을 수 있습니다. 또한, 이 앱은 Windows RTX PC 또는 워크스테이션에서 로컬로 실행되므로, 빠르고 안전한 결과를 보장합니다¹².

Chat With RTX의 사용 방법

Chat With RTX는 텍스트, PDF, doc/docx, xml 등 다양한 파일 형식을 지원합니다. 사용자가 원하는 파일이 포함된 폴더를 애플리케이션에 지정하면, 몇 초 만에 해당 파일이 라이브러리에 로드됩니다. 라이브러리에 로드된 파일은 챗봇의 지식 베이스로 사용됩니다. 즉, 챗봇은 해당 파일의 내용을 바탕으로 질문에 답할 수 있습니다. 또한, YouTube 재생목록의 URL을 제공하면, 앱이 재생목록에 있는 동영상의 스크립트를 로드하여, 해당 콘텐츠를 쿼리할 수 있습니다¹².

Chat With RTX의 개발자 버전

Chat With RTX 기술 데모는 github에서 제공되는 TensorRT-LLM RAG 개발자 레퍼런스 프로젝트를 기반으로 제작되었습니다. 개발자는 해당 레퍼런스를 사용하여, TensorRT-LLM으로 가속화된 RTX용 자체 RAG 기반 애플리케이션을 개발하고 배포할 수 있습니다. Chat With RTX 출시에 대한 이메일 알림을 받고 싶다면, 여기에서 등록할 수 있습니다. NVIDIA의 생성형 AI 개발자 도구와 엔터프라이즈 솔루션에 대해 자세히 알아보려면, 여기를 클릭하세요.