엔비디아가 인터넷 연결 없이 PC에서 로컬로 구동 가능한 온보드 AI 챗봇 'Chat with RTX'의 데모를 공개했다.

Chat with RTX 데모의 이미지 (출처: 엔비디아)

설명에 따르면 'Chat with RTX'는 "문서, 메모, 동영상, 기타 데이터 등 자신의 콘텐츠에 연결된 대형 언어 모델을 개인화할 수 있는 데모 앱"이다. 온보드 AI 방식으로 PC에서 인터넷 연결 없이 사용할 수 있어 개인화와 높은 보안이 강점이다.

PDF, doc, xml 등 다양한 확장자명을 지원하며, 폴더를 프로그램에 지정하면 몇 초만에 라이브러리에 로드된다. 또 유튜브 URL의 주소를 받으면 로컬 단에서의 인터넷 연결 없이 스크립트를 로드한다. 이를 바탕으로 유튜브 영상이 어떤 내용을 담고 있는지 또한 요약한다.

해당 데모를 시연한 기술지 버지는 "앱의 가장자리가 약간 거칠기는 하지만, 문서 모음을 분석해야 하는 모든 사람들에게 귀중한 요소가 될 듯하다"고 평했다.

'Chat with RTX'는 윈도우 OS(11 이상)에서 체험할 수 있으며, 16GB 이상의 램과 8GB VRAM을 갖춘 NVIDIA GeForce™ RTX 30, 또는 40 시리즈에서 지원한다.​

엔비디아는 "Chat with RTX는 로컬로 실행되기 때문에 제공되는 결과는 빠르며, 사용자의 데이터는 장치에 유지된다"며 "클라우드 기반 LLM 서비스에 의존하는 대신, 'Chat with RTX'를 사용하면 사용자는 민감한 데이터를 제3자와 공유하지 않아도 된다"고 설명했다.