NVIDIA发布新版本ChatRTX，添加中文LLM模型的支持
source link: https://www.expreview.com/93610.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
NVIDIA发布新版本ChatRTX，添加中文LLM模型的支持
Strike发布于 2024-5-6 11:01
本文约 480 字、3 张图表，需 1 分钟阅读
NVIDIA在2月推出了Chat with RTX的技术演示应用，可给用户体验一下本地的聊天机器人，当然了它用到了TensorRT-LLM和NVIDIA RTX加速技术，也是NVIDIA展示技术的一个方式，现在该应用正式改名为ChatRTX，增加了更多的功能，在新版本中它加入了对智谱AI的ChatGLM3-6B这个中文LLM的支持，同时还支持语音输入和图像搜索功能。
与ChatGPT、Google Bard和微软Copilot等在线工具不同，NVIDIA ChatRTX不需要云端计算，这对用户的隐私和数据保密性更好，ChatRTX还支持扫描和分析本地文件目录的能力，支持指定格式的文件，用户可使用该功能搭建本地的数据资料库，只需要给出文件夹路径，AI就会在数秒内把它们加载到库中。
除了加入中文LLM的支持外，ChatRTX还增添了语言识别功能，还支持OpenAI的CLIP模型，它可根据你给出的信息搜索本地指定目录里面的图片，在大量图片中找指定的复合要求图片时还是蛮有用的。
但目前该软件还是缺乏联系上下文的能力，这点体验就不太好了，此外它在Firefox浏览器上还是无法运行，此外安装包的体积大幅缩减，从此前的35GB减少到11GB，但安装完后程序依然需要35GB的空间，因此在下载之前要留够足够的空间，至于硬件需求，它只支持RTX 30和40系GPU，并且至少得需要8GB显存。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK