英伟达版chatgpt来了:pc端安顿 很gpu
英伟达推出了自家版本的ChatGPT,名字很有GPU的味道 Chat With RTX。
英伟达的这款AI聊天机器人和目前(Currently)主流的 选手 有所不同。
它并非是在网页可能APP中运行,而是需要下载安装到个人电脑(Computer)中。
这波操作,不仅是在运行效果上会更快,也就意味着Chat With RTX在聊天内容上可能许并没有那么多限制。
网友们也纷纷对这一点发出了感慨:
哇~这是本地运行的耶~
当然,在配置方面也是要求的,只需要至少8GB的RTX 30可能40系列显卡即可
。
那么Chat With RTX的实际效果如何,我们(We)继续往下看。
英伟达版ChatGPT
首先,值得一提的是,Chat With RTX并非是英伟达自己搞了个大语言模型(LLM)。
它背后所依靠的仍是两款开源LLM,即Mistral和Llama 2,用户在运行的时候可以根据喜好自行选择。
Pick完LLM之后,就可以在Chat With RTX中上传本地文件。
支持的文件类型包括txt,.pdf,.doc/.docx和.xml。
然后就可以开始提问了,例如:Sarah推荐的餐厅名字是什么?
由于是在本地运行,因此Chat With RTX生成答案的速度是极快的,真真儿的是 啪的一下 :
Sarah推荐的餐厅名字叫做The Red Le Bernardin。
除此之外,Chat With RTX另一个亮点功能,就是可以根据在线视频做回答。
例如把一个油管视频的链接 投喂 给它:
然后向Chat With RTX提问:
英伟达在CES 2024上宣布了什么?
Chat With RTX也会以极快的速度根据视频内容作答。
至于其背后用到的技术方面,英伟达官方只是简单提了一句: 用到了检索增强生成 (RAG)、NVIDIA TensorRTLLM软件和NVIDIA RTX等。
如何食用?
正如我们(We)刚才提到的,Chat With RTX的用法很简单,只需一个下载安装的动作。
不过在配置上,除了GPU的要求之外,还有一些条件,例如:
系统:Windows 10可能Windows 11
RAM:至少16GB
驱动:535.11版本可能更新
不过Chat With RTX在大小上并没有很轻量,共计大约35G。
因此在下载它之前,务必需要检查一下Chat With RTX所需要的安装条件。
不然就会出现各种各样的悲剧了:
不过实测被吐槽
The Verge在英伟达发布Chat With RTX之后,立即展开了一波实测。
不过结论却是大跌眼镜。
例如刚才提到的搜索视频功能,在实际测试过程中,它竟然下载了完全不同视频的文字记录。
其次,如果给Chat With RTX 投喂 过多的文件,例如让Chat with RTX为25000个文档编制索引,它就直接 罢工 崩溃了。
以及它也 记不住 上下文,因此后续问题不能基于上一个问题。
最后还有个槽点,就是下载Chat with RTX消耗了测试人员整整半个小时
不过槽点之外,The Verge也比较中立地肯定了Chat with RTX的优点。
例如搜索电脑(Computer)上的文档,其速度和精准度是真香。
并且做总结也是Chat with RTX较为擅长的内容:
更重要的是,在本地运行这样的机制,给用户文件的安危性带来了保障。
那么你会pick英伟达版的ChatGPT吗?
- 赞(164) 踩(34) 阅读数(5661) 最新评论 查看所有评论
-
加载中......
- 发表评论
-