2月14日，英伟达推出了自己的ChatGPT，在本地RTX显卡上运行，命名为Chat with RTX，目前是早期版本Demo，一切都是在PC上本地运行，用户需要至少拥有8GB VRAM的30系或40系显卡，优点在于本地化运行响应速度极快，能够快速处理个人本地的文档，增强数据隐私性，降低使用门槛，但是模型准确性较差，对显卡要求较高。

然后可以看到Chat with RTX会下载Miniconda搭建环境，自动安装CUDA Toolkit，下载各种依赖包，不难看出Chat with RTX其实就是在PC本地搭建Python深度学习环境，再利用Mistral或Llama 2来处理数据，老黄ChatGPT优点在于可以充分利用RTX GPU上的Tensor核心来加快处理推理速度。

Chat with RTX使用检索增强生成 (RAG)，来提高LLM的生成质量，打开Chat with RTX能够快速找到个人PC中的各种文档，有意思的是老黄版ChatGPT，在处理PDF、Word文档等文件数据时，居然比微软自己的Copilot还要好用，响应速度极快（取决于本地显卡和内存），体验上没有ChatGPT或者Copilot那种回复延迟，也不用担心OpenAI服务器出问题，导致全球用户无法使用ChatGPT。

由于Chat with RTX是Demo测试版本，其最大的缺点在于没有上下文功能，且模型的输出并不太准确，老黄推出英伟达ChatGPT版本的意义，在于提供离线的大模型服务，在本地上可以定制化，而且隐私性更好，老黄希望英伟达不仅仅只是个“卖显卡的”，而是真正将AI计算能力应用到各行各业，引领大模型时代发展。

目前，Chat with RTX还远远没有达到成熟的GPT产品程度，英伟达与OpenAI在AI领域的竞争还将继续，两家公司近期都在推进AI从基础研发，到实用产品的转化，在未来随着模型和芯片技术的发展，期待更多AI的应用下放到个人设备进行本地计算，以达到更快的响应速度和更可靠的模型，笔者建议还是先用GPT-4、Llama2、Mistral等相对成熟的服务。

华为纯血鸿蒙：

华为回归：

华为问界：

华为和小米：

小米发布会：

三星发布会：

华为“纯血鸿蒙”：

国产之光：

英伟达：

黄仁勋：

英伟达重磅：

英伟达重磅：

英伟达：

CES科技春晚：

CES科技春晚：

CES 2023：

CES 2023：

英伟达GTC22：

英伟达GTC22：

英伟达GTC23：

CES 2021：

CES 2021：

CES 2021：

CES 2021：

英伟达：

英伟达：

天价NFT：

矿难来临：

以太坊升级：

亲儿子跳车：

30系破发：