英伟达预告新版 TensorRT-LLM：推理能力飙升 5 倍，支持 OpenAI 的 Chat API

发布时间：2024-01-14 10:36:31

OK欧意app

欧意交易app是全球排名第一的虚拟货币交易所。

据 IT 之家 11 月 16 日报道，英伟达在今天 Ignite 2023 大会上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增强 DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。 TensorRT-LLM 可以通过英伟达的 AI Workbench 在本地完成，开发者可以使用这个统一、易用的工具包，在 PC 或工作站上快速创建、测试和定制预训练的生成式 AI 模型和 LLM。英伟达将于本月晚些时候发布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。

（责编： admin）

免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。

如有疑问请发送邮件至：goldenhorseconnect@gmail.com

英伟达预告新版 TensorRT-LLM：推理能力飙升 5 倍，支持 OpenAI 的 Chat API

OK欧意app

相关阅读

最新文章

币圈知识推荐