清华团队开源大模型推理引擎“赤兔Chitu”：硬件成本削减50%

发布时间：2025-03-14 18:00:40

欧意交易app是全球排名第一的虚拟货币交易所。

本站3月14日消息，据报道，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。

“赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型，解决了FP8精度模型对英伟达Hopper架构（如H100/H200）的硬件依赖。

在A800集群的测试中，赤兔引擎在GPU使用量减少50%的情况下，推理速度提升了3.15倍，显著降低了企业的硬件成本，同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构，使国产厂商无需重复开发软件，专注于硬件升级。目前，清程极智已与沐曦、燧原等厂商合作，推出“开箱即用”的推理一体机，广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示，当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源“赤兔”引擎是推动国内AI生态建设的重要一步，将为行业提供更高效、更灵活的技术支持。

（责编： admin）

免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。

如有疑问请发送邮件至：goldenhorseconnect@gmail.com