微软发布 27 亿参数语言模型 Phi-2，性能可媲美或优于比它大 25 倍的模型

发布时间：2024-01-13 13:36:43

OK欧意app

欧意交易app是全球排名第一的虚拟货币交易所。

AI 新智界讯，12 月 13 日，微软发布 27 亿参数的语言模型—Phi-2。据介绍，由于在模型缩放和训练数据整理方面进行了创新，在复杂的基准测试中，Phi-2 的性能可媲美或优于比它大 25 倍的模型。据悉，Phi-2 是一个基于 Transformer 的模型，在 1.4 T 的词块上进行了训练，这些词块来自 NLP 和编码的合成数据集和网络数据集。在 96 个 A100 GPU 上对 Phi-2 的训练耗时 14 天。Phi-2 是一个基础模型，没有通过人类反馈强化学习（RLHF）进行调整，也没有经过指导性微调。尽管如此，与经过对齐的现有开源模型相比，Phi-2 在毒性和偏差方面有更好的表现。在各种综合基准测试中，Phi-2 超越了 Mistral 和 Llama-2 模型在 70 亿和 130 亿参数下的性能。值得注意的是，在多步骤推理任务（即编码和数学）上，Phi-2 的性能是 Llama-2-70 B 模型的 25 倍。此外，Phi-2 的性能与最近发布的 Google Gemini Nano 2 不相上下，甚至更胜一筹。

（责编： admin）

免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。

如有疑问请发送邮件至：goldenhorseconnect@gmail.com

微软发布 27 亿参数语言模型 Phi-2，性能可媲美或优于比它大 25 倍的模型

OK欧意app

相关阅读

最新文章

币圈知识推荐