据站长之家 12 月 20 日报道，在近期的一项研究中，来自卡内基梅隆大学和 BerriAI 的研究团队对 Google Gemini Pro 进行了深入的评估，并发现其在多项任务中表现不如 OpenAI 的 GPT-3.5 Turbo。 研究团队在 LiteLLM 平台上测试了四个不同的 LLM：Google Gemini Pro、OpenAI GPT-3.5 Turbo、GPT-4 Turbo 和法国初创公司 Mistral 最新推出的 Mixtral 8x7B。测试内容涵盖了 STEM、人文和社会科学领域的 57 个多项选择问题，以及一些与通用推理、数学和编程相关的任务。 研究结果显示，在多项选择问题的测试中，Gemini Pro 的准确性低于 GPT-3.5 Turbo 和 GPT-4 Turbo。Gemini Pro 在人类性、形式逻辑、初等数学和专业医学等领域的表现较差，其中一部分原因是 Gemini 在某些问题上拒绝回答，声称由于安全和内容限制无法遵循。但在安全和高中微观经济学等领域，Gemini Pro 的表现略优于 GPT-3.5 Turbo，但进步有限。