本测评结果仅用于学术研究。 5月14日凌晨,OpenAI召开春季发布会,发布新版本模型GPT-4o。它具备实时多模态人机交互能力,打通了文本、语音和视觉,语音延迟大幅降低。GPT-4o的API速度比GPT-4 Turbo快2倍,价格便宜50%,并且官方说明GPT-4o在多项复杂任务上效果都超过GPT-4Turbo。 针对公众关注的GPT-4o的中文性能问题,作为专业第三方测评机构SuperCLUE选取了中文推理相关的核心任务进行了深入测评。具体来说,我们采用了中文数学多步推理测评基准(SuperCLUE-Math6,含2024题)和中文等级化代码单元测试基准(SuperCLUE-Code3,包含1560个测试用例),对GPT-4o在数学和编程方面的能力进行了全面评估。 先说结论 结论1:在完成SuperCLUE推理任务时,GPT-4o的整体得分为81.73,超过GPT-4 Turbo成为中文推理任务最强模型。 结论2:GPT-4o在SC-Math6数学基准上得分91.77分,较GPT-4 Turbo提升1.06分,登顶SC-Math6榜首,判定为推理等级5。 结论3:GPT-4o在SC-Code3代码基准上得分71.68分,较GPT-4 Turbo提升2.11分,刷新SC-Code3最好成绩。 Math6数据集申请方式: 请使用单位邮箱,将数据研究目的、计划,研究机构、申请者介绍和联系方式(手机或微信),发送到邮箱,并承诺不向第三方提供。 Code3测评申请方式: 请使用单位邮箱发送邮件至contact@superclue.ai,标题:SuperCLUE-Code3测评 |
|
来自: 蒙rrpigqpq6iim > 《文件夹1》