美团发布Meeseeks评测基准！o3-mini霸榜，DeepSeek-R1意外垫底引发热议
AI ToolBox
2025年8月29日
评测背景与意义
近年来，随着 OpenAI 的 o 系列模型、Claude 3.5 Sonnet 和 DeepSeek-R1 等大型语言模型的迅猛发展，AI 的知识与推理能力受到广泛关注。然而，许多用户反馈，这些模型在实际应用中有时无法准确执行用户指令，导致输出内容虽具质量，却未能满足特定格式或细节要求。
为深入评估大模型在指令遵循方面的表现，美团 M17 团队正式发布全新评测基准------Meeseeks。
评测体系与创新点
Meeseeks 着重考察模型对用户指令的严格遵循能力，区别于传统以知识准确性为主的评测方式。该框架将指令理解能力划分为三个关键层次：
- 任务核心意图的理解
- 具体约束条件的实现
- 细粒度规则的执行
通过这种分层结构，Meeseeks 实现了对模型指令处理能力的全面、深入评估。
最新评测结果
在最新一轮评测中，推理模型 o3-mini（high） 以显著优势拔得头筹，其兄弟版本 o3-mini（medium） 紧随其后，Claude 3.7 Sonnet 稳居第三。相比之下，DeepSeek-R1 与 GPT-4o 表现略显逊色，分别位列第七与第八。
评测特色与优势
Meeseeks 的评测设计具有广泛的覆盖面与高难度挑战。其引入的 "多轮纠错" 模式，允许模型在首次输出不达标时进行修正。这一机制显著提升了模型的自我调整能力，尤其在多轮反馈后，所有参与模型的指令遵循准确率均有明显提升。
研究价值与未来展望
通过 Meeseeks 的评测体系，研究团队不仅揭示了不同模型在指令执行方面的差异，更为大语言模型的后续研究与优化提供了坚实的数据支持与方向指引。