微软开源Phi-4-mini-flash-reasoning：推理效率提升10倍
高效轻量新纪元：Phi-4-mini-flash-reasoning 登场
今天凌晨，微软在其官网上正式开源了最新版本的 Phi-4 系列模型------Phi-4-mini-flash-reasoning。该版本延续了 Phi-4 家族参数小、性能强的优势，并针对计算能力、内存和延迟受限的场景进行了优化设计，能够在单个 GPU 上流畅运行，非常适配笔记本电脑和平板设备等边缘计算终端。
推理效率飞跃，数学能力突飞猛进
Phi-4-mini-flash-reasoning 的发布，标志着推理效率的重大突破。相较上一版本，其推理速度提升了 10 倍 ，平均延迟降低了 2 到 3 倍。这一跃升使它在处理复杂数学推理任务时表现尤为优异，成为教育与科研领域的理想选择。
SambaY 架构：高效解码的核心引擎
本版本的核心亮点在于微软自主研发的 SambaY 架构。这是一种由微软与斯坦福大学联合开发的创新性解码器混合架构。通过引入门控存储单元，SambaY 实现了跨层记忆的高效共享，在提升解码效率的同时，保持了线性预填充时间复杂度，显著增强了对长上下文的处理能力，且无需依赖显式位置编码。
长文本生成效率飙升
在长文本生成任务中，SambaY 展现出惊人的效率优势。面对 2K 长度提示输入 + 32K 长度输出生成 的挑战，其解码吞吐量相较传统 Phi-4-mini-Reasoning 模型提升了 10 倍。同时，在数学推理测试中，SambaY 的表现也大幅提升，尤其在解决复杂问题时，能够自动生成清晰、逻辑严谨的解题步骤。
基准测试成绩亮眼，长上下文理解能力领先
微软还使用 Phonebook 和 RULER 等基准测试工具评估了 SambaY 在长上下文检索方面的表现。测试结果显示，在长度为 32K 的上下文中 ，SambaY 在 Phonebook 任务中达到了 78.13% 的准确率，远超同类模型，充分验证了其在理解和生成长文本方面的卓越能力。
可扩展性强，大规模训练成果显著
为了验证 SambaY 的扩展潜力，微软进行了大规模预训练实验，采用 3.8B 参数规模 的 Phi-4-mini-Flash 模型，并在 5T tokens 数据集 上进行训练。尽管训练过程中面临诸多挑战，但通过引入标签平滑、注意力 dropout 等技术，模型最终成功收敛，并在知识密集型任务中实现了显著的性能提升。