苹果 DiffuCode-7B-cpGRPO，基于 Qwen2.5-7B 的无序代码生成大师

突破传统：苹果推出新型扩散式编程AI模型

近日，苹果公司在 Hugging Face 平台悄然上线了一款名为 DiffuCode-7B-cpGRPO 的开源人工智能模型，其在代码生成领域展现出独特优势------可不按固定顺序生成代码，并具备与当前顶级开源编码模型相媲美的性能。

传统自回归模型的局限性

目前大多数大语言模型（LLM）采用的是自回归机制，生成文本的方式遵循从左到右、从上至下的线性流程。

这意味着，在用户输入提示后，模型会依次预测每个 token，每次生成都依赖于之前的结果。这一过程虽然稳定可控，但也限制了生成逻辑的灵活性。

温度参数对输出的影响

模型输出还受到一个关键参数"温度"（Temperature）控制。较低温度意味着模型更倾向于选择概率最高的 token，而较高温度则允许更多探索性输出，增加随机性和创造性。

扩散模型的创新应用

与传统方式不同，扩散模型通常用于图像生成领域。它从一个噪声图像开始，逐步去除干扰，并结合用户需求，最终生成符合预期的内容。

DiffuCode：融合扩散与代码生成

此次发布的 DiffuCode-7B-cpGRPO 基于苹果最新论文《DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation》，首次将扩散机制引入代码生成。

研究指出，当采样温度由 0.2 提升至 1.2 后，模型在 token 排列顺序上的自由度显著增强，不再受限于严格的从左到右生成逻辑。

基于阿里 Qwen2.5-7B 改造优化

值得注意的是，该模型建立在阿里巴巴开源的 Qwen2.5-7B 基础之上。研究人员依照 DiffuCoder 论文方法，将其重构为基于扩散的解码器结构，并进一步优化以提升指令遵循能力。

随后，团队使用超过 20000 个精选编码示例 对模型进行了微调训练，使其在多种场景下表现更加优异。

性能超越主流扩散模型

在主流编程基准测试中，DiffuCode-7B-cpGRPO 在保持非线性生成能力的前提下，整体得分比现有基于扩散的编程模型高出 4.4%，展现出强大的竞争力。