微软最近在 AI 领域取得了显著突破,开源了一款名为 rStar2-Agent 的 AI Agent 推理模型。这款模型采用了创新的智能体强化学习方法,令人惊讶的是,尽管其参数仅有140亿,但在 AIME24数学推理测试中,准确率高达80.6%,成功超越了拥有6710亿参数的 DeepSeek-R1(79.8%)。这样的表现让人们重新思考模型的参数规模与性能之间的关系。

1757335517 6389291842136459577091583
除了数学推理任务的优秀成绩,rStar2-Agent 在其他领域的表现同样引人注目。在 GPQA-Diamond 科学推理基准测试中,该模型的准确率为60.9%,超越了 DeepSeek-V3的59.1%;在 BFCL v3智能体工具使用任务中,其任务完成率达到60.8%,同样高于 DeepSeek-V3的57.6%。这些数据表明,rStar2-Agent 在各类任务中展现出了强大的泛化能力。
为了实现这一突破,微软在训练基础设施、算法和训练流程上进行了三大创新。首先,在基础设施方面,微软构建了一个高效的隔离式代码执行服务,能够快速处理大量的训练请求,支持每训练步骤高达4.5万次的并发工具调用,平均延迟仅为0.3秒。其次,微软提出了新的 GRPO-RoC 算法,通过有效的奖励机制和算法优化,使得模型在推理过程中更加准确和高效。最后,rStar2-Agent 设计了 “非推理微调 + 多阶段强化学习” 的高效训练流程,以确保模型在各个阶段都能稳步提升能力。
这一系列的技术突破使得 rStar2-Agent 在 AI Agent 领域崭露头角,也为未来的智能体研究和应用开辟了新的方向。
开源地址:https://github.com/microsoft/rStar
划重点:
🌟 rStar2-Agent 模型仅有140亿参数,但在数学推理测试中达到了80.6% 的准确率,超越6710亿参数的 DeepSeek-R1。
🔧 微软在基础设施、算法和训练流程方面进行了创新,确保了模型的高效训练和出色表现。
📊 rStar2-Agent 在科学推理和工具使用任务中表现优异,展现了强大的泛化能力。