英伟达4B小模型逆袭!单任务成本竟是 GPT-5 Pro 的 1/36

AI行业资讯4小时前发布 墨白
12.6K 0 0

在近期的人工智能技术竞争中,英伟达推出的一款轻量级模型NVARC表现引人注目。在最新的ARC-AGI2评测中,该模型以27.64%的成绩取得榜首,明显优于GPT-5Pro的18.3%。值得关注的是,NVARC完成每个任务的成本仅为0.2美元,较GPT-5Pro的7美元具有显著的成本优势,在效率与性能之间展现出突出的平衡能力。

NVARC的表现得益于其采用的“零预训练深度学习”方法。该策略绕过了传统基于大规模通用数据集进行预训练的路径,从而减少了因数据偏差带来的领域适应问题。此次评测设置的ARC-AGI2任务难度较高,重点考察模型在缺少直接训练样本的情况下,快速理解并解决新型问题的能力。

英伟达4B小模型逆袭!单任务成本竟是 GPT-5 Pro 的 1/36

为提升训练效率,英伟达团队将复杂的推理环节转移至离线数据处理流程。他们利用GPT-OSS-120B生成高质量的合成谜题,以此降低对实时计算资源的依赖。具体方法是从现有数据集中提取基础问题,并通过组合与增强生成更复杂的题目。为确保合成数据的可靠性,团队将推理过程拆解为多个可独立验证的阶段,最终构建了一个包含320万条样本的增强数据集。

在推理机制上,NVARC采用改进的ARChitects方法,并通过对话式模板简化对谜题条件的理解。训练过程中,模型结合NeMo RL框架与Megatron后端进行监督微调。尤为关键的是,针对不同任务进行专门微调的TTFT技术,有效提升了模型对新任务规则的快速适应能力。

尽管可能存在对该模型是否仅为“专项解题工具”的讨论,但NVARC的成功实际上突显了小规模模型在特定领域所具备的高适应性与执行效率。这类模型在成本、响应速度及场景适配方面的优势,使其在诸多实际应用中具有重要价值。展望未来,如何将适用的方法匹配到相应的应用领域,将是推动此类技术持续发展的关键方向。

© 版权声明

相关文章