麻省理工学院的研究团队近日发布了一项创新计算方法,旨在提升大型语言模型的运算效率并降低能耗。这项名为“实例自适应缩放”的技术,能够根据问题的复杂程度动态调整计算资源。相关论文已于11月初发布,并获得了MIT-IBM Watson人工智能实验室、MIT-Amazon科学中心、MIT-Google计算创新项目及MathWorks的支持。
传统大型语言模型在处理任务时,通常采用固定的推理过程奖励模型,导致其在面对不同复杂度的问题时计算资源利用率不高,且容易高估结果成功率。MIT团队通过重新设计推理过程奖励模型,使其能够依据具体问题自动调节推理路径数量。这意味着简单问题可以分配较少算力,而复杂问题则能获得更充分的推理支持。
研究人员指出,人类的思考过程通常涉及分解复杂问题、逐步推导与不断修正,而大型语言模型同样可以从这种“多步思考”中受益,从而在推理中获得更充分的“思考时间”。研究显示,采用新方法后,计算资源使用量可减少约一半,同时仍能保持与现有模型相当的应答准确性。此外,经过重新校准的推理奖励模型也提升了部分较小规模语言模型的性能。
基于该技术的初期成果,MIT团队表示将进一步探索其在代码生成、智能体等场景中的应用潜力,并计划研究推理奖励模型校准方法在强化学习等更广泛领域的适用性。
要点归纳:
▸ 实例自适应缩放技术可根据问题复杂度动态分配大型语言模型的计算资源。
▸ 重新设计的推理过程奖励模型显著提高了计算效率,实现“简题少算、难题多算”。
▸ 该方法能在保持相近准确性的前提下减少约50%计算量,未来有望拓展至更多AI应用场景。
© 版权声明
文章版权归作者所有,未经允许请勿转载。