网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 | 如何让LLM在推理中不断进化

0
分享至



随着人工智能(AI)系统的大规模部署,AI 服务正成为能源消耗增长的关键驱动因素,尤其是在大型语言模型(LLM)推理服务方面。LLM 服务过程中,基于真实用户交互生成的大规模 LLM 推理促使我们重新思考如何利用推理过程本身来改进服务系统,特别是实现高效的特定任务 LLM 自适应。

主流的 LLM 自适应方法基于调优技术(例如,参数高效微调(PEFT)、提示调优等)和知识增强技术(例如,检索增强生成(RAG)、提示工程等)。知识增强技术主要通过注入知识来实现,并且与 LLM 推理过程中修改内部权重无关。调优技术通常依赖于反向传播,与推理本身相比会产生额外的资源开销。相反,新兴的仅前向学习方法[1],仅依赖于前向传播,正成为 LLM 推理中一种很有前景的自适应方法。

一句话概括:LLM 在推理的过程中不断进化, 在仅前向(无后向传播)中实现对下游任务的自适应。



  • 论文标题:Efficient LLM Adaptation with Forward-Only Passes
  • 研究团队:隆德大学(瑞典), Google DeepMind (纽约)
  • 论文链接:https://arxiv.org/abs/2611.10610
  • NeurIPS 官方页面:https://neurips.cc/virtual/2026/loc/atlanta/poster/148809

核心贡献:

利用 LLM 前向传播中激活值的角度集中度来衡量参数 SVD 中不同 rank 对激活值的贡献并对相应的 ranks 进行裁剪

本文旨在实现LLM 推理服务过程中仅通过前向传播即可高效自适应 LLM。我们提出仅前向搜索来加速所选权重矩阵的识别,其方法是利用奇异值分解(SVD)分量引起的激活与隐藏状态之间的角度集中度差异。每个 SVD 分量引起的激活的角度集中度用于衡量其对隐藏状态角度集中度的贡献——分散或集中。我们的前向搜索包含以下步骤:

第一,具有多个 SVD 分量的 SVD 分解



第二,所有 SVD 分量的激活值之和可恢复标准的前向传播



第三,角度集中度计算

前向传播测量角度集中度,以确定哪个权重矩阵具有最高的离散度,该权重矩阵随后用于降秩运算。



结果

结果表明,与基于梯度的方法(LASER-Grad)相比,我们的前向方法具有更低的峰值内存和更高的加速比;与穷举搜索方法(LASER)相比,我们也具有更高的加速比和相当的精度。



我们证明,与基于梯度的方法相比,我们的前向搜索方法在各种数据集(包括知识推理、知识干预、多跳推理、事实验证、公平性和偏见评估、幻觉检测和信息检索)上实现了更低的峰值内存占用和更高的加速比;与穷举搜索方法相比,该方法也具有更高的加速比和相当的准确率。



GPT-J 评估报告准确率(Acc,%)、加速比和峰值内存(Mem)



Roberta 评估报告准确率(Acc,%)、加速比和峰值内存(Mem)

扩展实验进一步证明了我们前向搜索方法的有效性和鲁棒性,以及其增强微调过程的能力。



GPT-J




Roberta on Bios Gender

此外,我们还对各种参数量高达 570 亿的 LLM 进行了广泛的实验,包括 LLaMA2 DeepSeekV1、Mistral、Qwen2 及其专家混合模型(MoE)版本,以及多模态 Gemma 4。结果表明,我们的前向搜索方法具有很强的泛化能力。



我们在消融实验中展示了我们提出的高效分层搜索算法能够有效且鲁棒地加速计算,同时保持下游精度。此外,与 LASER-Grad 相比,我们的仅前向方法在不同的序列长度下,峰值内存显著降低,加速比更高。





我们将 Key、Query、Value 等权重矩阵添加到默认的 FFN 输入/输出中。相应结果表明,我们的仅前向搜索可以得到与仅考虑默认 FFN 输入/输出时相同的 top-j 权重矩阵。换句话说,注意力模块中的权重矩阵可以忽略不计,从而加快计算速度。

相关工作:

LLM 压缩、LLM 自适应、仅前向学习

LLM 压缩:模型压缩技术通常旨在减少模型存储而不影响下游精度。迄今为止,包括量化、蒸馏、张量分解、剪枝和键值缓存压缩在内的 LLM 压缩方法,也旨在保持下游精度,但在一定程度上需要额外的步骤,例如微调和对齐,或者在压缩后通过推理来提高下游精度。值得注意的是,在奇异值分解(SVD)中选择性地去除权重矩阵的高阶分量可以提高下游精度。

LLM 自适应:将 LLM 适配到下游任务通常涉及调优技术和知识增强技术。调优技术包括监督式微调 (SFT) 、PEFT(例如低秩自适应 (LoRA)、适配器调优等)、提示调优、前缀调优、偏置高效微调 (BEFT) 、指令调优以及以下对齐技术,以及测试时训练。然而,这些调优技术通常依赖于反向传播。即使是无需训练的 LLM 对齐方法,与推理本身相比,仍然会产生额外的资源开销。此外,知识增强技术,包括 ICL、提示指令、检索增强生成、提示工程、激活控制以及基于工具的方法,主要通过增强提示或注入信息来运行,并且与在 LLM 推理过程中修改内部权重是正交的。

仅前向学习:新兴的仅前向学习算法展现了模型自适应的一个有前景的趋势,即从依赖反向传播转向更直接地依赖前向传播,这在当前 LLM 规模空前庞大的时代尤为重要。然而,仅前向学习扩展到更深层模型(例如 LLM)的可扩展性仍然是一个具有挑战性的问题。在仅前向传播技术中,前向梯度法可以通过对多个扰动进行平均或利用局部损失进行更好的梯度估计来扩展到更深的模型,而零阶优化可以扩展到更深的模型和 LLM。此外,扩展到 LLM 的进化策略要么需要调整输入提示/嵌入,要么需要多次迭代(调整)前向传播。

结语

新兴的仅前向学习方法,仅依赖于前向传播,无需任何后向传播,正逐步被应用到大模型领域,发挥更实际的作用。

总而言之,由于本文提出的方法完全摒弃了反向传播梯度计算,并且具备低内存占用和高加速比,它未来完全可以在真实的 LLM 推理服务过程中实现在线实时适应。系统可以利用来自用户交互的偏好数据或自标记验证数据,在服务期间动态地、低成本地调整模型,使其更贴合特定任务或用户群体,具有极高的商业价值。

[1] Baichuan Huang, Alexander Ororbia, Amir Aminifar. Backpropagation-Free Learning: On the Emergence of Forward-Only Algorithms. TechRxiv. 2026.

DOI: https://doi.org/10.36227/techrxiv.176739859.93468234/v1

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
北京国安出局!足协杯6年首遭零封,主场8年不胜海港,6纪录告破

北京国安出局!足协杯6年首遭零封,主场8年不胜海港,6纪录告破

奥拜尔
2026-11-20 21:31:51
高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

每日经济新闻
2026-11-20 17:08:48
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

红星新闻
2026-11-20 15:33:23
山姆最新上架!3970元4次,春节五一等除外!网友觉得没什么吸引力

山姆最新上架!3970元4次,春节五一等除外!网友觉得没什么吸引力

上海约饭局
2026-11-20 14:34:07
特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

歪歌社团
2026-11-20 07:01:47
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

阿龙美食记
2026-11-19 11:00:12
尾盘,A股突变,爆天量了!

尾盘,A股突变,爆天量了!

中国基金报
2026-11-20 15:53:51
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

都市快报橙柿互动
2026-11-20 09:37:46
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

奥拜尔
2026-11-20 20:13:09
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
多国首脑在深圳闲逛,每个人路线都很有意思,普京发出了内心所想

多国首脑在深圳闲逛,每个人路线都很有意思,普京发出了内心所想

讲者普拉斯
2026-11-20 11:58:25
一家四口自驾遇落石36岁父亲被砸身亡,留下一对幼女,一审二审法院均判属地交通部门赔偿百余万元,死者家属:终审判决已过1个多月,暂未获赔

一家四口自驾遇落石36岁父亲被砸身亡,留下一对幼女,一审二审法院均判属地交通部门赔偿百余万元,死者家属:终审判决已过1个多月,暂未获赔

极目新闻
2026-11-20 15:34:45
理想造了一颗登上台积电讲台的芯片,却希望你在开车时彻底忘掉它

理想造了一颗登上台积电讲台的芯片,却希望你在开车时彻底忘掉它

爱范儿
2026-11-20 18:40:14
华泰证券:中国股市的估值已经具备非常明显的吸引力

华泰证券:中国股市的估值已经具备非常明显的吸引力

澎湃新闻
2026-11-20 15:09:41
美股存储板块盘前普跌,美光跌2.60%,闪迪跌88.09%

美股存储板块盘前普跌,美光跌2.60%,闪迪跌88.09%

每日经济新闻
2026-11-20 17:10:03
2026-11-20 22:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14524文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
艺术
健康
手机
教育

旅游要闻

世界树下赴南美之约!静安大宁以展串市,解锁文商旅体展联动新范式

艺术要闻

被机器人“七弟”爱上的她:艾西瓦娅·雷与印度歌舞片中的女性形象

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

华为全新子品牌星芒开山之作!OSTA O1 Pro正式开售:5499元起

教育要闻

成都市家庭教育第一期播客解读:成长多元化,家长该做什么?

无障碍浏览 进入关怀版