BIMSA 王雅晴：Scaling Law 触及天花板，「数据高效学习」指向 AI 的下一站｜IJCAI 2026

来源：AI科技评论

作者：张璐

编辑：岑峰 幸丽娟

真正的智能，在于能否基于有限的数据，实现可靠的泛化与迁移。

高质量标注数据快用完了，算力贵得离谱，黑盒依然无解。

大模型时代信奉的 Scaling Law，正在面临多重瓶颈。

更麻烦的是另一件事：很多任务天生就没有大数据——药物研发、冷启动推荐、科学探索。这些不是技术的短板，是世界的常态。

在IJCAI 2026大会的 Early Career Spotlight（早期职业焦点）环节，北京雁栖湖应用数学研究院（BIMSA）副教授王雅晴，给这些问题做出了系统回应。

王雅晴长期从事小样本学习与 AI for Science 研究。她博士毕业于香港科技大学，曾任百度研究院资深研究员，现任北京雁栖湖应用数学研究院（BIMSA）副教授。贯穿其研究经历的一条主线是：如何提高 AI 对有限数据与经验的利用效率，使其在监督稀缺的场景下仍能实现可靠的泛化、适应与决策。

她在题为《迈向高效数据智能：从少样本学习到智能体系统》（Toward Data-Efficient Intelligence: From Few-Shot Learning to Agentic Systems）的演讲中，梳理了从小样本学习、元学习、上下文学习，到最新提出的“数据高效智能体学习”（Data-Efficient Agentic Learning, DEAL）的完整演进脉络。

她的核心洞察是：人类智能从极少样本中完成泛化，靠的是基因、文化与经验三重先验的支撑，而 AI 同样可以。

更关键的是，她还从理论层面进一步证明了，在所研究的任务与模型设定下，In-Context Learning 可以被理解为一种数据依赖的元学习。Transformer通过自注意力机制，将传统元学习中显式的适配过程内化为隐式计算，从而实现了“殊途同归”。这一发现为大模型的少样本能力提供了坚实的理论解释。

而当AI从单步预测走向多步交互与长程决策，数据稀缺问题变得更加严峻。她与合作者提出了 DEAL 框架，从经验增强、架构设计与高效学习范式三个方向，系统应对智能体面临的“数据沙漏”瓶颈。其中一条核心思路，就是利用结构化先验，让 AI 在有限经验中实现可靠和泛化，从而在真实世界走得更远。

01

科学与工业的现实：

天然缺乏大数据的场景

当下，Scaling Law几乎成为行业共识。在Transformer与监督学习范式下，行业已习惯这套路径：更大规模的数据、更多参数量，叠加持续增长的算力，即可推高模型的泛化上限。但这条规模扩张的路径，究竟还能走多远？

以行业对GPT-4的估算为例，训练数据如果印成纸质书，排起来能绵延 650 公里；所需的计算量，相当于一台普通的单核笔记本电脑连续运转 700 万年；而它等效参数的量级，足足可以铺满 3 万个标准足球场。

这种靠规模堆叠获得的泛化能力固然惊人，但若继续沿着同一条曲线外推，边际收益与代价的平衡点究竟在哪里？

高质量语言数据正被快速耗尽，算力成本让多数科研团队难以为继，黑盒参数带来的不可解释性也始终未解。

跳出大模型参数与算力的军备竞赛，我们不得不直面两个更为根本的现实问题：当任务本身天然缺乏大规模数据支撑时，该如何应对？当数据真正的关键价值恰恰集中在长尾分布上时，我们又该如何破局？

以药物研发（Drug Discovery）为例，在化学空间里，潜在的类药小分子高达10³³～10⁶⁰，根本无法通过数据库穷举。一款新药从早期筛选的成千上万个化合物，经过临床前、三期临床，耗时十几年、花费数十亿美元，最终往往只有 1 个分子能成功获批。

在这一漫长而严苛的筛选过程中，带标注的数据天然极度稀缺。这种稀缺性并非技术发展暂时的短板，而是科学探索本身固有的规律——所谓“海量数据”，根本无从等待。

再比如推荐与搜索。虽然整个平台沉淀的数据池很庞大，但每天都有全新的用户和物品涌入。从完全没有交互的冷启动期，到只有零星几次点击的预热期，高质量标注同样极难获取。

业务不可能等它积累了几百次点击才开始分发，系统必须在极少量的初始观测下，通过高效的增量学习（Incremental Learning）迅速把特征抓准。

这两个看似不同的领域，都指向了同一个命题：如何实现数据的高效利用（Data-Efficient Intelligence）。

回到机器学习的底层。我们原本追求的是最小化期望风险，但真实世界的数据分布是未知的，只能退而求其次，通过手头仅有的样本去算经验风险，并依靠经验风险最小化（ERM）来进行优化。

在标准机器学习中，这样做是没问题的；但一旦样本量极小，这种经验风险估计就会变得极其不可靠。如果仅依赖这极少的样本，模型将不可避免地陷入过拟合。

那么，如何在极有限的观测下跳出这种不可靠的估计、实现精准泛化？这正是小样本学习必须回答的核心问题。

02

先验知识，如何应对数据稀缺

面对极有限的样本，AI究竟该如何完成泛化？人类认知提供了重要参照。

以人类的认知发育为例：一个三岁的小孩只要在卡片上看了一两次小狗的特征，随后在现实中偶遇从未见过的犬种时，就能立刻准确识别。

为什么人类能做到这点？因为人类智能的底层，有着庞大的多层次先验知识（Prior Knowledge）在提供支撑。

▎具体而言，这种先验知识主要来自三个层面：

1.基因编码：凝聚了人类数百万年生物进化沉淀下来的内在先验。

2.社会文化：人类共同生活数百年乃至上千年，沉淀为不同国家与民族的文化背景。

3.个体经验：每个人独特的成长轨迹，进一步塑造了各自独特的认知与行为方式。

利用先验知识去弥合机器与人类能力之间的鸿沟，这是我们一直以来的愿景。

▎从统计学习理论的形式化视角来看，先验知识主要从三个维度介入并降低模型误差：

• 数据层面（Data）：借助先验规则生成或扩充样本，把稀疏的数据空间补齐；

• 模型层面（Model）：引入归纳偏置（Inductive Bias）来约束假设空间H的复杂度，比如处理图像时选择卷积算子，利用局部平移不变性减少参数自由度；

• 算法层面（Algorithm）：利用先验改变在参数空间里的搜索策略，找到更好的初始化起点，并指引梯度下降的方向。

既然先验知识如此关键，那么什么样的信息可被视为先验？在大模型时代，先验的形态已极为丰富：既可以是相关领域的先验数据，也可以是预训练模型中固化的参数权重，还可以是物理定律与数学公理。

将这些先验与新任务极少量的支持集一并送入适配机制，模型即可在下游任务上快速完成精准推理。

03

从元学习到 In-Context Learning：

殊途同归的理论统一

回看近年学术演进，从小样本学习到数据高效智能，核心技术路线经历了清晰迭代：从早期元学习（Meta-Learning），到大模型时代的上下文学习（In-Context Learning），再到前沿的数据高效智能体学习（Data-Efficient Agentic Learning）。

在很长一段时间里，元学习都是小样本学习最核心的内容。其基本哲学是：训练条件必须与测试条件对齐。若期望模型在测试阶段仅凭少量样本完成新任务，训练阶段就必须大量使用“仅含少量样本”的任务进行反复训练。

▎在具体实现上，主要形成了三大主流技术路径：

• 基于优化（Optimization-based）：学习如何寻找最优初始参数与更新策略，用极少步数的梯度下降快速微调；

• 基于度量（Metric-based）：学习一个通用的语义嵌入空间，在新任务上直接比对样本间的距离；

• 基于摊销/黑盒（Amortization-based）：用黑盒编码器直接将支持集映射为特定任务的预测权重。

这一局面在2020年发生了根本转变。GPT-3论文《Language Models are Few-Shot Learners》的发布，使In-Context Learning（ICL）迅速成为焦点。

我们发现，模型无需调整任何网络参数，仅需在Prompt中明确指令并加入一两个示例（Few-shot Prompting），即可在前向传播中直接完成任务适配并生成答案。

当时不少人将其视为某种“智能涌现”，但若将二者置于统一的任务适配视角下审视，就会发现它们在本质上是同源的。

二者均源自对多任务分布的预先学习，最终目标都是实现任务适配。唯一的本质差异在于适配发生的位置：元学习依赖显式算法机制进行参数更新；而ICL则将任务信息作为上下文，在Transformer的前向传播中隐式完成机制自适应。

为从数学与机制层面厘清二者关系，我们的研究团队在ICLR 2025的一项研究中开展了系统的理论分析与实验验证。

在线性回归与分类任务上，我们将ICL与主流元学习方法进行了严格对比，结果发现，在参数合适的情况下，Transformer 的 ICL 能够等价表示基于梯度、基于度量和基于摊销的元学习过程；在单任务族上，ICL 能精准复现对应的元学习算法；而在面对混合任务族时，ICL 甚至学会了根据当前输入数据的特征，动态选择最合适的适配规则。

换言之，In-Context Learning本质上是一种数据依赖的元学习（Data-dependent Meta-Learning）。

大模型并未脱离经典机器学习理论，而是以极大的模型容量与自注意力机制，将以往分散的元学习能力内化为一种通用的隐式计算过程。

04

从预测走向行动：

数据高效智能体学习（DEAL）

如今，AI的能力边界正在发生根本转变。

从最初的分类预测，到内容生成与多轮对话，再到工具调用与跨系统协作，直至今天能够面对复杂目标、自主规划并在长达数小时周期内持续行动的智能体，AI已从单次输入输出的预测工具，演进为多步交互、长程决策的行动者。

但当模型开始与真实世界交互时，数据稀缺问题非但没有消失，反而变得更为严峻。

于是，“数据高效智能体学习”（Data-Efficient Agentic Learning, DEAL）这一概念应运而生。

以公式 D = D_loop ∪ D_ext 为例：在智能体场景下，“数据”的内涵已发生改变。它不仅包含外部的人类标注与专家示范（D_ext），更包含智能体在环境闭环中产生的全部轨迹（D_loop）：环境反馈、真实动作、奖励信号与失败教训。

这些信息无法由模型凭空生成，获取成本高昂、试错代价极大，且环境持续漂移，使智能体面临显著的“数据沙漏”瓶颈。

▎为在极其有限的数据预算下构建强大智能体，我们从三个方向提出了技术路径：

• 经验增强（Experience Augmentation）：通过经验的生成与转换，提高有限交互轨迹中的信息密度与多样性；

• 架构设计（Agent Structural Design）：打造结构化模块、流程自主与知识复用机制，减少对人类直接监督的依赖；

• 高效学习范式（Learning Paradigm）：在有限预算下，灵活选择针对性的 ICL 优化、小样本微调或预算高效的强化学习（Budget-Efficient RL）。

这套框架使我们无需强迫智能体收集海量人类轨迹，而是借助结构化机制，在有限数据预算内训练出高水平行动者。

05

结构化先验：

赋能智能体与AI for Science

从最早的小样本分类，到今天的智能体系统，我们坚守的始终如一：结构化先验使从有限经验中进行可靠学习成为可能（Structured priors enable reliable learning from limited experience）。

其中，有两个方向是我们重点关注的：

一是AI for Science。在数学、物理与生物医药领域，将严谨的数学公式与物理定律作为先验融入模型，不仅能弥补湿实验数据的匮乏，更能帮助AI摆脱黑盒，获得更高的可解释性与稳定性。

另一个，是工业级个性化智能体。无论是教育场景还是具身机器人，将人类行为先验注入系统，能使Agent在极短的冷启动周期内快速理解用户独特偏好，实现可靠的个性化协同。

最后，为凝聚该领域的研究者与工程师，王雅晴参与推动成立了IEEE 计算智能学会神经网络技术委员会数据高效智能体学习专项工作组（IEEE CIS NNTC Task Force on Data-Efficient Agentic Learning，TF-DEAL）。

目前，工作组由清华大学姚权铭担任主席，BIMSA 王雅晴、英国布里斯托大学宋子星和澳大利亚墨尔本大学刘锋担任副主席，BIMSA 与清华大学赵沛尧担任 Workflow Chair。顾问委员会成员包括日本理化学研究所与东京大学的杉山将（Masashi Sugiyama）、北京大学林宙辰（Zhouchen Lin）、香港科技大学郭天佑（James T. Kwok）、香港中文大学金国庆（Irwin King），以及英国牛津大学Amir Hussain。

工作组将依托这一国际化组织团队，开展专题研讨、教程报告、学术竞赛与基准建设，推动数据高效智能体学习领域的国际交流与合作。也欢迎从事相关研究的学者、工程师和青年学生加入 TF-DEAL，共同探索如何让人工智能从有限经验中实现更可靠的泛化、适应与决策。

文献引用

[1]. Yaqing Wang, Quanming Yao, James T. Kwok, Lionel M. Ni. Generalizing from a Few Examples: A Survey on Few-Shot Learning. ACM Computing Surveys (CSUR). 2020.

[2]. Yaqing Wang, Abulikemu Abuduweili, Quanming Yao, Dejing Dou. Property-Aware Relation Networks for Few-Shot Molecular Property Prediction. Annual Conference on Neural Information Processing Systems (NeurIPS). 2021.

[3]. Yaqing Wang, Hongming Piao, Daxiang Dong, Quanming Yao, Jingbo Zhou. Warming Up Cold-Start CTR Prediction by Learning Item-Specific Feature Interactions. ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD). 2024.

[4]. Shiguang Wu, Yaqing Wang, Quanming Yao. Learning to Learn with Contrastive Meta-Objective. Annual Conference on Neural Information Processing Systems (NeurIPS). 2025.

[5]. Hongyi Nie, Yaqing Wang, Mingyang Zhou, Feiyang Pan, Quanming Yao, Zhen Wang. Adaptive Preference Arithmetic: Modeling Dynamic Preference Strengths for LLM Agent Personalization. Annual Conference on Neural Information Processing Systems (NeurIPS). 2025.

[6]. Shiguang Wu, Yaqing Wang, Quanming Yao. Why In-Context Learning Models are Good Few-Shot Learners? International Conference on Learning Representations (ICLR). 2025.

[7]. Shiguang Wu, Yaqing Wang, Quanming Yao. Searching to Modulate for Cold-Start Recommendation. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2026.

[8]. Yingjie Tan, Quanming Yao, Yaqing Wang. DGNet: Discrete Green Networks for Data-Efficient Learning of Spatiotemporal PDEs. International Conference on Learning Representations (ICLR). 2026.