泛函分析（二）第三讲：次梯度、近端算子与单调算子

导语

集智学园联合东京都市大学贾伊阳老师共同开设。本期课程将在函数空间、Hilbert 空间与对偶空间等基础上，把第一期介绍的泛函分析直观概念，发展为可计算、能证明、有助于阅读和写作人工智能领域论文的研究工具。

作为第二期第三讲，本次课程围绕次梯度、近端算子与单调算子展开。本讲以单调算子重构凸优化：极小化即求算子零点，经近端算子与分裂算法化为固定点迭代，并以ISTA/LISTA与图像恢复展示算法的网络展开——优化即零点计算与固定点迭代。

分享将于 10 月 6 日（周二）19:30—21:30 进行。

课程简介

本讲从不可微凸优化中的次梯度出发，将次微分理解为集合值单调算子，并用 Fermat 法则把极小化问题转化为算子零点问题

随后介绍极大单调算子、预解算子与近端算子，说明如何将难以直接处理的集合值零点问题转化为稳定的单值固定点问题

在此基础上，本讲进一步介绍前向—后向分裂、Douglas–Rachford 分裂和前向—后向—前向分裂，说明不同的算子性质如何决定算法选择。通过稀疏编码、ISTA 与 LISTA，展示经典优化算法如何展开为神经网络。

最后以图像恢复为论文案例，讨论如何直接学习极大单调算子或其预解算子，并分析神经网络的单调性、非扩张性和坚定非扩张性如何与算法的稳定性及收敛性联系起来。

本讲希望建立一个核心认识：

机器学习算法不仅可以理解为目标函数的最小化，也可以理解为单调算子的零点计算和固定点迭代。

课程大纲

第一部分　次梯度作为单调算子

从“为什么梯度等于零不够”开始，介绍集合值算子及其图、定义域等基本概念。将凸函数的次微分理解为集合值算子，并证明其次微分具有单调性。

主要内容包括：

• 集合值算子与算子图；

• 凸函数的次微分；

• 单调算子与极大单调算子；

• Rockafellar 定理；

• Fermat 最优性条件；

• 指示函数、法锥与约束优化；

• 稀疏编码的次梯度最优性证书；

• 概率单纯形与投影约束。

这一部分建立

这一基本对应。

第二部分　预解算子与近端算子

讨论如何把集合值算子的零点问题转化为单值映射的固定点问题。

主要内容包括：

• 预解算子

• Minty 定理与预解算子的良定义性；

• 零点与固定点的等价关系；

• 坚定非扩张性及其稳定意义；

• 近端算子是次微分的预解算子；

• 绝对值函数与软阈值；

• 指示函数的近端算子与投影；

• 二次损失的近端算子；

• Moreau 包络与 Yosida 近似；

• Rockafellar 近端点算法；

• 预解算子与线性谱理论的关系。

这一部分的核心关系是

第三部分　单调包含与算子分裂

研究包含多个算子的复杂问题

并根据 A 和 B 的性质选择计算方法。

主要内容包括：

• 前向—后向分裂的推导；

• 显式前向步骤与隐式后向步骤；

• 余强单调性；

• Baillon–Haddad 定理；

• 前向—后向算法的收敛条件；

• 复合凸优化与近端梯度法；

• ISTA 的算子分裂推导；

• LISTA 与算法展开；

• 学习参数后可能失去的理论保证；

• Douglas–Rachford 分裂；

• 前向—后向—前向分裂；

• 学习型单调算子在非线性逆问题中的应用。

这一部分强调：

算法选择取决于算子的数学性质，而不仅取决于问题表面的公式形式。

第四部分　论文案例：学习极大单调算子用于图像恢复

以病态图像逆问题为背景，比较三类方法：

• 传统变分正则化；

• Plug-and-Play 方法；

• 极大单调算子学习。

主要内容包括：

• 图像恢复的病态性；

• 传统正则函数的算子表达；

• 显式正则函数的表达限制；

• Plug-and-Play 去噪器及其理论问题；

• 从函数正则化到算子正则化；

• 学习预解算子；

• 坚定非扩张神经网络；

• 算子分裂下的收敛解释；

• 网络表达能力与算子结构保证的分工；

• Pesquet 等人的极大单调算子学习；

• Belkouchi 等人的单调神经算子；

• 方法的适用范围与理论限制。

主讲老师

贾伊阳，东京都市大学讲师，曾任日本女子大学、成蹊大学助理教授，研究方向涵盖计算复杂性、算法及范畴相关理论。集智学园《范畴论与机器学习》《面向应用的泛函分析》课程讲师。她的讲课风格细致入微、逻辑清晰，声音甜美，是集智社区中备受学员喜爱的人气讲师。

贾伊阳老师近期与耶鲁大学数字伦理中心创始主任、信息哲学家Luciano Floridi展开合作，共同运用范畴论等数学工具，系统探讨人工智能的边界与安全性问题。

双方围绕大语言模型的语义基础、AI系统的形式化建模以及智能体的因果推理等方向，合作发表了多篇学术论文，从数学哲学层面为理解AI的能力边界、幻觉来源与可靠性提供了新的分析框架。

贾老师也将在后续课程中介绍这一系列合作成果，欢迎关注。

面向对象

这门课适合两类人。

一类是从事机器学习、人工智能相关工作的人。你们每天在用的那些模型：正则化、对抗训练、ISTA、Neural ODE、DEQ、Diffusion、FNO、强化学习，背后都站着同一套数学。这门课讲清楚这套数学，学完再看论文里的“紧性”“对偶”“半群”“谱”，就不再是陌生的名词，而是可以拆开、可以计算、可以用到自己的工作里去的工具。

另一类是学数学的人。如果觉得泛函分析是一门由孤立定理构成的基础课，这门课想让你看到它的另一面：这些定理怎样直接解释现代智能系统为什么能收敛、为什么会发散、会在哪里出问题。

建议具备一定的函数、向量与矩阵基础，最好已经接触过第一期的基本框架；如果对机器学习中的常见模型有大致了解，会学得更顺畅。

报名须知

1. 课程形式：线上腾讯会议直播 + 回放2. 课程周期：2026年9月8日起，每周二 19:30-21:30进行，每两周一次课，固定在周二晚 7:30（即隔周二）3. 课程定价：499元

课程链接：https://campus.swarma.org/course/5726?from=wechat

付费流程：

2. 课程页面添加学员登记表，添加助教微信入群；

3. 课程可开发票。

为鼓励学员深度参与、积极探索，我们致力于形成系列化知识传播成果，并构建课程知识共建社群。为此，我们特别设立激励机制，让您的学习之旅满载收获与成就感。

课程以老师讲授为主，每期结束后，助教会于课程群内发布字幕共创任务。学员通过参与这些任务，不仅能加深对内容的理解，还可获得积分奖励。积分可兑换其他读书会课程或实物奖品，助力您的持续成长。

泛函分析课特别定制集智涌现文化衫

附赠两副复杂科学知识卡

学员如何获得：

1. 宣传贡献

• 转发活动文案或海报至朋友圈，附上个人推荐语，早鸟价报名集赞满100个、原价报名集赞30个。

• 同一课题组5人组团集体报名。

1. 内容贡献

参与字幕校对或内容整理工作，可使用9900积分兑换相应权益。

历届学员反馈

：贾老师的第一期课程中，为我们介绍了泛函的基本定义，什么是函数空间，介绍了常用的希尔伯特空间，如何用核方法去测量函数（对偶空间）来找到我们需要的原函数，在做泛函的过程中，还讲了很多技术细节，就是怎么测量函数，需要满足哪些要求等等。

通过初步学习和了解，我们理解了物理、机器学习的内部工作原理，理解了诸如无限宽度的神经网络约等于一个核方法，知道了如何从数学思维理解机器学习。

希望在第二期的学习中，更够更加了解到解决前沿高维数学问题的泛函分析思想和方法。

：贾老师讲得很好，从头到尾把一门课讲得这么体系化，非常难得。课程内容扎实，逻辑清晰，听下来收获很大。

如果后续课程深入，我特别期待能听到以下几块内容：变分法与最优化、线性算子理论、三大定理（Hahn-Banach、一致有界性、开映射与闭图像）、谱定理。这些方向非常实用，对我们的研究和应用都会有直接的帮助。

关联课程丨面向应用的泛函分析：空间、算子与结构

第二期默认你熟悉第一期的基本框架——函数空间、范数与完备性、Hilbert 空间的几何、对偶空间。如果你是从机器学习或人工智能直接进入泛函分析，还没有系统地建立这套底子，建议先补上第一期《面向应用的泛函分析：空间、算子与结构》。

第一期回答三个更基本的问题：怎样把形态各异的函数放进同一个框架里谈论；怎样定义“接近”与“收敛”，让逼近和迭代算法有明确的终点；怎样保证求解过程对扰动和噪声始终稳定。它沿着“空间—度量—完备—算子—几何—对偶”这条主线，把最抽象的名词讲成一张可以在科研里导航的地图。第一期已有录播，可在集智学园网站回看。

第二期的每一讲，都站在这些结论上再往前走一步：第一期建立直觉，第二期把这些直觉变成可以写出证明、可以直接用于论文的工具。两期连起来，是从“理解泛函分析”到“用泛函分析做事”的完整路径。