网易首页 > 网易号 > 正文 申请入驻

表格建模也能Scaling?树模型的时代要改变了

0
分享至



一张 H100 相当于多少个 Hadoop 实例?

让我们先从一个有趣的问题开始:站在 2026 年的当下,一张 H100 GPU 的单卡算力(FP16)大约相当于多少个 Hadoop 实例?

答案是:约 200 个( 单卡 H100 vs 一台 96 核 CPU 实例)。

这个数字背后隐藏着一个值得深思的现象:过去几年中,AI 的快速发展极大推动了算力的指数级增长。然而在结构化数据建模这一领域,行业主流方法仍然是以树模型为核心的垂直场景化解决方案。

这就形成了一个有趣的 "反差":一边是各大科技公司和大量初创企业正通过不断升级的大语言模型推动 AI 生产力的跃迁,另一边是在金融、医疗、电商、物流、工业制造等高价值行业中,真正承载智能化任务的,仍主要是以 XGBoost、随机森林为代表的树模型。这种反差让我们不得不开始思考:当算力革命发生时,结构化数据建模的 "平衡点" 是否也该被重新定义?

"苦涩的教训" 与结构化数据的困境

从更宏观的角度看,大模型研发所遵循的核心思想,可以追溯到 Richard Sutton 提出的 “苦涩的教训”(The Bitter Lesson):在 AI 的长期发展中,那些能够随着计算规模持续扩展的通用学习方法,往往最终会超越依赖人类直觉与领域知识精心设计的系统。

大语言模型的成功正是这一规律的典型体现 —— 通过统一架构与大规模数据训练,LLM 在 NLP 领域实现了跨任务、跨场景的能力迁移。然而,当企业在实际业务中解决监督学习问题时,情况却呈现出明显反差。即使在尝试引入深度学习时,也往往需要依赖复杂的数据流水线、特定架构设计以及大量领域知识的引入。这相当于用 "手工作坊" 的方式,去应对 "工业化生产" 的需求。于是出现了一个颇为有趣的现象:一方面,各大科技公司和大量初创企业正通过不断扩大的大语言模型推动 AI 生产力的跃迁;另一方面,在金融、医疗、电商、物流、工业制造、农业等高价值行业的重要社会经济领域中,真正承载智能化场景任务的,仍主要是以 XGBoost、随机森林为代表的基于树的表格分类模型或垂域深度学习分类模型,这进一步激发了我们探索结构化数据模型 scaling 上限的兴趣。

回顾历史,XGBoost 在 2014 年被广泛视为机器学习领域中算力、算法与数据三要素之间的一个 “平衡点”。但十二年后的今天,随着 GPU 算力的快速迭代并带来数量级提升,这一平衡点是否已经发生改变?结构化数据建模是否也可能像 NLP 和 CV 一样,通过新的计算范式实现突破?回到开篇的问题:当单张 H100 与一台 96 核 CPU 服务器之间已经存在约 200 倍的 FP16 算力差距时,一个自然的想法是 —— 是否可以将 GPU 的大规模并行算力真正引入结构化数据建模,并通过预训练范式重新平衡算力、数据与算法这三大核心要素。

千亿级样本预训练实践

本文将重点介绍浙大 X 蚂蚁 AIforData 团队的探索:基于蚂蚁集团海量的异构结构化数据以及丰富的下游业务场景,实现了千卡 GPU 集群下百亿级样本规模的结构化数据预训练,并系统评估了预训练模型在下游任务中的表现,实验结果表明:

1. 在工业级表格数据集上,预训练模型的性能可以稳定且显著地超越传统树模型

2. 表格数据预训练模型呈现出明显的 scaling law

3. 行为序列预训练模型同样表现出良好的 scaling law

工作 1: 表格数据预训练与 Scaling Law

https://arxiv.org/abs/2602.22777

KMLP(Kolmogorov-Arnold Network with gated MLP)是面向互联网超大规模表格数据的混合深度学习架构(中稿 The Web Conference 2026)。面对工业场景中数十亿样本、数千异构特征的建模挑战,KMLP 创新性地将浅层 KAN 作为前端特征工程构造器,结合 gMLP 主干网络捕获高阶交互,实现了端到端的自动化特征表示学习。



在包含 20 亿样本的真实信贷评分数据集上,KMLP 展现出显著的规模优势:随着数据量级提升,其相对于传统 GBDT 模型的性能优势持续扩大。这一发现验证了 KMLP 作为可扩展深度学习范式的潜力,为大规模动态互联网表格数据建模提供了新路径。



KMLP 的核心价值在于解决了传统方法的双重瓶颈:一方面克服了 GBDT 在超大规模数据集上分布式计算效率问题,另一方面通过可学习激活函数摆脱了对人工特征工程的依赖,实现了特征异构性与交互建模的统一。其相对于传统 GBDT 模型的性能优势持续扩大;解决了 GBDT 分布式计算效率问题和人工特征工程依赖。

工作 2: 行为序列预训练与 Scaling Law

https://arxiv.org/abs/2412.12468

用户行为时序数据,作为刻画用户的关键结构化数据之一,对于用户理解与建模起着重要作用。在用户建模时如何利用以及如何利用好更多的用户行为序列数据,是一个重要的研究课题。

FOUND:时序数据的语义级应用

FOUND(Transferable and Forecastable User Targeting Foundation Model)是 AIforData 团队发布在 The Web Conference 2025(WebConf 25)中的工作,面向互联网平台中多种来源的序列数据和结构化数据,构建了工业级、具有预测性的用户表征框架。

当前许多用户理解方法面临两大显著挑战:(i) 跨领域和跨场景的可迁移性及泛化能力较弱 (ii) 在实际应用中的预测能力不足。为了增强跨领域迁移能力,FOUND 框架整合了多场景用户数据,并在用户建模时创新性地通过对比学习预训练将其与根据序列语义整理得到的文本进行对齐。为了提高预测性,每个用户的文本描述基于用户未来的行为推导得出,而用户表征则由历史信息构建而成,使用过去 - 未来语义对齐的方式构造训练样本对。

由该框架产出的用户表征在真实场景 benchmark 和业务上均获得了增益。同时引入自然语言监督的方式也使得模型天然支持人群圈选这一用户理解任务,该预训练框架支持的圈人能力在下游取得了大量收益,支持超过 50 个业务场景。



序列数据的 Scaling Law

在有了上述预训练框架后,我们思考如何将综合互联网平台中更多更长的用户行为序列引入到模型中来。针对多种来源的序列数据,各自设计编码器会存在训练成本过高、表达空间不统一等缺陷,同时如何发挥更多输入序列数据的最大性能也是一个问题,即需要探索输入序列本身存在的 Scaling Law 以及如何突破可能存在的 Scaling 瓶颈。

在实验探索过程中我们发现,输入序列长度 / 用户数目在数量级较少时,性能随着天数 / 用户数目(指数)近似线性提升,Scaling 现象明显;但在输入序列增长、用户数目增加时增长缓慢,出现 Scaling 瓶颈。为解决该问题,除了增加参数这种模型层面的 Scaling,提升输入用户数据的信息密度,即对用户信息进行压缩,不失为一种节约成本且轻量的方案。在使用 RQ-VAE 方案进行用户序列数据压缩后,我们观测到出现数据增长瓶颈得到延缓,说明了压缩带来突破瓶颈的 Densing Law 现象。

核心结论:在输入序列长度 / 用户数目在数量较少时性能随着天数指数的 Scaling 现象明显,输入序列长度和用户数目增加至较大量级时出现 Scaling 瓶颈,而压缩数据可以通过提升信息密度带来突破瓶颈的 Densing Law 现象。





基于以上原始和压缩输入的 Scaling Law,我们设计了基于统一用户量化压缩的用户理解方案,将用户的多源序列等数据使用设计的 MRQ-VAE 方案压缩成语义 token ID 提升信息密度,并在此基础之上 Scaling 得到了更佳性能的用户模型。产出的通用用户表征在 80% 以上真实场景 benchmark 中相比之前原始数据输入版本均有提升,并在数字金融、支付安全、营销推荐、广告等业务中全面应用。

总结与展望

回到开篇的问题:当算力已经发生数量级变化时,结构化数据建模的范式是否也该随之改变?

蚂蚁 x 浙大 AIforData 团队的探索给出了肯定的答案。Scaling Law 正在从 NLP、CV 延伸到结构化数据领域—— 这或许意味着,那个依赖人工特征工程和场景化调参的时代,真的要过去了。

"当算力天平已经倾斜,平衡点也该重新定义。"

未来,随着算力的持续增长和预训练范式的成熟,我们有理由相信:结构化数据建模将迎来属于自己的 "大模型时刻"。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我军上将曾当着日方的面,称若支持琉球群岛独立,日方会有何感想

我军上将曾当着日方的面,称若支持琉球群岛独立,日方会有何感想

快乐彼岸
2026-09-04 23:17:12
“一个月陪睡一两次”:网红魏莹的榜一大哥照片曝光,他身价过亿,是个大企业家

“一个月陪睡一两次”:网红魏莹的榜一大哥照片曝光,他身价过亿,是个大企业家

江山挥笔
2026-08-25 16:40:36
皇马内讧?21岁辱华中卫与居莱尔激烈争吵 安东尼愤怒将球踢他身上

皇马内讧?21岁辱华中卫与居莱尔激烈争吵 安东尼愤怒将球踢他身上

风过乡
2026-09-05 09:00:20
27.98万起!奥迪官宣:降价18.78万!

27.98万起!奥迪官宣:降价18.78万!

DeepAuto车探
2026-09-04 14:07:08
1.5亿房奴侧夜难眠,26年的楼市迎来了不好的消息,日子很难过

1.5亿房奴侧夜难眠,26年的楼市迎来了不好的消息,日子很难过

房产有点意思
2026-09-04 20:41:32
押上口碑豪赌!星宇股份周晓萍心存侥幸,这场危机根本赌不赢

押上口碑豪赌!星宇股份周晓萍心存侥幸,这场危机根本赌不赢

爱看剧的阿峰
2026-09-05 10:01:33
刘德华当选中国影协副主席!西装革履冲上热搜,64岁比吴京还精神

刘德华当选中国影协副主席!西装革履冲上热搜,64岁比吴京还精神

为学机械设计
2026-09-04 18:55:02
“白天白露,热死牛;夜晚白露,把扇丢”,下周一白露,具体在几时?

“白天白露,热死牛;夜晚白露,把扇丢”,下周一白露,具体在几时?

小谈食刻美食
2026-09-05 09:46:03
香奈儿果然不坑穷人,这鞋根本不是给走路的人穿的,是给专车接送、脚几乎不沾地的人设计的

香奈儿果然不坑穷人,这鞋根本不是给走路的人穿的,是给专车接送、脚几乎不沾地的人设计的

背包旅行
2026-09-03 11:56:50
赵勇作出最新回应!王媛媛离队原因曝光,中国女排备战重心公布

赵勇作出最新回应!王媛媛离队原因曝光,中国女排备战重心公布

跑者排球视角
2026-09-05 18:13:57
18岁女孩惨遭已婚男友殴打致死:ICU 里面目全非,母亲哭到眼睛反复就医,知情人爆料更多内幕

18岁女孩惨遭已婚男友殴打致死:ICU 里面目全非,母亲哭到眼睛反复就医,知情人爆料更多内幕

笔尖下的人生
2026-09-05 15:39:48
全世界都还没反应过来,中国果断出手,全球猝不及防目瞪口呆

全世界都还没反应过来,中国果断出手,全球猝不及防目瞪口呆

凡知
2026-09-04 12:50:30
顶流男星与前女团成员被曝隐婚生娃,已同居带娃

顶流男星与前女团成员被曝隐婚生娃,已同居带娃

时光慢旅人
2026-09-04 23:20:24
马竞0 3大败!失利缘由单一,1人需负责,揭示其3大失误

马竞0 3大败!失利缘由单一,1人需负责,揭示其3大失误

只愿一生l
2026-09-06 06:20:22
方博:打不过西蒙,还打什么球?时隔9年方博再遇西蒙,冲击四强

方博:打不过西蒙,还打什么球?时隔9年方博再遇西蒙,冲击四强

爱情的滋味我也想尝尝
2026-09-05 23:32:04
为什么一条新闻,会缺失最关键的信息?

为什么一条新闻,会缺失最关键的信息?

走读新生
2026-08-31 23:07:22
联合国秘书长退休前,没什么是他不敢说的,丝毫不给这两国留情面

联合国秘书长退休前,没什么是他不敢说的,丝毫不给这两国留情面

毒sir财经
2026-09-05 07:00:19
吉林男大学生做包皮手术,13天后突然死亡,母亲状告医院却傻眼

吉林男大学生做包皮手术,13天后突然死亡,母亲状告医院却傻眼

灿烂夏天
2025-02-14 21:18:50
周涛与前夫姚科未离婚之前的一张合影照,儒雅的姚科,终究留不住周涛

周涛与前夫姚科未离婚之前的一张合影照,儒雅的姚科,终究留不住周涛

南万说娱26
2026-08-22 08:56:48
一夜输光几十万,打工小伙喝下整瓶百草枯:被伤透的妻子选择放弃治疗

一夜输光几十万,打工小伙喝下整瓶百草枯:被伤透的妻子选择放弃治疗

民生故事会
2026-09-05 23:23:10
2026-09-06 08:03:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13924文章数 142729关注度
往期回顾 全部

科技要闻

华为何庭波,再次更新韬定律论文

头条要闻

决胜盘一度0比5落后 郑钦文连赢七局上演"史诗级逆转"

头条要闻

决胜盘一度0比5落后 郑钦文连赢七局上演"史诗级逆转"

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

阿Sa蔡卓妍首度求婚细节,感动落泪

财经要闻

被曝试药后死亡,药企董事竟怒怼记者

汽车要闻

带升降立标MPV 岚图梦想家9预售价42.99万起

态度原创

房产
健康
教育
时尚
艺术

房产要闻

突发重磅!海口出台楼市新政!

脑梗取栓成功≠活下来,还有这三关

教育要闻

县城理工男最严厉的父亲

推广中奖名单-更新至2026年8月25日推广

艺术要闻

别再说外星人了!三星堆最新发掘,直接实锤“龙的传人”

无障碍浏览 进入关怀版