一个1000万小时的开放视频数据集，如何撬动多模态AI训练的下一步

2023年,一群研究者盯着一张表格发愁。

表格里列的是当时能公开下载的视频文本数据集,最大的一个叫InternVid,有700多万个视频。听起来不少,但如果你熟悉图像领域的话,会觉得这个数字有点尴尬:LAION-5B这样的开源图像文本数据集,已经做到了50亿张图片。视频数据落后图像数据两个数量级,这不是一个小差距。

问题不在于网上没有视频。YouTube一天上传的视频时长就以百万小时计算,视频从来不缺。真正的瓶颈是,把这些视频下载下来、处理成能训练模型的格式,需要的计算资源、存储空间和工程投入,远远超过处理图片。而且视频往往托管在有访问限制的商业平台上,想批量抓取没那么容易。

这就是LAION-BVD想要解决的问题。这个由图宾根大学、LAION组织、于利希超算中心等机构联合完成的项目,从CommonCrawl中提取出13亿条视频链接,最终下载了8000万个视频,总时长达到1000万小时。这个规模,如果换算成人一天24小时不间断地看,得看1140年。

**核心问题:视频数据集为什么这么难做大**

先说清楚这件事到底难在哪。

CommonCrawl*：一个持续抓取整个互联网网页并公开存档的项目,是几乎所有大规模网络数据集(包括图像和文本)的原始来源

图像数据集之所以能轻松做到几十亿规模,是因为图片体积小、格式统一、大多直接嵌在网页里,抓取和处理的成本相对低。视频完全是另一个故事。一个几分钟的视频文件可能几百MB,而且大多不是直接挂在网页上的静态资源,是托管在YouTube、Vimeo这类平台上,需要专门的下载工具去解析播放地址、绕过各种限制。

这就好比你要收集全世界图书馆的书和收集全世界的电视节目录像。书可以直接扫描、存档,拿来就能读;电视录像你得先想办法从各个电视台的信号里把节目录下来,还要处理不同的编码格式、不同的清晰度、不同的版权保护机制。这不是简单的规模问题,是整个工作流程的复杂度都上了一个台阶。如果没有专门的分布式下载基础设施,你根本没法把这件事规模化。

研究团队的解法是,先用cc2dataset工具配合Apache Spark集群,从CommonCrawl的网页元数据里筛出YouTube、Vimeo、Dailymotion这三大平台的视频链接,拿到13亿条候选URL。然后用2000台虚拟服务器组成的分布式系统,配合yt-dlp这个专门的视频下载工具和住宅代理网络,尝试下载了1.3亿个视频,成功率大约60%,最终拿到8000万个可用视频。

yt-dlp*：一个开源的视频下载命令行工具,支持从YouTube等上千个网站解析并下载视频

这个下载成功率背后藏着不少故事。60%意味着将近一半的尝试都失败了,可能是链接失效、地区限制、平台反爬虫机制在起作用。这也说明了为什么之前没有人做出这么大规模的开放视频数据集,不是没人想做,是这件事本身的工程难度就摆在那里。

**数据集里到底有什么**

光有原始视频文件是没用的,模型训练需要的是"视频加文字描述"这样的配对数据。研究团队设计了一整套流程,把原始视频切割、过滤、打上文字标签。

具体做法是这样的:先从800万小时的视频池里随机抽出240万个视频,丢掉时长短于10秒或长于30分钟的,然后用PySceneDetect做基于场景变化的切割,把每个视频切成一个个场景片段。这一步很关键,因为一个完整的视频可能包含很多个场景切换(比如一个vlog里既有主播说话的镜头,又有街景镜头),如果不切分,一段文字描述根本没法准确概括整段视频的内容。

PySceneDetect*：一个基于画面内容变化自动检测视频场景切换点的工具,可以按阈值判断画面是否发生了足够大的变化

切完之后,还要过滤掉那些画面几乎不动的静态片段,方法是在低分辨率采样上估计帧与帧之间的运动幅度,把没什么视觉变化的片段直接扔掉。最终得到5500万个视频片段,构成BVD-V-55M子集。

这个筛选逻辑很像你整理旅行照片。如果你对着风景拍了连续20张几乎一样的照片,你肯定不会把20张都放进相册,你会挑一张代表性的,或者把明显不同的挑出来。如果不做这个筛选,模型学到的可能是"这段视频里什么都没变化",这种信息对训练毫无价值,反而会稀释掉真正有意义的样本。

有了视频片段,接下来是打标签。视频描述用的是Qwen3-VL-2B-Instruct模型,每个片段均匀采样最多32帧,让模型用20个字以内描述内容。音频描述用Audio Flamingo 3,提示词是"用10个字以内描述音频声音"。这个字数限制不是随便定的,是参考了AudioCaps和Clotho这两个音频文本数据集里人工标注的平均长度(分别是8个词和11个词左右)。

Qwen3-VL*：阿里巴巴开发的多模态视觉语言模型,能同时理解图像/视频和文字并生成描述

Audio Flamingo 3*：一个开源的音频语言模型,能针对音频片段生成自然语言描述

图像方面,团队还从整个视频池里抽取"场景切换帧",用ffmpeg检测画面突变的时刻,过滤掉纯黑帧,最终攒够3亿张图片,构成BVD-I-300M子集,用DeepSeek-VL2-tiny模型重新打上文字说明。

三个子集加起来,就是这次实验验证的核心资产:5500万个视频文本对,5500万个音频文本对(来自同一批片段),3亿个图像文本对。

从统计数据看,这批视频94%来自YouTube,4%来自Vimeo,2%来自Dailymotion。内容分布挺散,vlog类占20%、音乐类占17%,不存在某一类内容压倒性主导的情况。语言方面英语占了将近六成,但俄语、西班牙语、日语、法语等也都有可观的比例,算是一个相对多语言的数据集。视频平均时长7.7分钟,但有将近6%的视频超过30分钟,这对需要长视频理解能力的任务是个额外的加分项。

**验证方法一:视频文本模型ViCLIP,数据量堆上去真的有用吗**

光收集数据没用,得证明这些数据训练出来的模型是真的好用。团队选了三条路来验证:视频文本对比学习、音频文本对比学习、图像文本对比学习。

先看视频这条线。用的模型架构是ViCLIP,这是一个专门为视频设计的对比学习框架。

ViCLIP*：一种视频语言对比学习模型,基本结构脱胎于CLIP,但把视觉编码器改造成能同时处理一组视频帧(而不只是单张图片),并加入了空间和时间两种位置编码

对比学习*：一种训练思路,让模型学会把匹配的一对样本(比如一段视频和描述它的文字)在向量空间里拉近,把不匹配的样本推远,从而学到有意义的表示

团队从5500万片段里再抽出1000万和5000万两个子集,分别叫BVD-V-10M和BVD-V-50M,拿去跟InternVid数据集训练出的ViCLIP模型对比。评测标准是三个零样本动作识别基准(Kinetics-400、UCF-101、HMDB51)加两个视频文本检索数据集(MSR-VTT、MSVD),一共七项指标算平均分。

结果挺直接:在5000万训练样本量下,用LAION-BVD数据训练的模型,比经过重度过滤的InternVid-10M-FLT高出3.3到4.0个百分点。而且随着数据规模和训练样本数的增加,性能是稳步上升的,这个趋势在几乎没有精细过滤的LAION-BVD数据上依然成立,说明这批数据本身质量不算差,规模效应是实打实存在的。

这里有个挺有意思的插曲。团队最初复现InternVid论文里报的分数时,发现自己跑出来的结果比论文里低不少(58.0 vs 论文报的64.8)。后来在InternVid的官方GitHub讨论区里,作者透露论文里的分数其实用了一种叫WiSE-FT的技巧,就是把训练后的模型权重和原始CLIP权重按一定比例加权平均。

WiSE-FT*：一种模型融合技术,把微调后的模型参数和原始预训练模型参数按插值系数做加权平均,能提升模型在分布外场景的鲁棒性

团队补上这个技巧重新测了一遍,InternVid-10M-FLT的分数从58.0涨到60.2,基本对上了论文里报的数字。而LAION-BVD训练的模型用同样的技巧,分数也从61.3涨到62.3(BVD-V-10M)和从62.0涨到62.6(BVD-V-50M)。这么一比,LAION-BVD数据训练出的模型依然领先InternVid约2.1个百分点。

这个细节值得多说一句。做研究复现别人的结果,常常会遇到"论文里的数字对不上"的情况,原因往往不是造假,是论文里没写清楚某个训练或评测的小技巧。这次算是一个正面案例,团队没有藏着这个差异,反而把发现过程和修正后的对比结果都公开写进了论文,这种透明度本身就是值得称赞的科研态度。

除了跟InternVid比,团队还测试了不同模型规模(从ViT-B/32一路到ViT-L/14)在LAION-BVD上的表现,发现模型越大、见过的训练样本越多,平均性能就越高,呈现出干净的单调递增趋势。这种"给得越多,学得越好"的规律,在深度学习圈子里有个专门的说法叫"扩展定律"(scaling law),是判断一个数据集是否具备长期训练价值的重要信号。如果一个数据集喂多了反而效果变差或者停滞,说明数据里可能藏着系统性的噪声或偏差,这批数据显然没有这个问题。

**验证方法二:音频文本模型CLAP,小数据集也能打**

音频这条线用的是CLAP模型。

CLAP*：一种对比式音频语言预训练模型,把音频波形转成频谱图后编码,和对应的文字描述在同一个向量空间里做对齐训练,由LAION团队此前发布

团队抽出170万和1000万两个音频子集(BVD-A-1.7M和BVD-A-10M),对比对象是原有的LAION-Audio数据集(简称LA)以及LA加上AudioSet数据(LA+AS)。评测用的是UrbanSound8K分类任务加AudioCaps、Clotho两个音频文本检索任务。

结果显示,在四种不同参数规模的模型上(从1.58亿到4.31亿参数),用BVD-A-10M单独训练的效果,能匹配甚至超过规模更大的LAION-Audio数据集。只有额外加入经过专门策展的AudioSet数据(LA+AS组合)才能进一步拉开差距。这说明LAION-BVD的音频质量,即便几乎没经过人工筛选,也已经能和专门为音频任务构建的数据集打平手。

混合训练场景下同样有类似结论。把AudioCaps、Clotho这两个高质量小规模数据集和BVD-A-1.7M混合训练,效果跟混合LAION-Audio非常接近,只有再加上AudioSet才能获得最强表现。

规模效应在音频这边也出现了,但和视频那边不完全一样。表格数据显示,增加训练样本数只在模型参数量达到3.88亿以上时才有明显帮助,较小的模型(1.58亿、2亿参数)在样本数从3000万涨到1.1亿时反而性能略微下降。这个现象其实很好理解,小模型的"容量"有限,喂给它超过它能消化能力的重复样本,不但没帮助反而可能让它在有限数据上过拟合或者训练不稳定,这就像给一个胃口不大的人硬塞更多食物,超过某个点之后不会让人更强壮,反而会撑坏肠胃。

**验证方法三:图像文本模型CLIP,视频截图能当图片数据用吗**

第三条验证线是最出乎意料的。团队想知道,从视频里截出来的画面,能不能当成普通的网络图片数据来训练CLIP。

结果分成两半,一半亮眼一半不那么亮眼。

先说不那么亮眼的部分:在ImageNet-1k这个经典的图像分类基准上,LAION-BVD训练出来的模型明显落后于用DataComp-1B或Re-LAION-2B训练的模型。用3亿样本训练时,LAION-BVD版本的ImageNet-1k零样本准确率是0.24,DataComp版本是0.50,Re-LAION版本是0.44,差距不小。

但检索任务上情况完全反过来。在MS-COCO图像文本检索任务上,同样用3亿样本,LAION-BVD版本的文本到图像检索命中率(R@5)达到0.56,图像到文本达到0.74,双双超过DataComp(0.45和0.63)和Re-LAION(0.46和0.64)。在另一个叫Flickr30k的检索基准上,LAION-BVD训练的ViT-B-16模型甚至冲到了0.87的图像到文本检索命中率。

这个反差看起来很奇怪,同一批数据,为什么在分类任务上表现平庸,在检索任务上却是最强的?

团队做了一番细致的分析来解释这件事。他们统计了两批300M规模的图文数据里,ImageNet-1k的1000个类别名称各出现了多少次。结果是DataComp的真实网络文字描述里,类别名称一共出现了1.41亿次;而LAION-BVD的合成视频描述里,只出现了2100万次,差了将近7倍。

这个数字差异揭示的东西挺关键。ImageNet分类任务本质上是在考验模型是否记住了这1000个特定类别的名字和它们对应的视觉特征之间的联系,如果训练数据里这些类别名称出现得少,模型自然在这个特定任务上吃亏,不代表模型学到的视觉表示质量差,只是没有针对性地强化这1000个特定概念。

这就好比考一场只考"猫、狗、汽车、飞机"这四个词汇的英语单词测验。如果你的英语学习材料里恰好很少出现这四个具体单词,但你其实读了大量丰富多样的文章、掌握了整体语言能力,你在这场特定小测验里的分数可能不如那些专门刷过这四个单词的人,但这不代表你的英语水平真的差,只是测验的考点和你的学习重点没对上。如果不做这个类别名称频次的统计分析,单看ImageNet分数,很容易得出"这批数据质量有问题"的错误结论。

团队还发现,LAION-BVD的合成描述文本长度分布明显更窄、偏长,风格类似标准化的COCO式描述("一个人在公园里骑自行车");而DataComp的原始alt-text(网页图片的替代文字)长度分布很宽,有大量非常简短的描述。这种风格差异,配合类别名称覆盖度的差异,共同解释了为什么这批数据在检索任务上强、分类任务上弱。

alt-text*：网页HTML里给图片设置的替代文本属性,通常用来给视觉障碍用户的屏幕阅读器提供图片内容说明,也常被当作图片的天然文字标签使用

从图像文本扩展定律的曲线图上能看得更清楚。ImageNet-1k错误率随算力增加下降的速率,LAION-BVD是最慢的(指数-0.07),明显不如DataComp(-0.19)和Re-LAION(-0.16)。但反过来看MS-COCO图像检索的错误率下降曲线,LAION-BVD反而是最快的(-0.20),超过DataComp的-0.15和Re-LAION的-0.16。这两条曲线一慢一快,恰好印证了同一个结论:这批数据更适合训练面向检索、面向相似度搜索的embedding模型,不太适合训练针对特定类别标签体系的分类器。

对于做实际应用的人来说,这个结论其实很有参考价值,如果你要做的是图像搜索、以图搜图、内容推荐这类检索导向的任务,LAION-BVD这类视频截图数据可能比传统网络图片数据更值得用;但如果你要做的是严格对齐某个固定类别体系的分类系统,那还是传统alt-text数据更靠谱。

**这批数据到底靠不靠谱,团队自己也做了审查**

值得肯定的是,团队没有止步于跑分,还专门做了人工审查来检验这些自动生成的字幕到底有多准。

对134个视频描述的抽样人工核查显示,79.1%的描述是准确的,18.7%存在小错误(比如把某个动作、物体或颜色说错了),只有2.2%存在严重错误。合起来看,97.8%的视频描述没有严重问题,这个准确率对于全自动生成的标注来说算是相当能接受的水平。

音频描述的审查结果稍微逊色一点,79.1%准确,14.9%小错误,6.0%严重错误,94.0%没有严重问题。主要的错误类型集中在声音事件判断错误、语音内容误听、音乐风格误判上。这个结果也说明音频理解目前比视频理解更难,自动化标注的可靠性会打个折扣。

团队还专门做了一次"数据污染"排查,检查用来生成音频描述的Audio Flamingo 3模型,是否曾经在训练阶段"偷看"过后续用来评测的AudioCaps和Clotho测试集。结果发现Clotho测试集完全没有重叠,AudioCaps测试集里有356个视频ID出现在Audio Flamingo 3的训练数据里,但配对的是AudioSet风格的粗略标签,不是AudioCaps官方的参考描述。团队进一步做了对照实验,把这些"可能被污染"的样本剔除后重新评测,发现用LAION-BVD训练的模型受到的影响反而比不用LAION-BVD的模型更小,基本排除了检索性能提升是靠数据泄露作弊得来的可能性。

这种自我审查的严谨程度,在数据集论文里不算常见。很多团队发布数据集时更愿意展示亮眼的下游效果,较少主动去挖自己数据里可能存在的问题,这次团队专门花篇幅去做污染排查和人工审计,说明这批数据经得起相对细致的推敲。

**几个绕不开的局限**

任何一个数据集都有边界,LAION-BVD也不例外,团队自己也坦率列出了几条。

所有的文字标注都是用小模型自动生成的,而且刻意控制得很短(视频20个字以内,音频10个字以内)。这样做是为了能在合理的时间和算力预算内处理上亿规模的数据,但代价是描述的丰富度和细节层次会打折扣,标注模型自身的偏见和局限性也会被继承进数据集里。

目前的验证只覆盖了对比学习这一种训练范式(ViCLIP、CLAP、CLIP都是对比学习框架),没有测试生成式的视频语言模型或者基于扩散模型的方法在这批数据上表现如何。三种模态(视频、音频、图像)也是分开单独验证的,没有做联合的音视频统一表示学习实验,这块留给了未来的研究。

数据来源基本没有加额外的安全过滤,依赖的是YouTube、Vimeo、Dailymotion这些平台本身的内容审核机制。这意味着数据集里可能残留平台审核没有覆盖到的偏见、刻板印象,或者语言、地域、话题上的不均衡分布,用这批数据训练出来的模型也可能继承这些问题。

**回望这条路:视频数据集领域是怎么一步步走到这里的**

把LAION-BVD放进整个视频文本数据集的发展脉络里看,会更容易理解它的位置。

早期的视频描述数据集大多是人工标注的,规模很小。比如2016年的MSR-VTT只有1万个片段、40小时时长；2017年的DideMo也是人工标注,2.7万个片段、87小时。这类数据集精度高但规模注定做不大,毕竟人工标注一小时视频的成本远超标注一张图片。

真正的转折点发生在自动化标注技术成熟之后。2019年的HowTo100M利用自动语音识别(ASR)从视频的语音字幕里提取文本,一口气做到1.2百万视频、1.34万小时。这条路子后来被反复借鉴,2022年的HD-VILA-100M同样用ASR,做到37万小时规模。

真正带来质变的是大语言模型和视觉语言模型的成熟。2023年的InternVid用生成式标注方法(让强大的多模态模型自动生成描述,而不是依赖原有字幕),把规模推到7.1万视频、23.4千万片段、76万小时,一度是这个领域的天花板。同年出现的Panda-70M和VAST-27M也走的是类似路线,分别用多种跨模态"教师模型"投票生成描述。

LAION-BVD的1000万小时,是在InternVid的76万小时基础上又翻了超过13倍,而且是唯一一个同时覆盖视频、音频、图像三种模态标注的项目。这不是单纯的规模竞赛,更关键的是它把"能处理多大规模的视频抓取和下载"这件工程难题,用一套可复现、可扩展的流程给出了公开方案,后续的研究者不需要重新发明轮子。

审视这条脉络会发现一个规律:每一次视频数据集规模的跃升,背后都对应着标注技术的一次进步,人工标注支撑了几万到几十万规模,ASR自动转录支撑了百万到千万小时规模,而生成式多模态大模型的成熟,让LAION-BVD这种千万小时级别、且带有多模态标注的数据集第一次成为可能。数据集规模的天花板,归根结底是被标注技术的天花板决定的。

写在后面

读这篇论文时,最让我意外的不是1000万小时这个数字本身,是那个ImageNet分类和COCO检索"一个变差一个变好"的反差结果。很多数据集论文遇到某个指标不如别人,会选择性地少提或者简单归因于"数据质量不够",但这篇论文选择去挖为什么,挖到了类别名称出现频次这样一个具体到可以量化的原因。这种做法比单纯报告"我们更好"或者"我们某方面差一点"都更有价值,它给后来者一个可操作的诊断思路:如果你的合成数据在某个基准上表现不好,先别急着怪数据脏,去看看这个基准的核心词汇在你数据里到底出现了多少次。

另一个值得琢磨的地方是WiSE-FT这个复现细节。论文数字对不上,不代表造假,可能只是一个训练后处理的技巧没写进正文摘要。这提醒我,读论文汇报的benchmark数字时,最好多留一个问号,尤其当自己复现结果对不上的时候,先别怀疑自己,去翻翻代码仓库和issue区,答案可能就藏在某个不起眼的讨论帖里。

这篇论文没解决的一个问题倒是让我挺好奇:如果把视频、音频、图像这三种从同一批素材里提取出来的模态,联合起来训练一个统一的多模态表示,会不会比现在分开训练效果更好?毕竟一段视频里画面和声音本来就是同步发生的,这种天然的时间对齐关系,现在这篇论文完全没有利用起来。

Q&A

Q1：LAION-BVD数据集的规模有多大？

A：LAION-BVD包含1.3B（13亿）条平台特定视频URL，实际下载了8000万个视频，总时长达到1000万小时，是目前最大的开源视频文本数据集之一，比之前最大的开源数据集InternVid（76万小时）大了超过13倍。

Q2：LAION-BVD数据集为什么在ImageNet分类任务上表现较差，但检索任务上表现很好？

A：研究团队分析发现，LAION-BVD的合成视频描述里ImageNet-1k类别名称只出现了2100万次，而DataComp的真实网络文字里出现了1.41亿次，差了近7倍，导致分类任务吃亏，但描述本身质量足够高，在检索任务上反而超过了其他数据集。

Q3：LAION-BVD数据集里的自动生成字幕靠不靠谱？

A：团队做了人工审查，134个视频描述里79.1%完全准确，97.8%没有严重错误；音频描述稍差一些，94.0%没有严重错误，整体质量对于全自动标注来说属于可接受水平。