LAION-BVD:开放视频数据做到千万小时,字幕却只能由模型现写

视频侧的多模态预训练，到底缺什么？

视频侧的多模态预训练，缺的不是视频本身，而是"开放 + 规模 + 字幕对得上画面"三者兼备的数据。图像侧早就把这三样凑齐了，视频侧却一直凑不齐。缺口深在哪里，得拿证据说话。

先从"对得上画面"说起。给你的视频配一句文字描述，你会写"奶油在碗里被打出尖角"，还是"欢迎来到我的频道，记得点赞订阅"？对 2019 年时规模最大的视频数据集 HowTo100M 来说，答案经常是后者。它的做法是把 YouTube 教学视频的解说词用 ASR（自动语音识别）转成文字，原样当字幕。作者抽查了 400 个"视频片段 + 字幕"配对，只有 51% 的样本里，字幕中至少有一个词能在画面里找到对应的东西。接近一半的字幕和画面各说各话 HowTo100M。

同一道题，图像侧在 2021 年就被 CLIP 解开了：把训练目标从"给图片分类"换成"预测哪段文字配哪张图"。图片和文本各过一个编码器，被映射进同一个嵌入空间，训练时在一个 batch 内构造 N×N 个配对，对角线上的才是正样本，其余全是干扰项。CLIP 用 4 亿个图文对做完预训练，在 ImageNet 上拿到 76.2% 的零样本分类准确率，没有看过任何一张 ImageNet 训练图 CLIP。

图注：CLIP 的训练格局：N 张图片与 N 条文本各自过编码器，落入同一个嵌入空间，构成 N×N 相似度矩阵，对角线上的配对是正样本；下方是传统"图片进分类器出标签"路线的对照。范式核心就是"预测哪段文字配哪张图" CLIP。

这套范式的红利在于文本是现成的：网页上给图片写的 alt-text（替代文本）抓来就能用。LAION 顺势在 2022 年公开了 58.5 亿条 CLIP 过滤过的图文对，OpenCLIP、Stable Diffusion 等开放模型都拿它当过训练数据，图像侧从此不缺公开的大数据 LAION-5B。

视频侧呢？没有网页配文这种便宜货，二十年里攒出的家底大致是这样：

四条路线各有天花板。HowTo100M 的解说词对不上画面；WebVid 的字幕写得好，但素材库视频带着版权枷锁，没法真正开放 WebVid；HD-VILA-100M 把分辨率推到 720p，字幕却还是解说词 HD-VILA；InternVid 率先让模型自己写字幕，做到 76 万小时，比所有前辈高出一个台阶；但按片段数对比（InternVid 约 2.34 亿个片段 vs 图像侧 58.5 亿条图文对），体量还差二十多倍 InternVid。

图注：HowTo100M 的任务簇抽样：每列一类任务（编织、木工测量、烹饪调味、电器维修），上下叠放若干视频画面，每帧配一行转写字幕。这些列里能看到字幕与画面时间错位、解说与画面脱节的配对，正是 ASR 字幕路线的通病 HowTo100M。

把话挑明：视频侧缺的不是视频本身，而是"开放 + 规模 + 字幕对得上画面"三者兼备的数据集。图像侧的开放是彻彻底底的：元数据公开、人人可复现、下游模型自由取用。视频侧连第一步都没人走通过。2026 年 8 月底，LAION 给出了答案。它叫 LAION-BVD，一份把规模做到千万小时级的开放视频数据集。千万小时是怎么凑出来的？

千万小时是怎么凑出来的：一张图看懂五个数字

LAION-BVD 的体量可以用一条数字链一口气讲完：1.3B → 80M → 10M → 55M → 300M。论文把整条链画在一张横向管线图里，五个数字是图上的五个路标。

图注：LAION-BVD 的数据管线全景：从 CommonCrawl 网页档案中过滤平台视频 URL，得到 1.3B 个候选；分布式下载拿到 80M 个视频、共 10M 小时；之后兵分两路，一路做视频/音频切分与字幕生成，一路从关键帧重生成字幕，产出 BVD 各子集 LAION-BVD。

逐个数字看。1.3B 是从 CommonCrawl 里筛出、做过平台过滤的候选视频 URL；80M 是分布式下载真正拿到的视频数；10M 小时是这些视频的总时长，也就是"千万小时"这个标题的出处，约等于 InternVid 的 13 倍，论文自己把它标为前所未有的规模（unprecedented scale）；55M 是场景切分后的视频片段数；300M 是从中抽出的关键帧数。公告当天，LAION 官方博客给出完全一致的五个数字，论文、博客、数据集页面三处口径对齐，说明这不是宣传稿里的水分 LAION 博客。

这 10M 小时长什么样？下载成功的子集里，YouTube 占 94%，Vimeo 占 4%，Dailymotion 占 2%；平均时长 7.7 分钟；上传年份横跨近两个十年；近一半的视频是非英语 LAION-BVD。它不是"又一个教学视频集"，更像 YouTube 生态本身的切片，什么都有。图像侧 58.5 亿条图文对养出了整个开放生态，视频侧如今第一次有了量级对应的开放数据。

这个构成也预告了后面的工程代价：平台高度集中，意味着下载要跟反爬机制打交道；近一半非英语，意味着字幕工作要跨国界；时长跨度大，意味着切分和过滤免不了一顿折腾。千万小时不是凭空掉的，它来自下面每一环"按规则丢数据"的取舍。

规模落地：下载和切分的每一环都在按规则丢数据

把数字链的起点再往回推一步。LAION-BVD 从截至 2024 年 3 月之前的所有 CommonCrawl WAT 档案里抽视频 URL，得到 47 亿个候选；限定到开源下载工具 yt-dlp 支持的三家平台后，剩 13 亿。漏斗从第一步就开始了。

图注：从候选到可训练片段的漏斗：4.7B 个候选 URL 经平台过滤剩 1.3B 个平台 URL；再从池中抽取 130M 个尝试下载，链接成功约六成，得到 80M 个视频共 10M 小时；场景切分与过滤后只剩 55M 个片段。1.3B 到 130M 只是抽取尝试范围，约六成只指 130M 到 80M 这一步。

接下来是花钱的部分。团队租了 2000 台虚拟服务器，用 Celery（分布式任务队列）做调度，租用家庭宽带的 IP（住宅代理）绕开平台限流，尝试下载 1.3 亿个视频，链接成功率约六成，最后落到 8000 万个。论文把瓶颈说得很直白：视频侧卡住的不是内容量，而是工程、算力和平台访问 LAION-BVD。这套"CommonCrawl 抓取 + 分布式下载 + 模型过滤"的三阶段，图像侧的 LAION-5B 在 2022 年就跑通了；视频侧到 2026 年才凑齐对应版本 LAION-5B。差出的这四年，主要是视频比图片重得多的带宽、存储和反爬账单。

下载完还没完，切分是第二道漏斗。8000 万段视频不能整段拿去训练：一段两小时的 vlog 里可能混着城市夜景、海边、餐厅和采访四件互不相干的事，整段配对会让模型把"这段视频对应这段文字"学得稀里糊涂。所以论文从池子里随机采样 240 万个视频，丢弃时长小于 10 秒和大于 30 分钟的，再用视频场景检测库 PySceneDetect 按内容变化切场景，最后用低分辨率采样估计帧间运动，把画面几乎不动的静态片段也扔掉，剩下 5500 万个场景片段。场景级的片段更接近人类标注的粒度，字幕和画面的对齐更紧凑。另一条支线 BVD-I-300M 走关键帧：抽帧、滤黑帧、保留场景切换帧，凑到 3 亿帧 LAION-BVD。

这套流程在代码仓库里就是四个目录：0_download、1_curation、2_captioning、3_training，与论文四阶段一一对应，下载模块是工程量最大的部分，连 worker 被封禁后的暂停策略都写进了代码 BVD 仓库。

到这一步还差最后一块拼图：5500 万个片段没有字幕。这一环，决定整个数据集的天花板。

字幕决定了数据的天花板：让模型自己看图说话

回到开头的 51%。HowTo100M 用解说词当字幕，HD-VILA-100M 把这条路推到 720p，再用时间对齐把句子切到对应画面段，但字幕本身还是解说词：说得热闹，与画面无关。HD-VILA 论文自己也承认这些字幕"碎片化、缺标点"。字幕不描述画面，会显著削弱视频—文本对齐信号，因而成为该路线的主要限制 HD-VILA。

2023 年起，答案变成让模型自己看图说话：把视频帧交给视觉语言模型（VLM），生成真正描述画面的文字。这条路上有两个著名的先行者，选了两种不同的"求稳"方式。

图注：InternVid 的多尺度字幕管线：同一个 video clip 走两条通路，fine scale 用 Tag2Text 逐帧打标、再交给语言模型汇总成整段视频描述，coarse scale 只取中间一帧生成一句话，两路输出合并成最终字幕 InternVid。

InternVid 走"多尺度综合"：逐帧打标后再用 T5 或 Vicuna 汇总成一段完整描述 InternVid。Panda-70M 走"多 teacher 选优"：请 8 个不同的多模态模型各写一版候选字幕，再训练一个检索模型挑出最好的一条。它做过两项用户调研：「选最好」调研中没有任何单个 teacher 的选中率超过 17.85%；「选所有好字幕」调研中，全部 31 个候选模型联合起来才能覆盖 84.7% 的片段，而精选出的 8 个 teacher 联合覆盖 76.8%。字幕好不好，真没有单一最优解 Panda-70M。

LAION-BVD 选了第三条路：三个小模型、分模态、统一写短句。视频字幕用 Qwen3-VL-2B-Instruct，每个片段最多取 32 帧，prompt 明确要求"20 词以内描述这段视频"；音频字幕用 Audio Flamingo 3，限制 10 词以内，正好对齐 AudioCaps 和 Clotho 这类音频标注的自然长度；关键帧重字幕用 DeepSeek-VL2-tiny LAION-BVD。

短字幕不是偷懒，是刻意为之。对比式预训练要的只是"这段文字配得上这段画面"的判别信号。给新闻照片配一行说明就足以判断"这张图说的是这件事"，报道再长再精彩也不是这张照片的标注；句子短，对齐的噪声就小，生成成本也低。千万小时的字幕全由模型现写，词数减半等于算力减半。三条路的取舍放在一起看：

生成好的字幕按模态分派：BVD-V-55M 喂 ViCLIP 学视频-文本对齐，BVD-A-10M 喂 CLAP 学音频-文本对齐，BVD-I-300M 喂 CLIP 学图像-文本对齐。注意，这是三条独立通路，不是把音视频揉进一个联合编码器；能不能做出真正的音视联合表征，论文把它列成了待补的局限。

字幕策略决定了数据的天花板。LAION-BVD 用"短、对得上画面"的机器字幕替换了 ASR 的"长、对不上"，代价是字幕风格被模型和词数框住。这个代价，在评测里现了形。

规模兑现了吗？一个反直觉的结果出现了

千万小时砸进训练，学到的能力对得上这个规模吗？先看一个前置证据：InternVid 用自己训的 ViCLIP 画过 scaling 曲线，训练片段从 1000 万加到 2 亿，动作识别几乎线性上涨，检索在 5000 万之后开始边际递减 InternVid。这两条曲线是 InternVid 论文里的结果，不是 LAION-BVD 的训练曲线；把它放在这里，只是说明"在这个范式下，规模确实在起作用"。LAION-BVD 的上涨不是无中生有。

LAION-BVD 自己的数字：只看了 5000 万个样本的 ViCLIP，在动作识别与检索共七项评测上的平均分 62.0，反超 InternVid-10M-FLT（InternVid 的 1000 万段精选子集）在复现管线下的 58.0；用 WiSE-FT 合并 checkpoint 后还能到 62.6。音频侧 CLAP 在 BVD-A-10M 上平均 48.7，与同尺度基线相当或更好 LAION-BVD。规模没有辜负检索类任务。

但真正反直觉的发现藏在图像侧。BVD-I-300M 用关键帧配字幕训练 CLIP，在 MS-COCO 检索 R@5 上拿到 T2I 0.63、I2T 0.80，反超 Re-LAION-2B 和 DataComp-1B；在 ImageNet-1k 零样本分类上却明显落后。同一个数据集，两种评价，检索越强、分类越弱。

图注：论文的 scaling 对比图，两栏并置：左栏 ImageNet-1k 零样本错误率，LAION-BVD 落在 Re-LAION 与 DataComp-1B 上方，错误率更高；右栏 MS-COCO 检索 R@5 错误率，LAION-BVD 的曲线更陡、错误率更低。规模兑现与分布偏移在同一张图里同时出现 LAION-BVD。

为什么分类弱而检索强？论文给出的解读是：合成字幕缺少"标签感"。网页的 alt-text 常直接出现类名，"橘猫""钢琴"这类词天然贴合 ImageNet 的分类题；模型写的描述句语义丰富，做检索有利，却少了那种"这是一张猫的照片"的标签偏置。注意这是论文的归因，不是已盖棺的结论。另外别被图误导：曲线更陡只说明 scaling 的速度，不说明绝对值更好。

这个结果真正想说的是：开放数据的价值要分任务检验。规模把检索喂饱了，也把分布偏移一起带来了。字幕是什么风格，模型就继承什么风格。

边界在哪？为什么值得关注

LAION-BVD 不是孤立的一份数据，它是 LAION 开放数据家族堵上的最后一格。把家族成员按时间排开：

图注：LAION 开放数据家族时间线：图像侧 LAION-400M 与 LAION-5B 打底，2024 年 CSAM 清理后的 Re-LAION-5B 与音频侧 DISCO-12M 分头补位，2026 年 8 月由视频侧 LAION-BVD 收口。

2023 年底，斯坦福的一项调查在 LAION-5B 里发现疑似违法链接，团队当日下架数据，2024 年 8 月重发清理过的 Re-LAION-5B 并改为受控访问；同年 11 月音频侧 DISCO-12M 上线。视频这一格，2026 年 8 月由 BVD 补上 LAION 博客。需要说明的是，"家族序列"来自博客语料的归纳，BVD 公告只明文提到了 LAION-5B。

发布策略延续了图像侧的老规矩，分两层。第一层，1.3B 条 URL 与元数据全量公开，任何人都能下载 Hugging Face。第二层，8000 万段原始视频不直接分发：研究机构要先过使用条款和学术申请，通过 GRASS 传输到自己的存储桶，出口流量费最高约每 TB 2.5 美元；带字幕的片段子集也走这条受控通道，仅限研究用途、禁止商用 BVD 仓库。先公开便宜的元数据，再受控放出昂贵的内容；受控访问 + 研究用途的治理路线在 Re-LAION-5B 上已经演练过（其元数据同样走 HF 门控），BVD 走的是同一条治理路线；严格说，"继承"是组织叙事的归纳，公告本身并没有点名自述。

展开边界，还有更具体的账。论文列了四条自陈局限：字幕自动生成且故意做短，风格与丰富度受限，还可能带入生成模型的系统偏差；评测只覆盖了对比式模型，没碰生成式视频模型；三模态分开训练，没有真正的音视联合表征；平台自带审核不等于没有偏差，地域、语言、主题的不均匀会被模型继承 LAION-BVD。加上数据构成里那个近一半的非英语占比：这么多人说的是别的语言，字幕却统一是英语，这一层跨语言偏差论文没有展开，但它已经写在了构成里。

同时间窗的对照提醒我们，这个体量不是独一份。2026 年 5 月的 HumanNet 把人类活动视频做到 100 万小时，走第一/三人称视角的 embodied（具身智能）路线，目标是机器人学习；LAION-BVD 走的是通用多模态预训练。两条赛道补的是不同的缺位，不存在谁吞掉谁 HumanNet。两者的治理姿态也不同：HumanNet 把隐私审查、许可清理和访问控制写进方法论，LAION-BVD 延续的是"URL 公开 + 内容受控"的 LAION 老配方。

图像侧的经验在视频侧被重新检验了一遍：规模确实换来了能力，也一并换来了偏差。LAION-BVD 的价值不在"又一个更大的数据集"，而在把开放数据家族最后一块拼图放上桌，同时把账单一并摊开：偏差、分布偏移、治理责任，都是这份数据自带的标签。视频侧终于有了自己的 LAION-5B，成色如何，用的人说了算。

想深入可以读原文：LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training — arXiv:2608.24845

参考文献

1. LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training — https://arxiv.org/abs/2608.24845
2. LAION-AI/BVD GitHub 仓库 — https://github.com/LAION-AI/BVD
3. LAION-BVD Hugging Face 数据集集合 — https://huggingface.co/collections/laion/bvd-big-video-dataset
4. LAION Blog: LAION-BVD 公告 — https://laion.ai/blog/bvd
5. LAION-5B: A New Era of Open Large-Scale Multi-Modal Datasets — https://laion.ai/laion-5b-a-new-era-of-open-large-scale-multi-modal-datasets/
6. CLIP: Learning Transferable Visual Models From Natural Language Supervision — https://arxiv.org/abs/2103.00020
7. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips — https://arxiv.org/abs/1906.03327
8. Frozen in Time (WebVid): A Joint Video and Image Encoder for End-to-End Retrieval — https://arxiv.org/abs/2104.00650
9. InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation — https://arxiv.org/abs/2307.06942
10. Panda-70M: Captioning 70M Videos with Multiple Cross-Modality Teachers — https://arxiv.org/abs/2402.19479
11. HD-VILA-100M: Advancing High-Resolution Video-Language Representation with Large-Scale Video Transcriptions — https://arxiv.org/abs/2111.10337
12. HumanNet: Scaling Human-centric Video Learning to One Million Hours — https://arxiv.org/abs/2605.06747