PTD：视频定位从逐帧解码到并行，快 79 倍还更准，只是各帧的框互不参考
一、一句描述换一条时空管：先看清任务，数字才有坐标
想象一段三十秒的监控视频，你敲下一句话：「找出那个穿红衣服、正蹲在地上接玩具的男孩」。模型要交回的不是一个答案，而是三样东西：事件发生的起止时刻，以及这段时间里每一帧上男孩的包围框，一帧都不能少。这串逐帧框连起来，就是一条「时空管」（spatio-temporal tube）。完成这件事，旧路是串行的：一帧的框画完，才轮到下一帧，后一帧的框拿前一帧当条件。慢和错都长在这根串行上，管子越长要等的轮数越多，某一帧的框一旦画歪，后面每一帧都被带偏。2026 年 8 月挂上 arXiv 的论文 Locate Anything in Videos 要剪断的正是这根链：它的方案 Parallel Tube Decoding（PTD）让所有帧的框在同一轮一起出生、互不参考，一条管从 31.6 秒缩到 0.4 秒，快 79 倍，框还更准。全文主线由此压成两个问题：串行吐框为什么又慢又易错？并行凭什么敢放手，不怕各帧的框互相对不上？
两个问题为什么值得问，先得看清任务有多刁钻。它的正式名字是时空视频定位（spatio-temporal video grounding，STVG），比更早的纯时间定位难一个维度：纯时间定位只回答「何时」，给出起止时间戳就算赢；STVG 要求同时回答「何时」和「在哪」，两个答案还必须同时成立。举个具体的场景，监控里男孩第 5 秒才出现、第 12 秒完成接玩具，模型把时间区间答成 0 到 20 秒算错，某一帧的框画偏了也算错。任务所在的位置很关键：定位是视觉交互的入口，检索一段视频、问答一个画面、编辑一个目标，前一步都是先找到对象在哪。 STVG
两个问题要落地成数字，评测指标先把「同时成立」钉成了硬规则。m_tIoU 衡量预测时间区间与真实区间的重叠度；vIoU 更狠，只在两个时间区间相交的帧上逐帧算包围框的 IoU，再取平均。时间边界偏一点、或者某一帧的框偏一点，整条管都要扣分，时间对了、框不准，照样不得分。这套规则和串行解码的毛病正好咬成一个死结：任务要求逐帧都准，串行却让每一帧的框都依赖前一帧的框，一边是一帧一帧地等，另一边让一次小错顺着轨迹滚成整条管的错。慢和错，是同一个串行根上长出的两片叶子，这正是全篇所有数字的坐标系。
图注：STVG 任务的输入输出示意。同一段视频配上不同形式的句子，都要输出一条逐帧包围框组成的时空管。左右两侧分别给出陈述句与疑问句两种写法，箭头指向它们各自对应的目标管。VidSTG
任务描述本身还分两种，数字也跟着分两本账。VidSTG 把查询句分成陈述句和疑问句：陈述句描述目标已知的属性，疑问句要模型先靠关系推理猜出目标是谁，后者目标类别未知、难度更高，论文里所有精度数字都会按这两类分别报告。支撑这套坐标的基准有两块：VidSTG 是通用型，涵盖 6,924 段视频、99,943 条句子与 79 类目标；HC-STVG 聚焦多人监控，论文的全部实验都在这两块上展开。
把任务接到大模型上，最自然的做法是让多模态大语言模型（MLLM）把时间戳和坐标当成 token 一个接一个地吐出来。模式顺理成章，可代价出人意料地大：串行的慢和串行的易错，恰好都在这个最自然的做法里同时发作，这正是第二章要拆开的问题。PTD STVG综述 HC-STVG
二、大模型会做定位了，却卡在速度上：框越多越慢，一帧错、帧帧错
在 MLLM 进场之前，STVG 已经有一整条判别式谱系。早期方法像 STGRN 走两步：先生成一组候选框提案，再做匹配；TubeDETR 抛弃提案，用一套 DETR 式解码器把时间和空间联合解出来；STCAT 又给这套并行逐帧预测补上一致性约束。它们各有建树，但共同点是目标类别要靠训练数据事先定死，泛化吃力。
为什么一定要迈过判别式这道坎？因为定位是视觉交互的入口。检索一段视频、问答一个画面、编辑一个目标，前一步都是先找到对象在哪。把定位交给大模型，等于让这扇门复用语言模型的开放词表与推理能力，这是生成式路线的根本动机。代价随之而来，第一个瓶颈出在解码速度上。
MLLM 时代换了一条路：把定位当成生成任务。坐标先归一化到 0 到 1000，再量化成这 1,001 档里对应的离散 token，模型像写文章一样自回归地把答案吐出来。语法是这样的：先吐时间块，4 个 token 给出起止时刻；再为每一帧吐一个空间块，由 7 个 token 组成，依次是时间锚、开标签、四个坐标、闭标签。于是完成一条 T 帧的时空管，串行轮数是 $4+7T$。这个式子的后果是灾难性的。
问题有两个，而且叠在一起。第一，token 数随视频长度线性上涨，30 帧的管就要串行吐 214 个 token，帧越多越慢，这是纯粹的吞吐灾难。第二，错误沿轨迹传染：自回归解码里，前一帧的框是后一帧的生成条件，只要某一帧框错，后面每一帧的框都被带偏，误差像多米诺骨牌一样一帧压一帧。论文在消融里把四种解码策略摆开，用 TCL 度量生成完整条时空管的延迟，把 Tube Completion Latency 的英文全称缩成了这三个字母。TCL 从逐 token 解码的 31.6 秒，降到坐标量化后的 9.1 秒，再降到块式解码的 1.0 秒，而最慢的那一档精度也最低。
同期还有一条完全不同的规避路线：不救 LLM，而是把空间框外包出去。SpaceVLLM 把专用空间解码器挂到 MLLM 旁边，由它负责逐帧坐标；Bridge-STG 再进一步，让 MLLM 只回答时间区间，把逐帧框交给专用空间解码器 QGSL，换来 88.6% 的 token 削减和 3.6 倍的总延迟加速，两组数字都相对 LLaVA-ST 而言。这条路线治标不治本：要多养一个专用模块，逐帧框照样一帧一帧地算，只是从 LLM 挪到了别处。而且这类外挂专用模块通常与特定骨干耦合较深，更换骨干往往需要重新训练对应模块，难以像原生 token 解码那样随模型即插即用。
图注：Bridge-STG 的整体架构，代表 PTD 之外的另一种解题思路。左侧视频与查询进入 MLLM 主干，主干只输出时间窗口与 [DET] 信号，中间的桥接查询 Q_bridge 把语义传给右侧的 QGSL 空间解码器，由它逐帧产出包围框。空间定位被整体外挂到了 LLM 之外。Bridge-STG
所以摆在论文面前的问题是：能不能不换模块、不动架构，就在 token 层面把「串行吐框」直接改成「并行吐框」？读完它的方案再回头看，你会觉得答案竟然如此顺理成章，可此前偏偏没有人这么干过。TubeDETR STCAT SpaceVLLM
三、反直觉的一步：先定时间，再让所有帧的框一起生成
论文把解码策略系统梳理成四档，并定义了一个关键指标：sequential decoding depth，即产出整条时空管所需要的串行轮数。
第一个档位是 Unquantized，坐标直接写成文字，一个「512」要拆成多个语言 token，每个定位都要好几步，深度可达 $4+7T$ 的量级。第二个档位是 Quantized，坐标离散成单个 token，每个空间块固定 7 个 token，深度仍是 $4+7T$。第三个档位是 Sequential Block Decoding（SBD）：每个定位单元作为一个结构化块整体并行预测，块内无依赖，但块与块之间依然串行，深度降到 $1+T$。第四个档位就是这篇论文的主角 Parallel Tube Decoding（PTD）：时间块先定出全局事件区间，然后每个空间块直接从对应的时间锚出发、在同一轮全部并行生成，深度固定为 $1+1$，与管子有多长彻底无关。
图注：论文 Figure 1，四种解码策略的依赖结构对比，从上到下依次是 Unquantized、Quantized、Sequential Block 与 Parallel Tube（PTD）。每行展示从输入视频与查询到 token/block 序列的连线，红色是时间 token、紫色是空间 token。最后一行只有单个时间块加一排互不连线的并行空间块，串行深度从 $4+7T$、$1+T$ 一路降到 $1+1$。PTD
论文敢不敢把这条链剪断，是全文最关键的一步。它把整个生成过程改写成因式分解：$p(B_{s:e}\mid P)=\prod_{i=s}^{e} p(B_i\mid P,\langle t_i\rangle)$，意思是每一帧的框只由三样东西决定：共享的视频与查询前缀 P、预测出的时间区间、以及该帧自己的时间锚。PTD 选择并训练为在给定共享前缀和时间锚时条件独立地产生各帧框；这还是一项设计假设，而不是已被证明的因果事实，它是否足够，要交给论文后面的实验来检验。
时间块先行由此还多了一层作用：它给所有并行块提供一个公共坐标系。没有这个公共前缀，各帧的框会在各自的世界里自说自话，连「框的是同一个人」都无法保证。训练时模型同时优化逐 token 的语言目标和块级并行的结构化目标，两套表达都学，推理时才能按需切换。
打个考场比方。全班闭卷考同一份卷子，每道题对应一帧：「红衣服男孩在第 i 帧的框画在哪」，题目已知视频和查询，每位考生只答自己那一帧的题。答案由题目本身决定，这正是 PTD 赌上的假设：邻座答案只是噪音，抄了还可能把别人的错答案带进来，而这正是错误沿轨迹传播的机制。先定时间区间，相当于监考老师先宣布「就考这一段」，之后所有题目可以同时开答。
反常之处在于：并行不仅更快，还更准。四种策略的平均预测管长逐档递增，从 12.3 框涨到 17.7 框，PTD 预测的管子最长，精度却最高、速度也最快。这说明瓶颈从来不是「框得不够多」，而是串行链本身。不过这里还留着一个疑点：块之间真的完全不需要互相看吗？哪怕只是为了对齐目标身份？下一章那张注意力掩码图，就是对这个问题的正面回答。
四、并行不串味的关键：一张注意力掩码
PTD 的核心结构叫 Decoupled Block Attention（DBA，解耦块注意力）。名字拗口，意思很直白：三类注意力共处一个模型，各管一段。共享的多模态前缀内部保持标准因果注意力，前缀里装着视频、查询和预测出的时间块；每个空间块内部用双向注意力，让一个框的 7 个 token 能联合预测；而跨空间块的部分，全部被掩码物理屏蔽。每个空间块能看见的只有前缀和自己，看不见任何其它空间块。
图注：论文 Figure 3，DBA 的注意力掩码矩阵。对某一个空间块而言，共享多模态前缀占据矩阵上方，块内单元格是亮的（双向注意力），其它空间块对应的区域被掩码成暗区。这张图画的就是「能看见什么、看不见什么」的边界。PTD
对照 SBD 就明白这张掩码的分量。SBD 在块与块之间用因果注意力，第 3 帧的框会参考第 2 帧的框，第 4 帧又参考第 3 帧。推理上这是合理的轨迹约束，可它同时是错误传播的管道。论文用一个干预实验把这个机制钉成了证据：把某帧的框人为替换成真值，观察它对未来帧的影响，结果邻近未来帧的改善最大、改善随解码距离 j−i 增大而衰减。这正是「错误沿轨迹传染」的直接测量，PTD 用一张掩码把这根链条物理切断了。
要强调一点：DBA 不是推理时的小技巧，训练时就把这套掩码焊进了模型结构里。块内并行预测在主流高效推理里已经常见，但那只是消掉单个块的内部依赖；PTD 进一步把块与块之间的那根链也一起剪断，模型从训练第一天起就以「互不相看」的方式学画框。
回到考场的比方：DBA 就是那块挡板。挡住邻座答案的同时，也挡住了抄错的机会。但它不是免费的。切断跨块依赖，等于同时放弃了轨迹级的纠错能力，模型不能再靠「前几帧框得对」来兜底「这一帧框得偏」。这个代价现在看起来只是理论上的，到第六章会兑现成具体的失败案例。
效率问题到此解决，但精度还有最后一公里：训练时用的 SFT 只教模型把 token 说对，可框画得准不准，交叉熵并不直接关心。怎么补上这一课，是下一章的事。
五、时间边界和框几何是两类错误：给它们分开计分
SFT 用交叉熵监督每个 token 的表达，坐标量化成 token 之后，框的几何精度并没有被直接优化。论文在 SFT 之上叠加一层基于 GRPO 的策略优化，奖励设计只有两条，各治一种病。
时间奖励是预测区间与真实区间的 tIoU，专治「只框出最显眼的片段、漏掉完整事件」。空间奖励只在预测与真实时间区间的相交帧上计算，取 GIoU 与 L1 距离的组合，专治「框偏移、框松散、框漂移」。两类错误性质完全不同，时间错了是事件没认全，空间错了是几何没画准，所以分开监督，各给各的梯度信号。
消融实验证明这个拆分是必要的：
| 奖励配置 | Decl m_tIoU | Decl m_vIoU |
|---|---|---|
| 仅时间奖励（tIoU） | 53.8 | 37.4 |
| 仅空间奖励（GIoU−L1） | 51.8 | 37.2 |
| 两者组合 | 53.7 | 38.3 |
单独加时间奖励，事件覆盖先回来，m_tIoU 从 50.0 推到 53.8；单独加空间奖励，框收紧，m_vIoU 干到 37.2；两者组合取得最高 m_vIoU（38.3），同时以 53.7 的 m_tIoU 保持接近单独时间奖励的水平。这不是逐项全胜：组合的时间项比单独时间奖励低了 0.1，空间项却再进一档，赢面在于更均衡，而不是样样第一。反过来读这张表同样有信息量：只给空间奖励时时间又退回去了（m_tIoU 51.8），只给时间奖励时框还是松的（m_vIoU 37.4），说明两类信号互不替代，缺一个就塌一边。训练在 SFT 之后进行，模型按 PTD 格式一次生成整条候选管，奖励按这两条分别计分，策略再按相对好坏更新。同期工作 STVG-o1 走的是另一条路子，用五维 reward 加 bounding-box 思维链来精修，理念与 PTD 一致：多维奖励才能治 grounding。区别在于 PTD 没有思维链 token，奖励只落在 STVG 的两头，时序与几何，精确聚焦。STVG-o1
至此三件套齐了：并行解码解决效率，掩码保证并行安全，分开计分的奖励补上精度。它在标准基准上到底能走多远，是最后一个问题。
六、快了 79 倍还更准：4B 打赢 7B，边界与设计正好对称
先看效率轴，这是论文的招牌。在同一套硬件上（单张 64GB AMD MI210、batch 1、BF16），四种策略的实测如下。BPS 即空间解码吞吐，指的是每秒能产出的框数：
| 解码策略 | Decl m_tIoU | Decl m_vIoU | TCL（秒） | BPS |
|---|---|---|---|---|
| Unquantized | 42.8 | 27.4 | 31.6 | 0.5 |
| Quantized | 43.3 | 28.7 | 9.1 | 1.5 |
| Sequential Block | 47.2 | 31.2 | 1.0 | 8.8 |
| PTD | 47.5 | 32.9 | 0.4 | 45.9 |
79 倍的延迟降低和 92 倍的空间解码吞吐，都是相对标准逐 token 自回归解码而言，口径需要说清。更值得注意的是缩放行为：tube 从 8 帧涨到 64 帧，块式解码的延迟从 0.72 秒涨到 6.18 秒，PTD 只从 0.33 秒挪到 0.40 秒，近乎水平。深度 1+1 的设计承诺在这里兑现成了实测曲线。同期 Bridge-STG 的 3.6 倍加速是相对 LLaVA-ST 的另一套 baseline，两组数字不能直接相除，但可以并列读：一条走外挂解码器、一条走原生并行，都在压同一笔 token 负担。
79 倍意味着什么？把同一个查询交给用户，旧的逐帧做法要等半分钟才看到结果，PTD 是话音落下就出结果。对监控回放、视频检索这种要反复试查询的场景，这是从「能跑」到「能用」的分界线。别忘了效率数字是在单张 64GB AMD MI210 上测的，换成更常见的消费级硬件，绝对延迟会变，但「深度与管长无关」的相对优势不会消失。
再看精度轴。VidSTG 主表上，PTD 只用 4B 的 Qwen3-VL 做骨干，Declarative 达到 53.7/38.3（m_tIoU/m_vIoU），Interrogative 52.2/32.4，8 项指标里 7 项胜过 7B 级对手，包括 Bridge-STG（52.6/37.2）与 STVG-o1（52.1/33.5）。HC-STVG v1/v2 上 m_vIoU 双榜第一（45.6/43.6），vIoU@0.3 与 vIoU@0.5 也是全体最高。4B 打赢 7B 这句话需要先圈定范围：它是在这组方法、骨干与基准的对比中取得的结果，不代表小模型普遍更强。至于效率释放与并行结构在这中间各贡献了多少，论文没有给出足以归因的证据，仍是一个待验证的问题。
泛化轴同样亮眼：零样本迁移到时间定位（Charades-STA 的 mIoU 52.4，比此前最强零样本高 4.7；ActivityNet Captions 的 mIoU 44.6，比 VideoChatR1.5-7B 高 9.1）、grounded VideoQA（ReXTime 的 IoU-Mean 47.8，超出最强零样本基线 15.6，甚至反超微调过的模型）、以及指代视频跟踪（Ref-DAVIS 上 J&F 82.9）。
图注：论文的定性对比图。逐帧网格上彩色包围框标记空间预测，水平色条标记预测的时间区间，将 PTD 与 STVG-R1、DEViL 等先前方法对照。三类难例分别是相似干扰物下的目标区分、目标逼近镜头时的尺度突变、以及按事件而不是按目标可见全程来定位时间。PTD 直接一次生成时间区间加完整空间管，而 STVG-R1 与 DEViL 依赖外部检测或追踪模块拼装管子。PTD
图里每一行对应一个难例，可以想象成三种战场。第一种难在分辨：目标和一群体貌相近的人同框，靠相似性匹配轮廓的方法容易盯错人，PTD 靠语言查询的细粒度语义锁定目标。第二种难在尺度：目标走向镜头，框要从远处的小框一路放大，外挂跟踪器在这种突变下容易跟丢，PTD 的每个框独立从视觉证据出发，反而稳。第三种难在时间：目标全程都在画面里，但事件只发生在中间一小段，只框全程不框事件的模型等于没答对，PTD 的时间块负责把事件边界切准。
数字漂亮，但这篇论文最值得读的部分是它的失败案例，因为边界恰好与设计对称。论文点名两类失败：第一类是时序上极其细微的状态变化，事件边界变得模糊，预测区间要么多出一截、要么少截一段；第二类是小目标快速运动或重遮挡后的定位失败，尤其是目标被遮挡一段时间后，模型认不回它。第二类失败不是意外，正是第四章那个代价的兑现：并行放弃轨迹级纠错，遮挡期间信息断档，没有了前一帧框的轨迹兜底，重识别就成了孤军奋战。
所以怎么给这篇论文定位？它打破的是一个默认假设：空间轨迹解码必须串行。在它之前，Token 逐帧吐、块式逐块吐、外挂解码器逐帧算，三条路都默认框之间有依赖、必须一帧一帧来；PTD 挑战了必须显式串行建模这种默认做法，并以实验显示在这些基准上可不依赖跨帧框而取得更好结果，再用掩码把跨块依赖物理切断。这是范式级的破假设，不是调参式的增量。它也明确不是万能钥匙：多段不连续事件、多实例响应同一查询，作者都标注为开放问题；更大骨干上能否缩放也仍是未验证的问题；数据稀缺也让这条路线暂时被钉在 VidSTG 和 HC-STVG 两个基准上。
一句话记住它：让一帧帧的框同时出生，代价是它们从此互不相认；快与准都来自这次放手，失败也来自同一次放手。
想深入可以读原文：Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding — arXiv:2608.28192（代码：ParallelTubeDecoding，权重：Qwen3-VL-4B 版模型）
参考文献
- Locate Anything in Videos: Rethinking Efficient Generative Spatio-Temporal Video Grounding（PTD，论文主角）— arXiv:2608.28192，https://arxiv.org/abs/2608.28192
- Temporal Sentence Grounding in Videos: A Survey and Future Directions（TSGV 综述）— arXiv:2201.08071，https://arxiv.org/abs/2201.08071
- Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences（STVG 任务与 VidSTG 数据集）— arXiv:2001.06891，https://arxiv.org/abs/2001.06891
- TubeDETR: Spatio-Temporal Video Grounding with Transformers — arXiv:2203.16434，https://arxiv.org/abs/2203.16434
- Embracing Consistency: A One-Stage Approach for Spatio-Temporal Video Grounding（STCAT）— arXiv:2209.13306，https://arxiv.org/abs/2209.13306
- Human-centric Spatio-Temporal Video Grounding with Visual Transformers（HC-STVG）— arXiv:2011.05049，https://arxiv.org/abs/2011.05049
- SpaceVLLM: Endowing Multimodal Large Language Model with Spatio-Temporal Video Grounding Capability — arXiv:2503.13983，https://arxiv.org/abs/2503.13983
- Bridging Time and Space: Decoupled Spatio-Temporal Alignment for Video Grounding（Bridge-STG）— arXiv:2604.08014，https://arxiv.org/abs/2604.08014
- Thinking With Bounding Boxes: Enhancing Spatio-Temporal Video Grounding via Reinforcement Fine-Tuning（STVG-o1）— arXiv:2511.21375，https://arxiv.org/abs/2511.21375