空间音频 vs 具身智能:一份读博选方向的两块研究地图

选方向最难受的状态不是「什么都不会」,而是「两边都动过手,但没有地图」——知道双耳渲染能跑通,也知道仿真器加模仿学习能跑通,可是不知道这两个方向各自还剩哪些活、谁在做、值不值得押上三年。

这篇不重讲 HRTF 是什么、行为克隆是什么。它做的是另一件事:把两个方向的研究版图各画一张,标出近两年真正活跃的格子、每个格子的代表工作与已知失败模式,再落到「谁在做、能不能先跑一段代码试试、最后怎么选」。


一、戴上耳机听到邻居上楼、机器人去厨房拿杯子:两个方向各自在解决什么问题

空间音频的问题可以压成一句话:只有左右两个耳道口的信号,怎么让人听出「声音从哪个方向来、这是个什么样的空间」。深度学习进来之后,这件事分岔成了两条并行的范式。一条是显式 HRTF 滤波——先用网络预测出这个人的个性化 HRTF,再走传统的 HRIR 卷积渲染;另一条是端到端双耳合成——跳过显式的 HRTF,直接把单声道音频(外加可选的视觉、文本或空间参数)映射成双耳信号,让网络自己隐式学空间线索。

空间音频的两条主范式

图注:双耳音频重建的两条主范式对照:(a) 基于 HRTF 的滤波,(b) 端到端双耳合成。图只画到「范式」这一层,不代表任何具体网络结构。双耳个性化综述

这张图适合当空间音频这一侧的坐标原点:数据驱动拟合方向感的那套做法落在左边 (a) 这一支,右边 (b) 是近几年新长出来的地盘。有一点必须先说清楚——这篇综述的覆盖窗口严格截至 2025-09,它把 HRTF 个性化的输入按形态学特征、环境线索、稀疏测量分成三类,并且明确诊断了一个贯穿全场的问题:信号级客观指标与人耳实际听感的相关性很差。后文会提到的 HRTFformer(2025-10)和 MERL 的神经场教程(2025-11)都在它的覆盖范围之外 双耳个性化综述。

具身智能这边同样可以压成一句话:让智能体在真实物理世界里把「看见—听懂—决策—动手」这个闭环跑完。这个方向近年被组织得最清楚的一张分类图来自视觉-语言-动作(VLA)模型综述。

VLA 模型的四类分类树

图注:VLA 模型的分类树,根节点向下分出四个并列的一级分类——Components of VLA、Control Policies、Task Planners、Datasets & Benchmarks,每类下再分 6–9 个二级子项。四个分类是平行的四摊活,不是流水线上的四道工序。VLA 综述

这张图的实用价值在于把「哪一摊活值得挑」摊开了:仿真器加模仿学习跑通的东西,落在 Control Policies 这一支的入门层;再往上走是 Transformer 化的控制策略,最上层才是那些建在大模型之上的 Large VLA。值得注意的是这篇综述对 VLA 采取了宽定义——任何把视觉与语言输入接到机器人动作上的模型都算,不必自己训一个 7B 的多模态大模型才有资格进场 VLA 综述。

接下来两章,就是把这两张坐标图上「近两年真正有人在做」的格子逐个标出来。


二、空间音频这块地图:个性化 HRTF、神经声场、视觉条件三条线各自还剩什么活

这一章按三条子方向切,每条给同样的三栏:机制是什么 → 拿什么评测 → 已知在哪儿失败。

2.1 个性化 HRTF:数据稀缺被「检索」接住了

这条线最活跃的推进来自 RANF。它的机制是把两条原本各走各路的思路缝在一起:神经场(把 HRTF 当作声源方向的连续函数来拟合)和被试检索(从数据库里挑一个听起来最像的人)。

换个场景就很好懂:手上只有一个学生的三次作业,却要判断他整个学期的学习曲线——硬从这三次里推,多半是过拟合;换个做法,先从往届档案里挑出这三次表现最接近的五个人,把他们完整的学期曲线一并摆到桌面上,再去推这个新学生。RANF 干的正是这件事——按 ITD 误差检索出 K=5 个最相近的被试,把这些人在目标方向上的 HRTF 幅度和 ITD 一并喂给神经场当上下文,而不是逼模型把一切都塞进自己的参数里。对应关系是严丝合缝的:三次作业 = 3 个稀疏测点,往届档案 = SONICOM 数据库,挑五个人 = K=5 检索,摆上桌面 = 检索结果作为网络输入。

RANF 的四步流程

图注:RANF 的四步流程。① 从数据库检索 K 个被试;② 算出这些被试在目标方向 d 上的 HRTF 幅度与 ITD;③ 选取被试专属参数;④ 神经场综合以上信息,输出目标被试在方向 d 上的 HRTF 幅度与 ITD。图是架构无关的抽象示意,不代表某种具体网络(如 Transformer)。RANF

评测:SONICOM 数据集、3/5/19/100 四档稀疏度,指标是 LSD / ILD / ITD。在 3 个测点下,RANF 的 LSD 为 4.4 dB、ITD 为 20.5 μs,优于纯神经场路线(NIIRF 的 LoRA 方案在同档位 ITD 劣化到 28.6 μs——被试专属参数太多、数据太少,直接过拟合)。已知失败模式:优势在密集采样时消失——100 个测点下 NIIRF 的 ITD 反而更好(9.1 μs vs 10.0 μs),因为数据够多时纯神经场的容量已经够用,检索这层结构不再带来额外信息 RANF。

同一个子问题上还有一条完全不同的技术路线在并行推进:HRTFformer 不走神经场,而是把 HRTF 转到球谐(SH)域,用 Transformer 做上采样。

HRTFformer 的 SH 域上采样流程

图注:HRTFformer 的上采样流程:低分辨率 HRTF 先转到球谐域得到 SH 系数作为输入,编码器抽取全局与局部空间特征并压缩为潜表示,解码器据此外推与内插出更高阶的 SH 系数,最后反变换回高分辨率 HRTF;同一模型在四档稀疏度下评估。这不是端到端的波形级网络。HRTFformer

它真正有意思的地方是动机:作者发现客观 LSD 和人的感知经常对不齐,稀疏时模型倾向于输出一个「平均脑袋」的 HRTF,指标好看但个性化没了。为此他们加了 neighbour dissimilarity loss,显式约束相邻方向之间的空间连续性。已知边界要一起记下来:它的感知评估用的是贝叶斯听觉定位模型的预测,不是真人听音实验;论文仍是预印本、期刊未定,也没有公开仓库。另外,作者把 SH 编码再解码本身当作误差下限量了一次——ITD 误差里 30%、LSD 里 26% 来自有限 SH 阶数本身 HRTFformer。

2.2 神经声场:从「一个人一个模型」到「一个模型管多个房间」

把上面这条线拉远一点看,会发现它属于一个更大的谱系:用神经场统一表示空间音频里的物理量。MERL 的教程把这条线的演进画成了一张二维地图。

HRTF 神经场方法的二维分类

图注:HRTF 神经场方法的二维分类坐标:纵轴是显式 / 隐式(带可微解码器),横轴是单被试 / 多被试;图中标出 HRTF Field、HRTF auto-encoder、RANF、NIIRF、SuDaField 的相对位置,虚线框与蓝色注释强调 SuDaField 处理「不同录音装置差异」的定位。图中只有位置关系,没有任何性能数据。MERL 神经场教程

演进的主线很清楚:早期是每个被试单独训一个神经场;接着是跨被试共享主干、用被试向量做条件化;再往后条件化方式越做越省参数(FiLM、LoRA、BitFit 这类从大模型迁移过来的高效微调思路);然后是 NIIRF 让神经场去预测可微 IIR 滤波器的参数;SuDaField 再把「数据集专属参数」和「被试专属参数」解耦,于是换个数据集参数就相当于在不同录音装置之间转换 HRTF;最后才是 RANF 的检索增强。RIR(房间冲激响应)那条平行线走的是同样的路径,但跨房间泛化明显比跨被试更难——这是这条子方向公认还没啃下来的硬骨头,也是最值得挑的题目之一。教程自己列的三条剩余挑战是:数据集规模有限、多模态融合尚在早期、训练与推理算力对实时 AR/VR 仍是障碍 MERL 神经场教程。

2.3 视觉条件:让模型从图像和几何里一起学声音

第三条线是「多模态融合」这条挑战的正面回应:给一段声音加上目标环境的视觉输入,合成出听起来像在那个环境里录的声音。任务在 2022 年由 Visual Acoustic Matching 正式定义,动机写得很直白——真实空间与虚拟重现空间声学不一致时,人会出现「房间不一致效应」,沉浸感直接崩掉。之后的演进链是:纯声学的 NAF / INRAS → 把 NeRF 渲出的 RGB 与深度当独立输入的 AV-NeRF → 联合训练辐射场与声学场的 NeRAF → 显式建模墙体遮挡的 SOAF。

NeRAF 的双流联合训练流程

图注:NeRAF 的双流流程:NeRF 分支把 3D 坐标与方向映射到密度和颜色,grid sampler 查询辐射场填出场景体素网格;神经声学场分支把声源-麦克风位姿与方向映射到 STFT,并以抽取出的场景特征为条件;预测出的 RIR 与源音频卷积即得到与场景匹配的空间化音频。两条分支是独立的,通过共享的场景特征耦合,不是同一个 MLP 同时输出视觉与声学。NeRAF

SOAF 在此之上又加了两个组件:把场景的距离衰减与墙体遮挡透射相乘构成全局声学场先验,再用方向感知注意力分别生成左右耳特征。它给出的数字是可以直接引用的——在 RWAVS 上 MAG 指标比 AV-NeRF 降 7.2%、比 ViGAS 降 23.7%,在 SoundSpaces 上 T60 误差比 AV-NeRF 降 7.3%、比 INRAS 降 27.1%。已知边界同样清楚:作者自述仍是场景专属、静态声源,先验也只覆盖几何维度(距离、遮挡、方向),没碰混响与飞行时间 SOAF。这条线的真实评测底线由 Real Acoustic Fields 撑着——目前唯一公开的真实密集 3D 音视频数据集,但它只有两个物理场景,作者自己也提醒它对跨房间泛化的研究用途有限。


三、具身智能这块地图:仿真到真机、模仿学习+扩散、基础模型/VLA

这一章严格按「原理 → 实战范式 → 演进终点」的顺序走。

3.1 仿真到真机:把「gap」拆成四族原子

sim-to-real 最容易被当成一个模糊的整体名词。2025-10 的 Reality Gap 综述做的第一件事就是把它拆开。

真机与仿真并置以及四类差距维度

图注:左侧是四足、人形、机械臂、竞速无人机等真实机器人应用场景照片,右侧是对应的仿真渲染;图顶把 reality gap 分解为 dynamics、perception & sensing、actuation & control、system design 四个维度。这是真机与仿真的视觉对照,不是任何具体算法的架构图。Reality Gap 综述

这四族值得背下来:动力学(刚体假设、接触力学、参数化误差、数值积分误差)、感知(传感器模型与噪声、环境表示、碰撞检测代理体)、驱动(执行器高阶特性、被厂商藏起来的底层控制器、功率电子的量化与保护逻辑)、系统设计(通信延迟、安全机制、控制频率不一致)。有了这四个抽屉,后面读到的任何一次真机失败,都能立刻被归档到某一族里。

方法这一侧同样被切成了两半。

sim-to-real 方法的二维分类

图注:sim-to-real 迁移方法的分类,左半是「缩小 gap」(改善仿真器 / 选择模态与表征 / 系统设计选择),右半是「越过 gap」(域泛化与域适应 / 数据选择与探索 / 策略架构与正则化);彩色方块标注每种方法针对哪一族 gap。方块与具体 gap 的逐一颜色对应不宜当作强证据结论。Reality Gap 综述

综述还给了一个很有用的评测双轨:一轨评估 gap 本身(仿真-真实成功率的 Pearson 相关系数 SRCC、开环回放误差、视觉保真度),一轨评估迁移表现(成功率、累积回报、任务专属指标)。它点出的判断点很锋利——如果 SRCC 很低但真实平均成功率不低,说明仿真已经不能再当作高效的代理评测器了。开放问题也说得很实在:接触密集、可形变、高精度的任务依然在失败;世界模型与可微仿真器是接下来两三年最被看好的路径 Reality Gap 综述。

3.2 模仿学习 + 扩散:把动作序列当成去噪过程

Diffusion Policy 是这条线的奠基节点,它的一句话核心是:把视觉运动策略表示成在机器人动作上的条件去噪扩散过程——不输出单个动作,而是把一段高斯噪声迭代地精修成一整条连贯的多步动作序列,条件是最近一小段观测。

三类策略表示的对比

图注:三类策略表示对照:(a) 显式策略直接由观测输出动作;(b) 隐式策略学一个同时以动作与观测为条件的能量函数,再去找能量最低的动作;(c) 扩散策略通过学到的梯度场把噪声精修成动作,训练稳定、能准确刻画多模态动作分布、也容纳高维动作序列。三个面板不对应 LSTM-GMM / IBC / BET 等具体方法。Diffusion Policy

为什么这个表示比行为克隆更值钱?三条性质:朗之万动力学能在多个模态之间穿行,所以多模态动作分布不会被平均掉;它天然适配高维输出,于是可以一次预测整段序列;训练目标是分数匹配,绕开了能量模型里那个难算的归一化常数——隐式策略(IBC)正是因为要靠负采样估计这个常数,评估成功率才会来回震荡。

Diffusion Policy 的三面板概览

图注:Diffusion Policy 概览:(a) 通用形式,策略吃最近 T_o 步观测、吐出 T_a 步动作;(b) CNN 版本用 FiLM 把观测特征逐通道调制进每个卷积层,从高斯噪声出发反复减去噪声预测网络的输出,重复 K 次得到去噪后的动作序列;(c) Transformer 版本把观测嵌入送进每个解码器块的多头交叉注意力,动作嵌入之间用因果掩码只看自己和更早的动作。图中不含具体通道数、K 值或注意力头数。Diffusion Policy

真正让它能上真机的是三个工程决定,其中最值得单说的是滚动时域控制:预测 T_p 步、只执行前 T_a 步,然后重新规划。这个「预测得长、执行得短、执行完再看新观测重来」的结构,和一堂课的备与讲是同一个形状——备课是把一整段内容的推进顺序全想好,上讲台却只讲前面几分钟,讲完看学生的反应,再回头调整后面那一段。两边的取舍也一样:想得太长而不回头看,动作会僵在过时的判断上;每一步都推倒重想,前后又会失去连贯。论文给出的默认值是 T_a = 8 在多数任务上最合适。另外两个决定是视觉条件的注入方式(CNN 用 FiLM、Transformer 用交叉注意力,视觉编码器每次推理只跑一遍),以及时序扩散 Transformer——它修掉了 1D 时序卷积主干在高频速度控制任务上过度平滑的毛病。

成绩:期刊版在 4 个基准共 15 个任务上平均提升 46.9% 成功率(会议版报告的是 12 个任务、同一数字,是版本差异不是矛盾);长时程多模态任务上的提升更夸张——Block Push 的 p2 指标 +32%,Franka Kitchen 的 p4 指标 +213%。用 DDIM(训练 100 步、推理 10 步)后单卡 3080 上推理延迟约 0.1 秒 Diffusion Policy。

3.3 基础模型 / VLA:Octo 是这条线上能上手的那个开源代表

再往上一层,是把互联网规模预训练的多模态模型接到机器人动作头。这条线的工作大多闭源,Octo 是少见的例外——完整开源的通用机器人策略。

Octo 的三段式架构

图注:Octo 的模型架构。左:任务描述(绿)用预训练语言模型、输入观测(蓝)用轻量 CNN 分别切成 token。上:Transformer 主干处理任务与观测 token 序列,产出 readout token(紫)交给输出头生成动作。下:分块注意力结构使得微调时可以增删输入输出——例如加入新观测(蓝虚线)或新动作空间(紫虚线)而不修改任何预训练参数。图中不含参数量、训练时长或数据集组成信息。Octo

它的三件套是:Transformer 主干 + 扩散动作头(直接继承上一节的动作分块与 DDPM 目标)+ 模块化 token。第三件是它区别于 RT-2、ViNT 那类架构的关键——那些架构加一路图像输入或换个任务,就得重新初始化大半个模型。训练数据是从 Open X-Embodiment 里人工筛出的 25 个子集、约 80 万条轨迹(作对比,RT-1-X / RT-2-X 用的是 35 万条的子集)。发布了 27M 和 93M 两个权重。成绩:6 个新域微调平均成功率 72%,而同样超参下「ResNet+Transformer 从头训」只有 20%;零样本比 RT-1-X 高 29%,与当时不开源的 55B 参数 RT-2-X 相当 Octo。

把三层关系钉一下:sim-to-real 是「策略怎么才能上真机」这个基础问题;扩散是「视觉运动策略用什么表示」;VLA 是「怎么把通用预训练接到动作头」。三者是叠加的,不是互相替代的。


四、谁在做、跟组能拿到什么

选方向到最后其实是选组。下面这张表只列在本文引用的工作里有直接证据的团队,风格标签基于它们各自产出的东西(做工具与平台的记为系统派,做任务定义与理论框架的记为理论派,做落地产品线的记为应用派)。

方向团队风格代表产出跟组大致能拿到什么
空间音频MERL 语音与音频组系统派NIIRF、SuDaField、RANF、PI-DANF 这条神经场主线完整的神经场代码线与公开数据集评测通道;教程里明确写了在招实习生
空间音频Meta Reality Labs Audio系统 + 应用SoundSpaces 2.0 的声传播引擎、AV-NeRF / NACF、Real Acoustic Fields真实声场采集装置(36 通道麦克风塔 + 机器人扬声器支架 + 动捕)与 AR/VR 产品线
空间音频UT Austin(Grauman 组)理论 + 系统Visual Acoustic Matching 任务定义、SoundSpaces 系列视听交叉的任务设计训练,与 Meta 在 SoundSpaces / VAM 上的合作记录
空间音频中科院声学所 + 华东师大 / 深大 / 清华等 + Oldenburg / Southampton理论 + 应用双耳个性化综述的作者地图国内音频信号处理主线与助听器临床方向的接口
具身智能Columbia / Stanford(Chi、Song)理论 + 系统Diffusion Policy 及其参考实现扩散策略这条线的源头,代码库设计本身就是范本
具身智能UC Berkeley + Stanford + Google DeepMind Robotics系统 + 应用Octo真机平台矩阵(9 个 setup 跨 4 个机构)与开源大规模训练经验
具身智能NVIDIA + 苏黎世大学 + 华盛顿大学系统派Reality Gap 综述(三方合著)、GR00T N1(NVIDIA)仿真器与硬件栈的第一手资源

有两点要单独提醒。第一,双耳个性化综述的作者地图与 MERL、Meta、Adobe 这些美国音频大厂完全没有重叠——它们是互补的两套生态,不是同一批人;把综述当成「这个领域谁在做」的名单会漏掉一半。第二,招生名额与实习岗位这类信息时效性极强,上面任何一行都该去实验室主页自己核一遍再动手写邮件。

跨方向的那个交叉点也值得单独看一眼——SoundSpaces 把空间音频的渲染和具身智能的导航焊在了同一个仿真器里。

SoundSpaces 2.0 的渲染示意

图注:SoundSpaces 2.0 在多房间多层 HM3D 场景中的渲染示意:客厅里男孩在看电视,楼下厨房里妈妈叫他吃饭;系统对两个声源到听者的传播建模直达声、反射、混响、透射、衍射与空气吸收等频率相关的声学现象,基于以场景几何与物体材质为输入的双向路径追踪算法,接收到的声音再用 HRTF 空间化为双耳信号——于是视觉与听觉观测具有空间与声学上的对应关系。这是 2.0 的能力,1.0 没有路径追踪渲染。SoundSpaces


五、用一段代码验证兴趣:跑声学导航,或者跑扩散策略

「我是真想做这个,还是只是觉得它看着酷」——这个问题不该靠读论文回答,该靠一个周末回答。两个方向各给一条最低成本路径。

空间音频侧:SoundSpaces 2.0 的声学导航。 平台的分水岭要先搞清楚:1.0 分发的是预渲染的双耳 RIR 数据集(867GB),agent 和声源都只能待在导航图的离散节点上;2.0 换成了在线的双向路径追踪渲染,agent 与声源可以在任意连续坐标上,还能换 mesh、换 HRTF、换材质。两者的 IR 数据互不兼容,复现 1.0 的论文必须用 1.0 的数据。

声学导航任务示意

图注:任务示意——女孩在客厅,她的手机在餐厅响起,她让机器人把手机拿过来。机器人用双耳麦克风接到音频信号后需要搞清两件事:她在说什么(远场语音识别),以及怎么走到她和手机那里(视听导航)。下层是机器人接收到的左右耳波形示意。SoundSpaces

最小链路是:装好 Habitat-Sim 与 SoundSpaces → 跑 examples/soundspaces2_quick_tutorial.ipynb 把「设声源位置、取传感器观测、拿到冲激响应」这条 API 走一遍 → 用 ss_baselines/av_nav/run.py 配 audiogoal_depth.yaml 训练 → 开 VIDEO_OPTION 导出 demo 视频。一个必须先知道的事实:这个仓库在 2024-11-01 被标记为归档只读,代码仍可访问和 fork,但社区维护状态得自己确认;另外数据集受 Matterport3D 与 Replica 各自的许可约束,商用与再分发要小心 SoundSpaces。

具身侧两条梯度。 门槛低的那条是 Diffusion Policy:仓库提供两个 Colab notebook(一个状态输入的,一个视觉输入的 Push-T),本地跑就是建好 conda 环境后一句 train.py 配 image_pusht_diffusion_policy_cnn.yaml。它的代码结构本身值得看——Dataset / Policy / Workspace / EnvRunner 四层加 Hydra 配置,加一个新任务或新方法的成本是 O(N+M) 而不是 O(N·M)。

门槛高一点的那条是 Octo 微调。

Octo 的 9 个真实机器人评估平台

图注:Octo 在跨 4 个机构的 9 个真实机器人 setup 上评估,覆盖多样的物体交互(WidowX BridgeV2)、长时程任务(Stanford Coffee)与精细操作(Berkeley Peg Insertion);同时测试了微调到新观测(力矩输入)、新动作空间(关节位置控制)与新机器人本体的能力。照片本身不反映各 setup 的具体成功率。Octo

官方给的微调配方是约 100 条示教、5 万步、单卡 A5000(24GB)约 5 小时。也就是说,即使没有真机,用公开数据把「微调到一个新动作空间」这条路径走通,也在一台工作站的预算之内。

跑通之后,真正的问题才来:要不要为它 commit 三年?


六、把地图收成一张决策表:问题品味、算力门槛、组里资源、出口

先看一个信号。

VLA 模型 2020–2025 时间线

图注:VLA 模型 2020 至 2025 年的时间线。左侧是按发表论文数排序的机构榜(最上方清华 71 篇),右侧是按时间排布的模型节点(虚线框为 Generalized VLA,实线框为 Large VLA),底部蓝条是逐年论文数:2020–2021 合计 4 篇、2022 年 9 篇、2023 年 21 篇、2024 年 55 篇、2025 年 276 篇。截至 2025-12;机构榜只是论文发表数,不宜解读为实力排名。VLA 综述

一年 276 篇是个双面信号:问题足够热,出口足够多,但也意味着增量创新的窗口被挤得很薄、审稿人见过的东西比三年前多得多。空间音频那边是另一种曲线——参与者少、单篇的份量重、公开数据集与评测协议相对稳定(SONICOM 的四档稀疏度、LAP 挑战赛的三项指标),一个想法做扎实了很容易被看见。

把前五章收成四列:

空间音频具身智能
问题品味小数据、物理可解释、评测协议稳定;核心矛盾是客观指标与人耳听感对不齐,以及跨房间 / 跨录音装置的泛化大模型、跨任务跨本体泛化、系统工程量大;核心矛盾是接触密集与可形变任务仍在失败
算力 / 数据门槛低到中:公开 HRTF 数据集 + 几块 GPU 起步;自采数据才需要录音装置或真实声场采集设备中到高:仿真器 + GPU 可入门(单卡 A5000 五小时能跑完一次微调),但真机平台与示教采集是硬门槛
组里资源看有没有神经场代码线、有没有自己的采集装置、有没有工业合作通道看有没有真机、有多少条示教数据、有没有算力跑得起预训练
出口音频大厂与 AR/VR 团队、助听器与临床听觉方向、学术界机器人公司与工业实验室、自动驾驶、人形机器人、学术界

这张表的用法建议是反着来的——不要从「哪个方向更热」开始,先做一段。第五章那两条路径的意义就在这儿:跑通之后你会对着自己的反应做一次诚实判断——是在调 HRTF 频响曲线时觉得有意思,还是在看机器人第一次把杯子抓起来时觉得有意思。这个手感和「读论文时的想象」之间的差距,往往比任何一张对照表都更能定方向。

然后是三个可以立刻执行的动作:读一篇——RANF、Diffusion Policy、Octo 三选一,按上面那次手感选;跑一个——SoundSpaces 2.0、Diffusion Policy、Octo 三选一,跑到能导出一段 demo 为止;联系一个组——按第四章那张表筛,邮件里附上你跑通的那段东西,而不是附上你读过的论文清单。

最后留一个提醒。本文两条主线的时间线终点分别是 2025-11 与 2025-12(VLA 综述的统计截至 2025-12),实验室的招生动向、仓库的维护状态、预印本的接收情况都会变。地图能省掉的是「不知道有哪些格子」的时间,省不掉的是走过去看一眼。


参考文献

  1. Masuyama, Y. et al. Retrieval-Augmented Neural Field for HRTF Upsampling and Personalization (RANF). arXiv:2501.13017, ICASSP 2025;扩展版 RANF+ 发表于 IEEE OJSP 2025。https://arxiv.org/abs/2501.13017 (代码:https://github.com/merlresearch/ranf-hrtf )
  2. Hu, X. et al. HRTFformer: A Spatially-Aware Transformer for Individual HRTF Upsampling in Immersive Audio Rendering. arXiv:2510.01891(预印本,已投 IEEE,期刊未定)。https://arxiv.org/abs/2510.01891
  3. Lu, X. et al. Deep Learning for Personalized Binaural Audio Reproduction — A Survey. arXiv:2509.00400(2025-08-30 提交,覆盖窗口截至 2025-09)。https://arxiv.org/abs/2509.00400
  4. Masuyama, Y. Neural Fields for Spatial Audio Modeling. MERL Tech Report TR2025-171,SANE 2025 workshop(2025-11-07)。https://www.merl.com/publications/docs/TR2025-171.pdf
  5. Chen, C. et al. Visual Acoustic Matching. CVPR 2022 oral,https://arxiv.org/abs/2202.06875 ;Brunetto, A. et al. NeRAF: 3D Scene Infused Neural Radiance and Acoustic Fields. ICLR 2025,https://arxiv.org/abs/2405.18213 ;Gao, H. et al. SOAF: Scene Occlusion-aware Neural Acoustic Field. WACV 2026,https://arxiv.org/abs/2407.02264 ;Chen, Z. et al. Real Acoustic Fields. CVPR 2024 Highlight,https://arxiv.org/abs/2403.18821
  6. Chen, C. et al. SoundSpaces: Audio-Visual Navigation in 3D Environments(ECCV 2020)与 SoundSpaces 2.0: A Simulation Platform for Visual-Acoustic Learning(NeurIPS 2022 Datasets & Benchmarks Track)。官方仓库:https://github.com/facebookresearch/sound-spaces (2024-11-01 归档为只读)
  7. Chi, C. et al. Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. arXiv:2303.04137,RSS 2023 / IJRR 2024。https://arxiv.org/abs/2303.04137 (代码:https://github.com/real-stanford/diffusion_policy )
  8. Octo Model Team. Octo: An Open-Source Generalist Robot Policy. arXiv:2405.12213,RSS 2024。https://arxiv.org/abs/2405.12213 (项目页:https://octo-models.github.io )
  9. Ma, Y. et al. A Survey on Vision-Language-Action Models for Embodied AI. arXiv:2405.14093,IEEE TNNLS 2026(DOI 10.1109/TNNLS.2025.3650584)。https://arxiv.org/abs/2405.14093
  10. Aljalbout, E. et al. The Reality Gap in Robotics: Challenges, Solutions, and Best Practices. arXiv:2510.20808,目标刊发于 2026 Annual Review of Control, Robotics, and Autonomous Systems。https://arxiv.org/abs/2510.20808