守护老人的麦克风连聊天一起录："隐私防火墙"只留环境声、删掉语音

守护老人的麦克风，为什么被拒之门外？

一台会"听声音"的监护系统，在英国三所养老院里试了整整 12 个月。它想做的事很朴素：老人摔倒、夜里起床、在浴室待太久，这些日常风险都能从环境声音里听出迹象，而且声音不挑光线、不看视角，能装进摄像头进不去的卧室和卫生间。可项目结束时，研究者带回来的主要教训不是算法不够好，而是没人愿意让它开工。老人和护工拒绝授权给出的头号理由，不是"它不好用"，而是"我们的对话可能被录"。

这个细节来自肯特大学 Pavlos Nicolaou 与 Christos Efstratiou 的论文（arXiv:2609.02376，预印本，提交至 Pervasive and Mobile Computing 评审中），他们亲历了 2023 到 2024 年与护理服务商 MiiCare 合作、覆盖三所养老院的 ADAPTIVE 部署。当时的局面是个死结：麦克风是理想的行为感知传感器，但它不会挑选，把老人的对话、护工的闲聊、电视里的新闻一并录了进去。想守护老人的人，同时也是最容易被它偷听的人。 Privacy Firewall

为什么偏偏是语音成了那道过不去的坎？声音里同时装着两类信息：活动信号是老人愿意被看见的，对话是老人最不想被听见的。语音还额外携带说话人身份，熟悉的声音一听便知是谁，这让"被录下来"比"被拍到"更私人。摄像头进不了卧室和盥洗室，可穿戴设备有佩戴负担，声音被动地覆盖整个房间，于是辅助生活系统普遍选择麦克风，代价就是对话也被一并收了进来。

当年的解法只有一个，叫 VAD 门控静音：检测到有人在说话就暂停录音。它败在了一台收音机手里。收音机的声音反复触发门控，系统不得不一次次暂停，活动片段跟着整段整段地漏掉。录则侵犯隐私，不录则丢功能，这个两难是部署现场的真实反馈，不是论文里凑出来的修辞。

这套系统的价值恰恰依赖"听到一切"：老人摔倒的那一声、浴室里长时间没有动静、深夜异于寻常的走动，都需要连续的环境声才能捕捉。隐私保护如果靠"关掉麦克风"来实现，失去的正是这种连续性。这也是为什么从"录不录"转向"怎么处理"，对辅助生活不是锦上添花，而是产品能不能落地的前提。

这个两难有多普遍，同期另一项工作做了注脚。萨里大学的 Sounds of Home 项目想发布一批老人居家录音，为此不得不走两轮伦理审批，再用模型检出语音段，把检出区域的前后各扩展一秒，用极低振幅的噪声替换，最后不可逆地删除所有原始录音。为了做研究，数据得先被"洗"到连研究者自己都无法复原。下面这张三联谱图把"语音被处理掉"这件事摊开给人看：

图注：三联谱图，上为含男性语音的原始音频，中为 PANNs 模型对 top-5 声音类别输出的概率曲线，下为语音段及前后各扩 1 秒的区域被低幅噪声替换后的结果。这是 Sounds of Home"检测-替换"路线的效果，不是本论文 U-Net 的输出，替换后并非静音而是 10^-10 振幅的噪声。 Sounds of Home

注意这条路线是"先检出、再替换"，和这篇论文要造的"直接抹掉"是两回事；但它的存在证明了同一个判断：在居家音频里，语音是一块必须被处理掉的内容，不是可以顺手保留的花絮。随着智能家居和监护设备把越来越多的麦克风放进私人空间，"听得到跌倒"和"听不见对话"能不能兼得，已经从一个学术问题变成一个产品问题。问题因此不是"要不要录"，而是能不能在语音离开传感器之前把它抹掉，同时让下游的活动识别毫发无损。

抹掉语音，为什么比分离语音更难？

论文把要造的东西称为隐私防火墙：一个夹在麦克风采集与下游分析之间的中间模块，同时背两个目标。第一，把原始信号里的语音抹掉；第二，把活动识别需要的背景细节保住。它动手的位置很关键，在信号离开传感器、还没被任何特征提取器碰过之前。防火墙的姿态是"处理流经它的每一秒声音"，而不是"决定哪一秒可以录"。决定哪一秒能录，不需要理解内容，只需要先判断这一秒是否有人声，这一层 VAD 门控静音本来就能做到；可它一旦确认有人声就暂停录音，条件性停录会丢整段声音，每次一停，那一段的活动声都跟着没了。防火墙反过来，逐段变换、持续处理，每一秒都原样过一遍，一条声音也不落下。两者的分岔不在聪明程度，在动作上：一个随时停，一个不停。

图注：隐私防火墙的概念示意。左侧输入疑似含语音段的声音信号，右侧同一信号经防火墙处理后只剩背景声，箭头表示转换。图不携带任何架构细节，它是论文给"抹掉语音、留下环境声"画的第一张图。 Privacy Firewall

成败怎么衡量？需要一把能把"还剩多少语音"折算成数字的尺子。论文用的是 Silero VAD（语音活动检测）。VAD 是个只回答"这段声音里有没有人在说话"的二分类器，把防火墙的输出再扫一遍，按"连续检出语音至少 1 秒才算数"的规则，数出语音段占总时长的比例。论文自己把这种度量称为操作代理（operational proxy）：它测量的是"一个检测器没有发现语音"，而不是"语音真的不存在、连人耳和自动语音识别（ASR）也还原不出来"。这条限定不是客套话，它会在这篇解读的最后一章变成最锋利的问题。选 VAD 当尺子还有一层现实考量：它不转写内容，只数"有没有人声"，全程不需要把录音交给另一双耳朵或另一个更大的模型，隐私数据始终在本地打转。"连续说话至少 1 秒才计数"的规则，也避免把一声咳嗽、一阵零星响动误算成语音。 Silero VAD

尺子立好，再看现成的模型为什么不行。论文拿三个开箱即用的语音处理模型直接当防火墙试了一遍，结果如下：

注：以上数字均为 ESC-50 加入 100% 音量语音的合成条件下测得的结果（论文中其余音量水平下系统自身可达 0% VAD 残余）。

三个模型没有一个是按"杀语音、保其余"训练出来的，训练目标恰好相反，这是它们集体失手的原因。Denoiser 离目标最近，残余只有 6.55%，但它把背景活动声也压掉了一截，活动分类不升反降：隐私上最接近的模型，恰恰在效用上伤得最重。SepFormer 和 ConvTasNet 是语音分离界的顶配，可它们脑子里只有干净的双说话人录音，从来没有"厨房炒菜、浴室流水、客厅电视"这种家居背景的概念，残余语音分别高达 36.34% 和 47.21%。更耐人寻味的是，离目标最近的 Facebook Denoiser 恰恰出自 Demucs 同一个家族：它学会的是"保语音、杀其余"，一旦场景里没有需要保护的语音，"其余"就跟着遭殃。训练目标的一字之差，落到家居场景就是隐私与效用两头空。 SepFormer Conv-TasNet

结论很直接：现成的语音分离模型是为"保语音"训练的，直接拿来当"杀语音"的防火墙，两头都占不到。要完成反向目标，得专门造一台机器。这台机器得同时满足三个互相拉扯的要求：把语音压到检测器看不见，把背景保到分类器认得出，还要能跑在贴近传感器的设备上。现成模型没把这三点写进过训练目标，所以它必须从头造。

倒着用 Demucs：一台专门"删语音、留环境声"的机器

造机器的思路一句话就能概括：把语音分离模型倒过来用。论文明确说自己借用了 Demucs 的骨架。Demucs 是 Facebook 开源的一个 U-Net 模型，能从混音里分离出人声，做的是"一段混音拆成人声、鼓、贝斯等几根分轨"的活。论文要的是同一台机器干相反的活："语音加背景到只剩背景"。 Demucs

可以把它想成一台多轨调音台。Demucs 的活儿是导出分轨：一段合奏进去，人声、鼓、贝斯各占一根输出轨。论文要的则是把混音里"人声轨"静音，导出其余部分。调音台不用换，变的只是要哪一路输出。这个对应是实打实的：Demucs 顶部伸出的四根彩色波形就是四根分轨，而论文的模型顶部只输出一张背景谱图，相当于按下人声静音键之后的总线。

图注：Demucs 的 U-Net 骨架。底部波形进入编码器梯形逐层收窄，瓶颈处是一排双向 LSTM，解码器再逐层展宽，顶部输出四根分离波形。左侧弯曲箭头是 skip connections，把编码器细节抄给对应解码器。 Demucs

再看论文的版本，改动就清楚了：

图注：本论文的 U-Net。顶部输入混合 log-mel 谱图（语音加背景），输出只剩背景的谱图。编码器逐层降采样、解码器对称升采样，弯曲箭头同样是 skip connections，H 控制通道数（每层翻倍/折半），L 决定网络深度。 Privacy Firewall

两处大改动分别是：去掉瓶颈处的双向 LSTM，因为任务只是抑制一个声部，用不着全局的长程规划；去掉波形域的合成解码，因为下游 VGGish 吃的本来就是 log-mel 谱图，输出直接是谱图反而省掉一次时频变换。留下来的是一台 5 层纯卷积的 encoder-decoder，每层两个 3×3 卷积加 LeakyReLU 和 2×2 池化，解码端镜像升采样。损失由 L1 重建项加 multi-resolution STFT 项组成：后者在多个 FFT 分辨率上同时比较输出与目标的频谱，逼模型在各个时间尺度上都别弄丢背景细节。skip connections 在这里不是装饰：编码器每一层都在降采样、丢分辨率，跳过连接把低层还带着时间细节的特征直接送到解码器对应层，背景里那些脆弱的瞬态（碗碟碰撞、水龙头开关）才不会在中途被抹平。任务也从 Demucs 的四路声源分离，改为单路背景谱图重建：模型输出的不是"这段是不是人声"之类的二元标签，而是一整张处理后的连续背景谱图，只有"像人声的部分"需要被压掉，模型因此可以做得更小，5 层、112 个滤波器打底，远小于 Demucs 动辄上千的通道数。

输入规格是 96×64 的 log-mel 谱图（对数梅尔谱图），一秒声音一张图，25 毫秒窗、10 毫秒步长、64 个梅尔频段。谱图把这段声音的频响画成一张小图，横轴时间、纵轴频率、颜色深浅代表能量。这个尺寸不是随便定的：VGGish 吃的正是 96×64，防火墙的输出可以原样灌进下游，而 1 秒一个 patch 的粒度，也意味着它能跑在贴近传感器的边缘硬件上。选 log-mel 而不是原始波形还有一个工程理由：谱图域把相位问题整个绕开，模型只需要关心哪个频率在哪个时刻有多少能量，这比在波形域重建信号省掉一大半麻烦。

最难的一步是训练数据。真实居家录音有伦理和标注双重门槛，这在第一章已经见识过，于是论文造了一个纯合成的训练集。背景声从 ESC-50 和 SINS 里取。ESC-50 是 50 类、每类 40 条、共 2000 条 5 秒环境声的公开基准，SINS 是真实住宅里的多节点录音。语音从 LibriSpeech 里取，随机选 20 本书、每本抽一章 30 分钟的朗读，再按 40%、60%、80%、100% 四档振幅把语音叠到背景上。四档覆盖了从"近处说话"到"远处背景闲聊"的整个现实分布，让模型见过的语音强度是渐变的，而不是只有一种响度。四档振幅本身也是训练目标的一部分：模型必须对同一句话的四种响度给出同样干净的输出，才不会只在训练暴露过的那一档上乖巧。合成数据的另一个好处是可扩展：要覆盖更多家居声、更多语种口音，只需往背景库和语音库里加料，不需要再征得任何人的同意。 ESC-50 SINS

下游评估同样走现成组件：预训练好的 VGGish 把防火墙的输出谱图抽成 128 维嵌入，10 个不重叠窗口取平均，再喂给多项式核 SVM 做活动分类。VGGish 是 Google 为大规模音频分类训练的 11 层 CNN，嵌入和分类器两段式拼起来，VGGish 的参数一动不动，纯当特征提取器用，这是典型的 transfer learning。机器造好了，现在看它上考场。

抹掉语音之后，活动识别反而更准了？

先说隐私这一项：在所有测试条件下，处理后 VAD 检出的残余语音都是 0%。ESC-50 的四档语音强度、SINS 的四档，无一例外。这个数字本身不意外，意外的是它对活动分类的影响方向。0% 不是单点成绩。四档语音强度从"远得几乎听不清的闲聊"到"正对着麦克风说话"，加上两个数据集各自的家居声底，一共 8 种组合全部归零，这才称得上"在训练覆盖过的条件下都抹干净了"。

按照直觉，抹掉信号里的东西应该伤及下游任务。可 ESC-50 在 40% 语音强度下，活动分类从带语音时的 81/75（精度/召回）提升到 85/85，比干脆没有语音的基线 84/83 还要高。抹掉语音反而提升了分类准确率，反常之处就在这里。机理并不神秘：带语音的混合谱图对 VGGish 是一种干扰，人声的谐波结构会盖住背景事件的声学痕迹，把它抹掉等于替分类器清场。更深一层的原因出在 VGGish 自己身上：它是在超大规模通用音频语料（YouTube-8M 早期版本）上预训练的，覆盖包括人声在内的数百种声音类别；混合谱图会让它的嵌入混入"有人在说话"的分量——这是一种合理的解释，论文本身未把该机理作为结论。100% 语音强度下同样如此，活动分类从 70/69 恢复到 73/81。 Privacy Firewall

把这组数字翻译成部署语言：在 40% 语音干扰下，经过防火墙的音频和"本来就没有人说话"的干净音频几乎一样好用；在更复杂的真实家居录音里，防火墙也把分类拉回了可用区间。至少在这三套数据上，隐私和效用没有做成跷跷板。

SINS 是这场考试里最像真实养老院的一门：一人独居一周的住宅录音，13 个传感器节点跨 5 个房间，每个节点带一条 4 麦克风的线性阵列。去除语音后分类从 59/58 跳到 71/77，但它离自己同源的无语音基线 84/90 差距也最大，论文将这部分归因于模型过度抑制了与语音频谱重叠的低能家居声：一些细碎的室内声响被当成语音嫌疑一并压掉了。换句话说，抹得越狠，越容易误伤邻频段上那些本来有用的零星背景。 SINS

图注：住宅俯视平面图，红色编号 1 到 13 标出 13 个传感器节点的位置，箭头指向附近的墙体或家具。图上没有房间名文字，也没有节点连线。它对应论文测试集里的真实家居录音：一人独居一周，节点跨 5 个房间。 SINS

不过这张成绩单要分清哪些是开卷考。ESC-50 和 SINS 的结果都与训练数据同源，属于分布内测试。真正的闭卷考是 AudioHive：论文作者自己写的 iOS/Android 录音应用，12 名成年人边做日常活动边自由说话录了 7 天。原始录音里 VAD 检出 6.8% 的语音，经过防火墙后归零，活动分类从 78/77 微降到 76/76。这个结果证明合成训练出来的模型能迁移到真实居家录音，但它也带着一句诚实的注脚：6.8% 的原始语音占比不算高，"满屋子都是人声"的重语音场景并没有真正被测到。另外全篇只有一次 70/30 的随机划分，没有交叉验证，这些百分比背后没有误差棒。78/77 到 76/76 的回落，换来的是残余语音从 6.8% 归零；在没有误差棒的单次划分里，用这点代价换隐私从"偶尔漏出去"到"检不出"的质变，论文的口径认为这桩交换值得。还有一条不能忽略的注脚：AudioHive 是手机单机录音，真正的养老院是多人共处、多麦克风阵列的环境，那是论文尚未覆盖的下一站。读数字时值得记住的是，这一组结果展示的是"防火墙在这三套数据上做到了什么"，而不是"任何居家环境都必然得到同样结果"。

成绩单读到这里，答案几乎圆满：语音归零，活动没伤，甚至更好。但先别急着庆祝。0% 这个数字是用哪把尺子量的，值得单独一章来审。

VAD 检不出语音，就证明没人能听懂吗？

前面反复提起的那条限定，现在到了兑现的时候。论文在局限一节把话说得很白：VAD 检不出任何语音，只能说明"一个最先进的语音活动检测器没有发现残余语音"。至于残余语音是否连 ASR 和人耳都无法还原，留待未来验证。0% 是 Silero 这把尺子量的结果，不是不可懂性证明。 Privacy Firewall

为什么这条限定不是谨慎过度？同期工作给了一个具体到可怕的反例。CMU 的 Kirigami 走的是完全不同的路线：在传感器端逐帧判断"这是不是语音"，是就整帧丢弃，根本不让它发出去。它之所以要这么激进，是因为发现此前流行的前置滤波方法挡不住被 fine-tune 过的 ASR：Whisper 和 Wav2Vec2.0 能被调教到从滤波后的信号里还原出语音片段，旧式滤波在攻击下音素错误率 39.99%、词错误率 44.43%，而 Kirigami 的整帧丢弃把这两个数字抬到 70.48% 和 101.40%。VAD 这把尺子量不出的东西，攻击者用另一把尺子量出来了。 Kirigami

图注：Kirigami 的威胁模型图，五阶段自左向右：A 麦克风拾音，B 转成 FFT 谱图，C 分两条路径（上为此前的前置滤波方法，下为 Kirigami 端侧逐帧检出并丢弃），D 可 fine-tune 的 ASR 攻击模型，E 输出词错误率、音素错误率与效用指标，演示"前置滤波挡不住被调教过的 ASR"。 Kirigami

这幅图也顺带标出了隐私保护可以发生的三个抽象层级。Kirigami 选的是端侧检测-删除。另一支队伍（UMass 与 CMU 合作的 FeatureSense，预印本）选了特征层，不碰原始信号，只抽取一组专门设计的低泄漏特征交给下游，用 SILI 指标量化说话人属性的泄漏，自称相对既有方案降低了 60.6% 的说话人泄漏。论文选的是第三条路，信号层。换掉的是原始信号本身，所以就算下游模型绕过特征提取器直接吃音频，吃到的也只是处理后的信号。但这不等于残余语音已经无处可藏：人耳和 ASR 能否从处理后的信号里还原出片段，要等攻击者视角的测试来验收。FeatureSense 还带出一个被多数语音隐私工作忽略的维度：语音内容被挡掉，不代表年龄、性别这类说话人属性也被挡掉。它的评估显示，连把语音内容保护得最好的端侧方案，说话人属性的泄漏评分也居高不下。隐私的账本上，内容是一条线，身份是另一条线。三条路线的泄漏方式也各不相同：Kirigami 的漏洞在漏检，阈值之下的一帧人声会被当成背景放行；U-Net 这一派的漏洞在重建误差，抹得不干净的地方会残留语音碎片；特征层方案则取决于特征清单是否算无遗策，漏进清单的属性照样会泄漏。 FeatureSense

三条路线各自的代价也摆在明处。Kirigami 用"丢帧"保隐私，代价是可能丢掉活动声。FeatureSense 用"限制特征"保隐私，哪些特征安全依赖对攻击面的预判。论文的防火墙用"整段重写信号"保隐私，代价是任何转换都有信息损失。这场竞赛还有一个时间维度：ASR 在进化，Whisper 这类模型越是 fine-tune，越能从滤波信号里抠出碎片。这意味着"抹掉语音"必须把目标定得比今天的攻击者再高一档，或者在源头就不让候选语音段发出去。论文选了前者，把赌注押在信号层重写的彻底性上。论文自己也承认几处短板：训练数据全部来自合成混合，单次 70/30 划分没有交叉验证。它没有和第一章那种 VAD 门控静音做定量对比，也没有跑任何定量 ASR 或人耳试听。连评估用的谱图反演（Griffin-Lim 算法）本身也带着失真，只是它只用于 VAD 评估和试听，不影响吃谱图的下游分类。把这份局限清单和第一章的部署故事放在一起看，论文其实把最难的两件事留给了身后的队伍：真实重语音场景的数据，和攻击者视角的验收标准。

这些短板不影响它最锋利的位置：在"录不录"之外，它给出了"怎么处理"的完整答案，而且把防线设在了信号层这一级。它留下的问题同样清楚：让"VAD 检不出"升级成"人耳和 ASR 也听不懂"，需要攻击者视角的测试、多说话人场景、真实的养老院部署。论文自己在结尾点名的下一站包括：多住户场景、真实养老院环境，以及把验收标准从 VAD 换成 ASR 与听感测试。到那时，"0%"才会从一张检测器开的证明，变成一句可以签字的话。麦克风在这个方案里学会"听到跌倒、听不见聊天"，欠下的正是一张攻击者视角的验收证明。

想深入可以读原文：Removing Speech, Keeping Activities: A Privacy Firewall for Acoustic Sensing in Assisted Living — arXiv:2609.02376

参考文献

1. Nicolaou, P., & Efstratiou, C. Removing Speech, Keeping Activities: A Privacy Firewall for Acoustic Sensing in Assisted Living. arXiv:2609.02376（预印本，提交至 Pervasive and Mobile Computing 评审中）：https://arxiv.org/abs/2609.02376
2. Boovaraghavan, S., Zhou, H., Goel, M., & Agarwal, Y. Kirigami: Lightweight Speech Filtering for Privacy-Preserving Activity Recognition using Audio. Proc. ACM IMWUT 8(1), Article 36, 2024：https://doi.org/10.1145/3643502
3. Bibbò, G., Deacon, T., Singh, A., & Plumbley, M. D. The Sounds of Home: A Speech-Removed Residential Audio Dataset for Sound Event Detection. CHiME 2024 Workshop：https://arxiv.org/abs/2409.11262
4. Défossez, A., Usunier, N., Bottou, L., & Bach, F. Demucs: Music Source Separation in the Waveform Domain. arXiv:1911.13254：https://arxiv.org/abs/1911.13254
5. Subakan, C., Ravanelli, M., Cornell, S., Bronzi, M., & Zhong, J. Attention is All You Need in Speech Separation. ICASSP 2021：https://arxiv.org/abs/2010.13154
6. Luo, Y., & Mesgarani, N. Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation. IEEE/ACM TASLP, 2019：https://arxiv.org/abs/1809.07454
7. Silero Team. Silero VAD（开源软件仓库，MIT License）：https://github.com/snakers4/silero-vad
8. Google Research. CNN Architectures for Large-Scale Audio Classification（AudioSet / VGGish）.：https://research.google.com/audioset/
9. Piczak, K. J. ESC: Dataset for Environmental Sound Classification. ACM Multimedia 2015：https://github.com/karolpiczak/ESC-50
10. Chhaglani, B., Gomasta, S. S., Gummeson, J., Shenoy, P., & Agarwal, Y. FeatureSense: Protecting Speaker Attributes in Always-On Audio Sensing Systems. arXiv:2505.24115：https://arxiv.org/abs/2505.24115
11. Dekkers, G., et al. The SINS database for detection of daily activities in a home environment using an acoustic sensor network. DCASE 2017 Workshop：https://github.com/KULeuvenADVISE/SINS_database