BloomBloom
发起研究

把手指凑到嘴边，机器怎么听懂你不出声的话？

谁需要"无声的语言"？——声学麦克风失效的三种场合

这篇论文讲的是 Kurotaki 等人如何用按需指尖肌电，解开无声输入二十多年没绕过去的贴脸命门。无声输入的信源在脸上：不说话时，发音的肌肉也照常收缩，要说的话就藏在这些肌肉的电活动里，而肌电电极必须贴着皮肤才能拾到信号，于是几十年来无声设备只能一直长在脸上。Kurotaki 等人的解法，是把传感器从脸上搬到手上，需要输入时才让指尖贴到嘴边。

先看需求从哪来。开会时想给同事递一个词，又不想让会议录音留下证据；在轰鸣的车间里喊"停"，机器充耳不闻；喉部手术后的人想发出指令，却没有声音可发。三个场景的共同点在于，要传达的话是无声的，而机器必须读懂它。它们的共同敌人是声学麦克风：麦克风拾的是空气振动，噪声一上来信噪比就崩，失声者根本没有声波可拾。这类需求有个正式名字：Silent Speech Recognition（无声语音识别），而它绕不开的前提是，麦克风一旦失效，信源只剩下发音肌肉本身。这正是 Kurotaki 的按需指尖解法必须正面处理的贴脸命门。

需求不是今天才有，二十多年里没人绕过去。2002 年 NTT DoCoMo 演示过"无声手机"原型，用肌电加唇部视觉捕捉让电话内容不被旁人听到；NASA 研究过 95 分贝噪声环境下的指令识别，综述转述的这项测试在 15 词任务上拿到 74% 的实时准确率，这是作者引用的二手数据而非综述自身的实验；喉切除术后患者的辅助沟通更是延续了几十年的刚需Denby 2010。这些努力大多绕不开贴脸这件事，虽有 Manabe 2003 年戒指式电极等零星尝试把电极挪到手指上，但没有走通成持续方案。到 2010 年，一篇奠基性综述把这些努力用到的传感器归成七类，再按六项标准逐一打定性分，打分是作者主观判断而非精确测量值Denby 2010：

传感技术无声可用抗环境噪声喉切除可用无创程度
EMA 电磁发音追踪5552（舌上粘磁珠）
超声 + 唇部成像5554
NAM 骨传导麦克风4424
声门振动传感器1514
sEMG 表面肌电5554
EEG 头皮脑电5553（凝胶头套）
皮层植入电极5551（需开颅）

注意看表格后两行和超声那一行：EEG 与皮层植入在三个场景里也拿满分，但一个要凝胶头套加安静环境，一个要开颅手术，都不可能成为日常设备；超声加唇部成像同样三项满分，但下巴下压着探头、脸前架着相机，也不像能戴出门的样子。真正三项满分、形态又相对可穿戴的，只有表面肌电（sEMG），因为它的信号不走声波这条路，拾的是肌肉收缩时的电活动。你默念一个词，嘴唇和面颊的肌肉照常收到神经指令、照常收缩，只是不把声音送出去。于是隐私、噪声、失声这三种场合，对它是同一件事。而肌电的全部代价，收敛成一条硬要求：电极必须接触皮肤，信号长在脸上，传感器就只能长在脸上。贴脸不是历史习惯，而是肌电的物理宿命，要拆掉这道命门，只能把持续贴脸改成按需接触。

这个物理特性最近变得格外值钱。耳机、手机、车载助手都在抢着听你说话，"用声音控制设备"在安静环境很顺，在噪声、公共场合和失声场景却系统性失灵，反而把"无声输入"推成了新接口。Kurotaki 等人的论文就是顺着这条证据链落地的答案，2026 年 8 月挂在 arXiv 上，同期收入 Advanced Intelligent SystemsKurotaki 2026。设备平时作为手部可穿戴装置戴在手上，需要输入时，把指尖凑到嘴边，让指尖上的电极采集口周肌电，再用神经网络翻译成词。整套设计围绕开头那个关键词：按需。不是一直监测你的脸，而是你主动伸手，它才"听"。这个伸手的动作本身，就是"意图"的物理表达，系统不需要猜你什么时候想说话。

论文 Figure 1：意图驱动的无声语音识别范式

图注：(a) 概念图：电极戴在手上、需用时贴近嘴，标注肌电电路、参考电极、液态金属走线与弹性体封装；(b) 数据流：手部设备 → 口周肌电 → DNN 识别 → 控制无人机与音乐播放器图标；(c) 手背实物照片，可见电极与电路（10 mm 比例尺）；(d) 使用者把指尖贴在口周区域，标出 Ch1–Ch4 四个通道 Kurotaki 2026

图里最反常的是位置：过去几十年的无声语音设备都贴在脸上，这一套全在手上，需要时才碰一下嘴。在解释为什么绕这一圈之前，先回答一个更基础的问题：不出声的时候，肌肉到底还在不在动。

默念时，肌肉还在"说话"吗？

肌肉细胞受神经指令激活时，肌纤维内外的离子流动会在体表两点之间形成微小的电位差。把电极贴在皮肤上，放大这个电位差，得到的时序信号就是表面肌电。它和声波无关，只和"肌肉有没有收缩"有关Denby 2010。默念一段话，发音器官一个不落地运动，只是气流被掐断，所以电活动照常、声波缺席。这套系统读的，是语音的影子。影子也有大小：这类信号只有微伏量级，要经过放大、滤波、数字化才能喂给算法，这一步做得干不干净，直接决定后面识别的上限。

影子落在哪几块肌肉上，论文写得很具体。四根手指的四个电极，各对应一块口周肌：Ch1 颊肌，负责爆破音和摩擦音时的面颊稳定；Ch2 口轮匝肌，管嘴唇的收拢、前突与闭合；Ch3 下唇方肌，负责下唇下拉；Ch4 颏肌，管下唇上抬和下巴褶皱。四个通道正好覆盖默念时动作最明显的四块肌肉，拼在一起就是一张"无声说话时的脸"Kurotaki 2026。

图注：无声说话的完整信号链。默念时口周肌群照常收缩，肌纤维离子流在体表形成微小电位差，指尖四通道电极拾起信号，经放大、带通滤波后数字化 Kurotaki 2026

肌电这条路从来不缺历史。1985 年 Sugie 和 Tsunoda 用三个电极识别日语五个元音，准确率 71%；2001 年 Chan 等人把英语数字词做到 93%；到 2009 年，同一个 100 词词表的说话人内识别已接近 90%Denby 2010。换句话说，算法一侧几十年没有停滞。综述同时提醒过一件容易忽略的事：人在嘈杂环境下会自动提高音量、改变嘴型，默念和有声发音并不完全一样，所以稳妥的做法是一开始就用默念数据来训练，而不是拿有声数据凑合Denby 2010。那问题到底出在哪里？

问题出在物理形态，不在信号本身。表面电极必须牢牢贴住皮肤才能拾到干净的信号，所以几十年来的肌电研究都把电极贴在脸上，下巴、面颊、嘴唇周围。这正是下一章要讲的死结。

准确率做到 92%，为什么还是走不进日常？

把电极做"软"，是让贴脸从实验室走向一整天的第一步。硬质的银/氯化银电极依赖电解质凝胶，凝胶会干涸、胶带会脱落，面部一运动就接触不良，根本撑不过一个上午。从硬电极到软电极，材料学家解决了一半问题。一个人做表情时，面部软组织最多会被拉伸约 45%，传统银/氯化银凝胶电极在这种形变下要么脱附、要么干涸。2021 年 Wang 等人的工作把电极做成"纹身"：1.2 微米厚的蛇形金属走线封在 47 微米的医用贴膜里，四个电极贴着面颊、嘴角、下颌，以承受这一应变为设计目标，配合耳戴式无线采集模块把信号蓝牙发到云端，再用线性判别分析（LDA）做分类。110 个常用词，十折交叉验证平均准确率 92.64%Wang 2021。它的信号处理也相当完整：用 50 微伏阈值加"至少两块肌肉同时超阈"切出有效段，用小波包分解做软阈值去噪，每个词抽出一百维特征再交给分类器，一整套流程在云端跑Wang 2021。同一团队更早（2020 年）的另一条贴片路线用更薄的铜/聚酰亚胺结构做了小词表验证：11 个词，摘要报告的合并通道结果为动作指令 89.04%、情绪指令 92.33%，口径与前面的 92.64% 不同，不可混用Liu 2020。

前一代方案：贴脸纹身式电极系统

图注：Wang 等人 2021 年系统的全貌。(a) 示意：面部四块纹身式电极、耳戴无线采集模块、云端服务器与手机显示；(b) 真实佩戴照片；(c) 无线采集模块框图，电极 → 仪表放大器 → 滤波 → 单片机 → 蓝牙；(d) 110 词识别结果的混淆矩阵 Wang 2021

这些数字说明，贴脸路线的准确率根本不是短板。毁掉它的是"贴脸"本身。想象一下顶着贴着电极的脸去上班、去吃饭、去约会，胶体和贴膜的闷热感持续一整天，旁人好奇的目光持续一整年。更要命的是隐私：只要电极贴着脸，采集就是持续的，你的每一次无声默念都在被记录，机器在不注意的时候也"听"。那套纹身系统还特意做了一整天日常测试，问候、跑步、吃饭、噪声下工作、黑暗中表达，以此证明"全天候"。这份坚持恰恰从侧面说明：日复一日贴着它，本来就是这种形态的设计前提Wang 2021。

于是真正的设计问题浮出水面：能不能让传感器平时不接触你的脸，只在你想输入时才工作？把电极从脸上搬到指尖，用"按需接触"替代"持续贴脸"，就是这篇论文对上一代方案的反转。现在看它具体怎么做到，以及这一步动作有没有把信号质量丢掉。

把电极从脸上搬到指尖，信号还抓得住吗？

手指是全身动作最频繁的部位之一，把电极放上去，第一个难题是导线。手背到指尖的连线要在反复弯曲下保持导电，银浆、导电聚合物这类导体在应变和温度变化下电阻会漂移。论文选择液态金属互连：Galinstan 基的液态金属混入 2% 到 5% 的镍粉，搅拌成膏状灌进弹性体。液态金属的妙处在于它是流体，拉伸时跟着变形，却不会像固体导线那样疲劳断裂。测试显示，在 10% 到 50% 的拉伸应变下，这种互连的电阻相对变化小于 ±0.5%，100% 应变的循环做到 1000 次依然稳定Kurotaki 2026。指尖电极是焊在柔性印刷电路板上的金属触点，电极间距 5 毫米，正好落在指尖范围内。通道数也不是随便定的，论文比较过不同组合，四通道优于两通道和三通道，例如颊肌、口轮匝肌、下唇方肌三通道只有 92.8%Kurotaki 2026，所以最终定下四根手指各管一块肌肉的布局。

论文 Figure 2：软有源肌电界面的器件结构

图注：(a) 爆炸示意：电极装在 Ecoflex 基底上贴住指尖，液态金属走线把电极连向手背的肌电电路，整体用 Ecoflex 封装；(b) 指尖模块与手背模块实物照片（10 mm 比例尺），下方两组截面给出材料堆叠，电极侧依次为焊料、液态金属、铜、硅、聚酰亚胺、Ecoflex 00-20，电路侧为 IC、铜、聚酰亚胺、Ecoflex；(c) 信号链路：皮肤 → 4 通道并行 → 放大器 → 低/高通滤波 → ADC → 计算机接口 Kurotaki 2026

这里要把"软有源"四个字拆开说。电极触点本身是焊料金属，并不柔软，"软"来自整体堆叠：弹性体 Ecoflex 封装、液态金属互连、透明 FPC 基底。"有源"则侧重电路：一枚紧凑前端放大电路紧贴设备放置，电极信号先由 AD8607 电压跟随器缓冲，再由 AD627 仪表放大器（增益 25）与后续运放级将信号放大到约 2500 倍，配上高/低通滤波；LM4051 提供 1.6 伏偏置，把双极的微伏级肌电整体搬进 0 到 3.3 伏的 ADC 窗口。信号就地放大，不在长线缆里损耗；参考电极放在腕背，那里肌腱和骨头浅表、肌电污染少Kurotaki 2026。这套分工的背后是对一条物理事实的回应：四块肌肉的活动落在高阻抗、微伏级的干电极上，信号弱、源阻抗高，不就地放大就会淹没在线缆噪声里。前一代贴片路线用超薄贴合把接触阻抗压下来，这条路线则用前端电路把信号从高阻抗源里捞出来，取舍不同，目标相同。

这套链路可以想成一套录音系统：麦克风换成贴在皮肤上的电极，声压换成肌肉收缩在体表产生的电位差，剩下的流程与录音完全一致，放大、带通滤波、模数转换，唯一的不同是输入物理量。信号质量也给了量化证据：电极与皮肤接触阻抗测于前臂皮肤，10 Hz 处约 470±103 kΩ；在颊肌上以三种按压力 3.8、8.4、19.0 N 按压，信噪比分别为 31.0、35.4、35.5 dB，达到或超过干电极肌电系统常见的 20 到 30 dB 区间Kurotaki 2026。

液态金属加金属纳米粒子再加弹性体封装，这条材料路线本身不算新，柔性生物电极领域已有先例Lim 2023。这篇论文的贡献不在材料发明，而在形态反转：前一代贴片靠超薄贴合取胜Liu 2020，这一代靠"按需接触"取胜。手离开嘴的瞬间，传感器与皮肤之间再无导电通路，任何软件规则都用不上，隐私直接落在物理层。相机唇读、EEG 头套、喉部传感器、面部贴片都在持续采集生物信号，这枚指尖装置只有在你主动伸手时才"看见"Kurotaki 2026。

有意思的是，"用时才贴"这个念头并不新鲜。2003 到 2004 年，Manabe 等人就提出过戒指式电极、需要时按到脸上的构想，当时只停留在概念摸索Denby 2010。二十年后的这篇论文把同一个念头补完了：软电极、液态金属、前端放大、机器学习，一步不落，把"按需"从概念变成了能起降无人机的完整系统。

硬件关卡过了，论文也诚实交代了这个形态的代价：它是戴在手上而非贴在身上的设备，离开指尖的主动摆放，它什么都读不到。这对用户体验是约束，对隐私却是优势，一枚靠物理接触工作的传感器，天然没法被远程唤醒。下一个问题更关乎方法：指尖贴嘴这个动作，每次的按压角度和位置都有抖动，采集到的肌电还能被机器稳定地翻译成词吗？

从肌电到 30 个词：为什么这次是"最简单的模型"赢了？

论文的解码链路简洁得近乎朴素。肌电以 1 kHz 采样，按固定窗口分帧，做傅里叶变换，过 Mel 滤波器组，再经离散余弦变换取出每帧的梅尔频率倒谱系数 c0–c6（MFCC），四通道拼起来作为输入。论文甚至没有在 MFCC 之前加数字高通滤波，因为 Mel 滤波器组已经把 0 Hz 分量排除在外，得到的特征天然不含直流。为什么拿一套语音特征来喂肌电？因为口周电活动里真正区分词的是发音动作的节奏和组合方式，MFCC 恰好把每个窗口压成一组低维系数，留下发音模式、丢掉与分类无关的波形细节，四通道的高维输入也因此变得可控。分类器是一枚五层全连接网络，每层配 dropout 和批归一化，输出 30 类的 softmax，超参数用 Keras Tuner 的 Hyperband 搜索Kurotaki 2026。

论文 Figure 4：机器学习识别链路与特征空间变化

图注：(a) 端到端链路：多通道肌电 → MFCC 热图 → DNN → Start、Stop、Move 等输出；(b) 预处理级联：分帧 → FFT → Mel 滤波器组 → DCT → MFCC；(c) 30×30 混淆矩阵，对角线明显占优；(d) 训练前特征分布，各词簇高度重叠；(e) 训练后特征分布，30 个词簇清晰分离 Kurotaki 2026

实验规模很小，设计却很规整。30 个词的闭集词表，3 名受试者：S01 每词 60 个样本，共 1800 个；S02 和 S03 各 30 个样本，用高斯抖动增广到 60 个。加抖动相当于人为制造指尖按压时的微小位置和压力变化，强迫模型对接触抖动鲁棒。数据按类别分层做 80/20 划分，再配五折交叉验证。三人的说话人内测试准确率分别是 97.5%、98.3%、95.8%，均值 97.2±1.3%，训练与测试差距控制在 1.7 到 4.2 个百分点；150 个 epoch 的预算大约 20 个 epoch 就收敛，没有过拟合痕迹。补充材料里的混淆矩阵近乎全对：30 个词里绝大多数类别每类 12 个测试样本全部判对，错误散落在发音相近的词之间。从图例还能看出词表的构成：数字 one 到 ten，加上 start、stop、play、open、lock、call 这类控制词，明显是为设备控制场景挑选的Kurotaki 2026。

最有信息量的数字藏在对照组里。作者同时评估了一个 Conformer 基线，Transformer 家族的代表，结果只有 91.1%，比这枚五层小网络低了六个百分点。他们的归因很直接：数据量有限时，简单模型比复杂模型泛化更好Kurotaki 2026。这句话的反常值得点破：过去几年大家默认模型越大越好，而在样本很少的场景里，更大的模型先学会背训练集。数据量有限时假设空间越大、过拟合风险越高，这正是论文把"数据有限"当作解释核心的原因。97.2% 的含义必须带上全部边界条件：30 词闭集、每人每词最多 60 个样本、说话人内评估，它不是开放词汇识别。

把时间轴拉回去，这个结果的分量更清楚。2010 年前后，EMG 语音识别的主流是隐马尔可夫模型加多流概率加权解码：专家手工设计的时域特征先降维，再映射到音素级声学模型。即便做到会话独立，108 词词表的词错误率也要 21.93%，配上 40 句自适应数据才压到 15.66%Wand & Schultz。两代算法隔了十五年，从专家特征加概率加权，到一枚五层网络直接 softmax；任务从 108 词缩到 30 词、从连续语句缩到孤立词，数字本身不可横比。这里只能当作两种解码范式的定性历史对照，它说明的是路线变迁，不代表这一代方案因此可行。可行性的证据只在前面那组实验里：30 词闭集五折交叉验证、均值 97.2±1.3%。这里顺手澄清一个术语：会话独立指同一说话人换了多次佩戴会话，不等于跨说话人。跨说话人正是下一章要讲的软肋。

无声指令能起降无人机，离"想说就说"还差在哪？

论文最后做了端到端演示：把训练好的模型接到一台 Tello 四旋翼无人机上，通过 Wi-Fi 和 Arduino 桥接，用四个静默指令闭环控制整段飞行。Start 自动起飞悬停，Move 前飞预设距离，Turn 顺时针或逆时针转 45 度，Stop 自动着陆，识别的词实时显示在浏览器里。想象这个画面：演示者站在安静的房间里不发一声，无人机起飞、平移、转向、降落，浏览器里同步跳出 start、move、turn、stop 四个词，整段起降、前进、转向全程不出声Kurotaki 2026。选无人机的理由很直接：启动和飞行噪声下常规语音识别会失效，而肌电不依赖麦克风输入，天然免疫环境声，这类指令接口最典型的场景正是工业与灾害现场，那里的背景噪声大到语音助手完全失灵。演示的价值在于它是一个闭环：不是单条指令的识别表演，而是四条指令串成一段完整的飞行任务，静默输入第一次承担了真正的控制回路。演示有配套视频记录，论文补充视频 1，主文用图 5 呈现了完整流程。

演示证明"按需接触"范式端到端可行，论文对自己边界的交代同样诚实，三点最要紧。第一，30 词闭集，不是开放词汇；从孤立词到连续语句，难点不只是词表变大，有声语音有静音间隔可以切分，默念没有声学边界，句子怎么切词、怎么对齐都要重新设计，论文把它明确列为未来工作，交给 CTC 或序列到序列模型。第二，只有 3 名受试者，实验在单次佩戴会话内完成；把三人数据合并训练跨说话人模型，准确率从 97.2% 掉到 92.1%，掉了 5.1 个百分点，所以论文推荐每位用户做个性化校准。第三，电极放置位置的变异对准确率的影响（论文列为未来工作）、长期佩戴的皮肤反应等，目前都还缺乏系统量化。论文声明数据与代码将在发表时公开，但这是声明，尚未兑现为可下载的链接Kurotaki 2026。

放到整个领域里看，近期同行做的事恰好补上了另一块拼图。ETH 团队的 SilentWear 选择了完全相反的形态：一条织带式颈带，14 个差分干电极，端上嵌入式处理器做推理，模型只有约 1.5 万参数，整个系统端上功耗约 20.5 毫瓦，一块 150 毫安时的电池能撑 27.1 小时，每次推理耗能约 63.9 微焦SilentWear。它把评估协议做得严苛得多：4 名受试者、8 个指令、跨多日采集，每次 session 之间重新佩戴设备，模拟真实使用中"每次戴都不一样"。在跨日重新佩戴的协议下，无声命令准确率是 59.3%SilentWear。

SilentWear 的数据采集协议

图注：(a) 跨多日的 3 个 session，每个 session 含 10 个 batch，有声无声交替，batch 间休息 2 分钟；(b) 单个 batch 内部：8 个命令各 20 次随机重复，每次 2 秒朗读或默念加 1.5 秒静息 SilentWear

59.3% 与 97.2% 摆在一起很刺眼，但它们不可横比。任务集不同，8 个指令对 30 个词；协议不同，跨日重新佩戴对单次会话；受试者规模不同，4 人对 3 人。重新佩戴会改变电极与皮肤的接触位置，制造分布漂移，这正是 SilentWear 故意设计的难度。两种方案本身没有高下之分，一个把舒适和隐私放在第一位，一个把续航和全天候放在第一位，横比数字会得出错误结论。这个对照想说明的不是谁比谁强，而是评估协议有多严苛、数字就有多不客气，看 EMG 识别论文的第一件事是看协议。

回到最初的问题。无声语音识别缺的从来不是准确率，1985 年就有 71%，2021 年就做到 92% 以上。它缺的是一个让人愿意戴上的形态：不贴脸、不显眼、只在需要时工作。这篇论文证明了"按需指尖"能读懂 30 个词、能起降无人机、能把隐私做成物理属性；SilentWear 则提醒我们，从单次会话到日复一日地佩戴，中间那道跨日漂移的沟还等着填。开放词表、跨说话人、跨日稳定，是下一代要解决的三个关键词。而对喉切除术后失去嗓音的患者来说，这条路的意义不止于隐私，它可能是重新拿回"说话"这种交互方式的一线希望。读懂无声的话，最难的从来不是让机器听懂，而是让人愿意戴。

想深入可以读原文：Soft Active Electromyography Interface for Machine Learning-Enabled Silent Speech Recognition — arXiv:2608.27048

参考文献

把手指凑到嘴边，机器怎么听懂你不出声的话？