盲人抖动脸肌就能“打字”！重庆大学受青蛙鸣叫启发，研发免提打字通信系统助力残疾人社交 | 专访

是什么让病人无需说话，就能在电脑屏幕上打出 “I NEED WATER” 去向医护人员要水喝？

是什么让病人无需说话，就能在电脑屏幕上打出 “I NEED WATER” 去向医护人员要水喝？

图 | 病人在屏幕上打字（来源：受访者）

这是由重庆大学贺显明、郭恒宇、牟笑静等人与王中林院士合作，受蛙鸣行为的启发，联合开发的一款免提打字通信系统，该系统可帮助残疾人与外界通信。

盲打测试中，病人首先打出 “I”。

动图 | 打出字母 “I”（来源：受访者）

然后再打出 “ NEED”，最后打出 “WATER” 便有了文章开头的 “I NEED WATER”。

动图 | 打出 “NEED”（来源：受访者）

该系统的全称叫基于 BTUSE 传感器的免提打字通信系统，其中 BTUSE 是 bionic triboelectric nanogenerator-based ultra-sensitive self-powered electromechanical 的缩写，即基于摩擦纳米发电机的超灵敏自供电的仿生机电传感器。

由于该传感器输出的是一种脉冲信号，所以该研究团队使用莫尔斯电码作为通信协议，来实现残疾人或者病人的人机交互。

他们将一个触发信号设置为“dit”，两个触发信号设置为“dah”，三个触发信号设置为“Enter”，四个触发信号设置为“backspace”。

其中，“dit” 和 “dah” 之间的时间间隔是一个重要参数，在短时间间隔下，用户必须快速触发，而长时间间隔则会降低通信效率。

这意味着，由于不同的触发习惯，每个用户都有一个独特的最优值，而最优值是效率和精度之间的折衷值，可通过机器学习算法的预训练得到。

图 | 免提打字通信系统（来源：受访者）

在支持向量机（SVM）模型中进行预训练后，该团队获得了 96.3% 的高识别准确率。根据莫尔斯电码的一般规则，所有字母都可以用 “dit” 和 “dah” 来表示。

在演示中，该研究团队根据莫尔斯电码规则成功输入了单词 “HMI”（Human Machine Interface 的缩写，即人机接口，又叫人机界面）。

图 | 根据莫尔斯电码规则成功输入了单词 “HMI”（来源：受访者）

作为一种新型医疗通信辅助设备，基于 BTUSE 传感器的免提打字通信系统在智慧医疗方面具有较好的应用前景。

事实上，免提打字通信系统只是该研究团队成果的具体应用之一。围绕 BTUSE 传感器，该研究团队撰写了论文并于近期发表在 Advanced Science。

论文标题为《用于肌肉触发通信应用的仿生超灵敏自供电机电传感器》（Bionic Ultra-Sensitive Self-Powered Electromechanical Sensor for Muscle-Triggered Communication Application），是由重庆大学贺显明、郭恒宇、牟笑静等人与王中林院士合作共同发表。

图 | 相关论文（来源：受访者）

以青蛙“咕呱”为启发，研发出超灵敏自供电的仿生机电传感器

摩擦纳米发电机（TENG，Triboelectric Nanogenerator），是基于接触起电（contact electrification）和静电感应（electrostatic induction）耦合，可收集人体与环境中的微小机械能的新型微能源技术。

自几年前由王中林院士团队首次发明以来，它已广泛应用于环境能量采集、自驱动传感（人机界面、穿戴式电子产品、环境监测、医疗康复、智能书写和语音识别等）和蓝色能源等领域。

TENG 具有高输出性能、轻薄、柔性和较好的稳定性等优势，故可用于开发稳定舒适的人机交互应用。

具体以怎样的形式交互？该研究团队想到了仿生青蛙。

他们发现，当雄蛙呱呱叫时，由肌肉控制的大嘴轻微收缩（微运动），挤压出来的气流推动青蛙的外部声囊发生明显的变形。然后，声带的共振会增强声带的声音

受青蛙呱叫行为的启发，该研究团队研发出这种基于 TENG 的超灵敏自供电的仿生机电传感器，它可将咬肌肌肉的实时微运动，转化为人机交互的控制命令。

图 | 雄蛙呱呱叫（来源：受访者）

如下图所示，BTUSE 传感器集成了具有放大效果的运动模块、以及可产生电信号的 TENG 模块。运动模块包括传感膜、以及由间隔层分离的振动膜，其中穿透间隔层的孔隙可作为空气呼吸通道。

图 | BTUSE 传感器的结构示意图（来源：受访者）

半径为 14 mm、距离间隔层为 5 mm的传感膜，就像青蛙的嘴一样，会随着肌肉缩放而变形。

同样，半径为 7 mm 并与间隔层紧密接触的振动膜，可以模仿青蛙外部声囊的功能，在传感膜的驱动下，它会产生大幅度变形。

图 | 传感器青蛙鸣叫（来源：受访者）

这里有个小细节，所有薄膜都被设计成圆形，是因为圆形边界的曲率与其他形状相同，从而能实现又小又均匀的应力分布。

接着，通过模拟口腔的结构和声囊，该团队使用柔性 PDMS 弹性体（聚二甲基硅氧烷，一种疏水的有机硅材料），制备出了传感膜和可变形振动膜，这时便可将咬肌的微小波动，放大为振动膜的大幅度变形。此时，再把 TENG 技术融入到仿生结构中，即可把薄膜的振动转换为电信号。

研究中，该研究团队还运用摩擦材料掺杂改性技术，让摩擦电层的表面电荷密度实现最大化，借此增强摩擦电层的信号强度。

（来源：受访者）

据悉，该传感器的灵敏度为 54.6 mV mm -1、强度信号为 ±700 mV、传感范围为 0-5 mm。相比传统的生物电位肌电图方法，它的信号强度高出 206 倍。

利用摩斯电码和机器学习算法，该传感器可实现安全、准确且稳定的通信辅助人机交互应用，其中准确度达 96.3%。

BTUSE 传感器可将用户咬肌的实时微动，转化成人机界面的控制命令，同时作为摩斯电码的通信协议，可应用于人机交互中。

基于 BTUSE 传感器的高性能，该研究团队将 莫尔斯电码作为通信协议引入 HMI 应用，并开发出了上述免提打字通信系统。

（来源：受访者）

原理基于接触带电和静电感应的耦合

TENG 模块由银纳米线（AgNWs）基底部电极、银纳米线/钛酸钡纳米颗粒/聚二甲基硅氧烷（Ag NWs/BaTiO3 NPs/PDMS）复合摩擦材料（下称“摩擦材料”）、以及碳基顶部电极组成。

其中，底部电极和摩擦层被集成为一个间隔层，顶部电极附着在振动膜上，当薄膜振动时，它与摩擦材料接触/分离。

下图分别是传感膜、底部电极、摩擦层和最终组装的装置，这些装置的灵活性可帮助提高用户体验。

图 | 传感膜、底部电极、摩擦层和最终组装的传感器（来源：受访者）

下面的扫描电子显微镜（SEM）图像，分别显示了银纳米线、摩擦材料和碳基导电膜的微观形貌图。它们的微观形貌会影响器件的信号强度。

图 | 银纳米线、摩擦材料和碳基导电膜的 SEM 图（来源：受访者）

该研究团队表示，BTUSE 传感器中的放大效应，源于传感膜和振动膜之间的尺寸差异。其中，肌肉运动会导致传感器中的空气被压缩，但这种影响可以忽略不计，因此由感测膜的轻微变形挤压出的空气体积等于振动膜的体积。

图 | 传感膜和振动膜之间的尺寸差异（来源：受访者）

BTUSE 传感器产生电气输出信号的原理，是基于接触带电和静电感应的耦合。下图显示了它在肌肉收缩和放松过程中的发电过程，包括电荷转移行为和 COMSOL 模拟的电位分布。

图 | BTUSE 传感器在肌肉收缩和放松过程中的发电过程，及电荷转移行为和 COMSOL 模拟的电位分布（来源：受访者）

在初始阶段，摩擦薄膜带负电，碳基电极则带正电，这些电荷是通过几次接触分离循环获得的。

在传感器的肌肉收缩阶段，由振动膜驱动的顶部电极会逐渐离开摩擦材料，这会导致两层之间的电位差逐渐增加。

然后，电子会从顶部电极流到银纳米线底部电极。在肌肉松弛的中间阶段，在传感膜的弹性力和以及振动薄膜的压力下，顶部电极可逐渐回到初始状态，这会导致电位差逐渐降低，并会让外部电路产生相反的电流。而这正是信号生成过程的整个周期。

采用防水性材料与密封结构，可在出汗环境下稳定工作

除了研究摩擦材料对 BTUSE 传感器输出的影响外，该研究团队还研究了装置结构尺寸对输出的影响，如振动膜的尺寸、厚度以及呼吸孔的布置。

为实现对于 BTUSE 传感器性能的定量描述，他使用振动平台和位移传感器来控制振动膜的变形。

实验中，他们发现了一个规律现象：随着变形的增加，不同构型的传感器的输出，经历了三个变化阶段，分别是线性增加阶段、非线性增加阶段和饱和阶段。

（来源：受访者）

这三个阶段分别对应 BTUSE 传感器在肌肉驱动的小变形、大变形和过度变形中工作。该研究团队还发现，薄膜厚度越薄，灵敏度和信号强度也越好。

紧接着，该团队还研究了传感器的表征如频率响应、稳定性和防水。如前所述，一定范围内，BTUSE 传感器的电学输出会随着频率增加而逐渐增大。为研究长期实际应用中的稳定性和耐久性，该研究团队以5Hz的频率对其进行了 60 000 个周期的重复变形实验。

（来源：受访者）

结果证明，整个过程中传感器的输出始终保持稳定，由于其外层的 PDMS 密封层，即便浸水后其输出性能也不受影响，因此可在出汗环境下稳定工作。

谈及未来，该团队表示免提系统不是终点而是起点，病魔无情，科技有爱，未来我们会致力于研发更灵敏、更舒适、更友好的人机交互系统，让人人都能感受到科技的魅力，享受到科技的便利。据世界卫生组织（WHO）统计，目前全球有 10 亿左右残疾人。他们也被要求在疫情期间出示健康码，这就得使用智能手机。

多数残疾人用的手机，是基于正常人的需求设计而来。智能产品给正常人带来了方便，但却可能给他们带来更大的不便，因此专为残疾人设计的人机交互系统寥寥无几。而该团队的工作瞄准这一小众群体，正是科技向善的彰显。