一文读懂辅听耳机的核心技术、算法要点和难点

youngerwei 2021-07-05

展开全文

什么是辅听耳机？

辅听耳机 ( Hearing Devices, 或 Hearing Buds )，简单的说，是一种声音特别增强型耳机，适用于轻度听损人群。其可以实现一些助听器的功能，如：声音的分段压缩补偿。主要面向因为特殊原因导致听力损伤，或因为年龄的增长逐渐听力下降的人群。

从听力健康程度这个维度划分，个人听力设备可以分为以下四大类，如下图：

辅听耳机是介于健康耳机和专业助听器之间的产品，目标人群是 10 亿轻度听损者，同时可辐射面向大众的健康耳机市场。其需要具备专业助听器的部分功能，同时具备普通耳机、健康耳机的时尚外形。

通过这张对比图可以更加了解辅听耳机、健康耳机和医疗助听器的区别。

辅听耳机的技术标准是怎样的？

在消费级电子产品市场，辅听耳机被关注是从 2020 年开始，2021 年开始真正成型。目前辅听耳机的标准还在行业阶段，到成为国家标准还需要一定的时间。国家标准的最后建立和大众听力健康的保护，需要医学界、产品行业的更多人的讨论和努力。

辅听耳机需要具备以下功能，才能满足轻度听损者的需求。具体包括：

1) 测听功能：了解听力情况，个性化听力补偿

满足精确度的听力情况测试，生成听力报告

根据听力报告，自动调整辅听补偿参数。

2) 辅听功能：让轻度听损者听得更清晰

声音增益可达到 20dB

分段压缩补偿：听清的同时不伤耳

啸叫抑制：防止因增益产生的啸叫

对话降噪：环境人声提取，环境噪音消除

SCO，A2DP模式下的辅听放大。

3) 辅听耳机的性能要求

辅听耳机的性能体现在几个方面：

①声音处理的性能，延迟不能高于 25 ms。

②整机的性能，包括耳机的续航能力等。

综合上述的技术原理，北京聆通科技参考美国听力学会（AAA）、美国听力医师学会（ADA）和美国言语听力协会（ASHA）对美国 FDA提出的OTC 助听器耳机的建议标准，并结合了业界的讨论，给出了对于辅听耳机的标准（建议）如下。

辅听耳机的核心技术：算法的要点和难点

辅听耳机的算法基本是沿用助听器的思路和框架，可以认为是助听器算法的降维。因此，我们在这里就用医疗级助听器的算法框架来分析辅听算法的要点和难点。

1、辅听耳机的核心算法

1) 分段增益算法

分段增益算法的正式名称是多通道响度补偿算法。由于听损患者对声音的敏感程度随频率变化而不同，故数字助听器应针对不同频率区域的声音信号设不同的增益，这些频率区域称为通道或频带。最终输出信号为不同通道放大后的综合。多通道响度补偿算法可以准确地与听力损失者的听力损失相匹配。

另外，在声音增益同时，为了防止增益过大以保护听力，要同时使用输入和输出的压缩策略。因此，这套算法也称为声音压缩放大算法。

在多通道响度补偿算法中，频带的分割与综合性能是影响算法性能的重要因素。

2) 对话降噪算法

在面对面对话场景中，如何在不失真的情况下降低背景噪声并提高语音可懂度是助听器设计最具挑战性的任务之一。降噪算法能够提高信噪比，是提高患者可懂度的重要方法。但是，现实中的噪声往往千变万化，有用语音和噪声可能在空间或时间上存在一定交叠，使得利用降噪算法提高听障患者在噪声环境下的语音理解度存在很多挑战。

3) 啸叫抑制算法

啸叫抑制算法，或称回波抑制算法。数字助听器的增益决定了其对声音放大的属性。由于助听器麦克风与受话器距离很近，受话器输出的声音往往会经过一定路径泄露到麦克风中。在内部增益较大时形成回声, 严重时引起啸叫。成为助听器设计中最严重的问题之一。

4) 移频算法

移频算法又称降频算法。降频算法的主要方法是通过将高频信息转移或压缩到患者可听的低频段，然后经过语言训练，使患者重新建立语言感知习惯，进而达到理解语言的目的。

2、辅听耳机算法的难点介绍

1) 算法本身的复杂性

算法的复杂性是助听器算法的难点之一。

比如对于啸叫抑制算法，数字助听器可以通过回波抑制算法自适应地估计出回声路径，进而从原始信号中减去回声信号，达到消除回声、提高助听器最大增益的目的。但是，语音信号与噪音信号在频谱上的重合度高，而且期望信号与回声信号又是相关信号，使得对回声路径的估计变得相当复杂，如何设计算法得到回声路径的无偏估计是当前数字助听器语音处理算法研究的难点。

2) 算法工程化的难度

工程化的难度主要是由于耳机中的数字信号处理器（DSP）的计算能力限制所导致。DSP 的算力只有服务器的千分之一。这导致了 DSP 的算法相比于一般云端的算法，要求大幅度简化。在模型简化的同时，还要保持语音处理结果的有效性，是非常大的工程化挑战。

3、具有辅听功能的耳机产品

在目前的 TWS 耳机市场上，大厂在引领辅听耳机的功能实现。在大健康的战略方向下，他们在自己的旗舰耳机上增加了辅听功能。最典型的是苹果公司，之后是三星、华为。

1) 苹果 Airpods Pro 的辅听功能

在苹果 Apple 进入大健康领域的战略方向下，Apple 的穿戴设备开始具有了健康的功能，特别是苹果的手表和耳机。大健康的产品定位，带来 Apple 穿戴产品的优势与差异化、增加客户的粘度、也坚定地维护了市场的领先地位。

从 AirPods 开始，到目前的 AirPods Pro，都配置了一定的辅听功能。在 AirPods 中，当 AirPods 连接 iPhone 并启用 Live Listen 后，AirPods 就具备了一定的助听和监听功能。

在比较大的会议室、教室或者嘈杂环境下，通过这种办法能让 AirPods 变成随身助听器，Live Listen 功能虽然不能完全替代助听器，但在嘈杂或者容易被分散注意力的环境中相当实用，它能让你在嘈杂的室内听到更加清晰的对话，或听到其他房间里的对话。

图为AirPods Pro 的辅听配置功能。在早期这一版中，加入了简单的测听功能。

在2021年6月的苹果开发者大会WWDC21上，苹果发布了iOS15，其中，AirPods Pro增加了“对话增强”(Conversation Boost)功能。这个实际上就是助听/辅听的对话降噪算法加上人声增益算法的实现。AirPods Pro这项功能将在今年9月份进入市场，声音增益预估在20dB。

总体而言，苹果耳机有简易的测听功能，加上对话增强，可以称为一个比较典型的辅听耳机。

2) 华为 FreeBuds Pro 的“听感优化”功能

今年6月15日，华为FreeBuds Pro耳机固件升级到1.0.1.390版本，新增的“听感优化”功能。这个功能的算法就是人声的分段增益，也就是辅听功能。用户完成听力测试后开启“听感优化”就能根据其自身听力情况进行个性化增益补偿。据悉，此功能的核心算法是与北京聆通科技合作完成。

图：华为FreeBuds Pro测听结果和听感优化配置图

使用该功能，轻度听损用户能够解决部分场景下听不清对话的问题，如小声的面对面交流等场景。另外，在电话、视频会议时开启“听感优化”功能，也能够让人声更清晰。让用户在不过大提升音量的情况下，就能听清人声，顺畅交流。

“听感优化”配合“佩戴健康提醒”功能，让华为 FreeBuds Pro 成为为数不多的同时具备辅听和健康功能的TWS耳机，充分展现了华为在大健康领域布局的雄心。

3) 三星Samsung Galaxy Buds Pro的辅听功能

伴随 Galaxy S21 系列而来的三星 Galaxy Buds Pro，号称是一款具备了市场上各家真无线耳机的特色功能。三星曾经在 2021 年 3 月发布了国际新闻稿，引入辅听耳机的概念。包含三星 Galaxy Buds Pro 的 TWS 耳机除了提供 ANC 主动降噪、环境音侦测、以及语音检测这些中高端耳机的功能，也提供了辅听耳机的功能，帮助轻中度听损人士听到周围的声音。

Galaxy Buds Pro 虽然在自测的报告中针对电声评估、声音放大以及临床效能评估这几个方面都提供了不错的效果，但在我们的实际体验中却缺少了辅听耳机非常关键的功能—听力测听和针对不同听力频点做分段增益，这是不足之处。

辅听耳机的方案商

辅听耳机目前刚刚兴起，从算法层面看，方案商非常少，其核心原因是与辅听密切相关的助听技术长期被国外厂商垄断。其核心原因是辅听算法自身的复杂性和工程化的难度所决定的。

公司介绍：

北京聆通科技（www.lyratone.net）是医疗听力的科技公司，专注助听算法和方案的研发。在 2018 年推出“测听+助听”双功能的 APP 应用软件，可以将手机变成一个盒式助听器。在助听器技术研发的同时对助听算法做了一定的简化，2020 年完成辅听算法的产品化和商业推广，为消费电子行业推出了辅听耳机方案。

方案介绍：

公司的算法方案支持多种助听和辅听算法，也已经完成工程化，可以植入到多种 TWS 的芯片或手机底层之中。具体如下：

算法种类：测听、分段增益放大、对话降噪、啸叫处理等。

算法平台：高通 51xx 系列、Cadence Tensilica HiFi 3，和恒玄BES2500

处理功耗：单声道处理为 5-10 MCPS，RAM 12K byte；

支持多通道的细微的音频调整；

声音延迟：整体声音处理链路可控制在 23ms 以内；

测听误差：硬件校准后测听的声压误差在 ±3dB；

空间占用：单场景助听参数仅为 1.7K。

算法可以支持芯片级、系统底层级、音频服务级、APP 应用级的不同层级调用。算法处理可作为功能模块单独集成接入，也可深度嵌在原有的音频处理框架内。部分使用场景如图3示意。