视频介绍：LEAF：可学习的音频分类前端在过去几年中，开发用于音频理解的机器学习 (ML) 模型取得了巨大进步。利用从数据中学习参数的能力，该领域已逐渐从复合的、手工制作的系统转变为当今用于识别语音、理解音乐或对鸟类叫声等动物发声进行分类的深度神经分类器。然而，与可以从原始像素中学习的计算机视觉模型不同，用于音频分类的深度神经网络很少从原始音频波形中进行训练。相反，他们依赖于 mel 滤波器组形式的预处理数据——手工制作的mel 缩放 频谱图 旨在复制人类听觉反应的某些方面。 尽管为 ML 任务建模 mel 滤波器组在历史上是成功的，但它受到固定特征的固有偏差的限制：即使使用固定的 mel 尺度和对数压缩通常效果很好，但我们不能保证它们提供最好的表示为了手头的任务。特别是，即使匹配人类感知为某些应用领域提供了良好的归纳偏差，例如语音识别或音乐理解，但这些偏差可能对模仿人耳不重要的领域有害，例如识别鲸鱼叫声. 因此，为了实现最佳性能，梅尔滤波器组应该针对感兴趣的任务进行定制，这是一个繁琐的过程，需要根据专家领域知识进行迭代工作。因此，标准 mel 滤波器组在实践中用于大多数音频分类任务，即使它们不是最理想的。此外，虽然研究人员已经提出了 ML 系统来解决这些问题，例如时域滤波器组、SincNet和Wavegram，但它们的性能仍无法与传统的 mel 滤波器组相匹敌。 在ICLR 2021接受的“ LEAF，一个完全可学习的音频分类前端”中，我们提出了一种为音频理解任务制作可学习频谱图的替代方法。LEarnable Audio Frontend (LEAF) 是一种神经网络，可以初始化为近似 mel 滤波器组，然后与任何音频分类器联合训练以适应手头的任务，同时只需向完整模型添加少量参数。我们表明，在广泛的音频信号和分类任务（包括语音、音乐和鸟鸣）中，LEAF 频谱图提高了固定 mel 滤波器组和先前提出的可学习系统的分类性能。我们已经在TensorFlow 2 中实现了代码并通过以下方式将其发布到社区我们的 GitHub 存储库。 Mel 滤波器组：模仿人类对声音的感知创建 mel 滤波器组的传统方法的第一步是通过开窗捕捉声音的时间变化，即将信号切割成具有固定持续时间的短段。然后，通过一组固定频率滤波器传递窗口段来执行滤波，复制人类对音高的对数灵敏度。因为我们对低频的变化比高频更敏感，梅尔滤波器组更重视声音的低频范围。最后，音频信号被压缩以模拟耳朵对响度的对数敏感性——声音需要将其功率增加一倍，人才能感知到 3分贝的增加。 LEAF 松散地遵循这种传统的 mel 滤波器组生成方法，但将每个固定操作（即，过滤层、窗口层和压缩函数）替换为学习的对应物。LEAF 的输出是类似于 mel 滤波器组的时频表示（频谱图），但完全可学习。因此，例如，当 mel 滤波器组使用固定的音调比例时，LEAF 学习最适合感兴趣任务的比例。任何可以使用 mel 滤波器组作为输入特征进行训练的模型，也可以在 LEAF 频谱图上进行训练。
虽然 LEAF 可以随机初始化，但它也可以以近似 mel 滤波器组的方式初始化，这已被证明是一个更好的起点。然后，可以用任何分类器训练 LEAF 以适应感兴趣的任务。
固定特征的参数有效替代方案用可训练系统替换不涉及可学习参数的固定特征的潜在缺点是，它可以显着增加要优化的参数数量。为了避免这个问题，LEAF 使用Gabor卷积层，每个过滤器只有两个参数，而不是标准卷积层典型的 ~400 个参数。这样，即使与小分类器（例如EfficientNetB0 ）配对时，LEAF 模型也仅占总参数的 0.01%。
性能我们将 LEAF 应用于各种音频分类任务，包括识别语音命令、说话人识别、声学场景识别、识别乐器和寻找鸟鸣。平均而言，LEAF 优于 mel 滤波器组和以前的可学习前端，例如时域滤波器组、SincNet和Wavegram. 特别是，LEAF 在不同任务中实现了 76.9% 的平均准确率，而 mel 滤波器组的平均准确率为 73.9%。此外，我们表明 LEAF 可以在多任务设置中进行训练，这样单个 LEAF 参数化就可以在所有这些任务中很好地工作。最后，当与大型音频分类器结合使用时，LEAF 在具有挑战性的AudioSet 基准测试中达到了最先进的性能，d-prime得分为 2.74 。 结论音频理解任务的范围不断扩大，从通过语音诊断痴呆症到检测来自水下麦克风的座头鲸叫声。使 mel 滤波器组适应每项新任务可能需要大量的手动调整和实验。在这种情况下，LEAF 为这些固定特征提供了替代品，可以训练这些特征以适应感兴趣的任务，只需最少的任务特定调整。因此，我们相信 LEAF 可以加速新音频理解任务模型的开发。 更新说明：优先更新微信公众号“雨夜的博客”，后更新博客，之后才会陆续分发到各个平台，如果先提前了解更多，请关注微信公众号“雨夜的博客”。 博客来源：雨夜的博客 |
|
|
