Nature：硬件集成算法 | AI芯片加速机器视觉

taotao_2016 2020-05-15

展开全文

推广位（非商务）

封面图：芯片对图像进行分析，然后输出合适的信号

图片来源：Joanna Symonowicz, TU Wien

撰稿 | Z

导读

据统计，我们日常生活中的80%的信息都通过眼睛采集汇聚到大脑。近年来，机器视觉技术有了巨大的飞跃，现在正成为各种智能系统的组成部分，包括自动驾驶汽车和机器人。

来自奥地利的维也纳工业大学光子学研究所Lukas Mennel研究团队近日在超快机器视觉成像取得重要进展，他们提出利用二维材料构建神经网络光电图像传感器阵列，无需将光学图像转化为数字信息格式便能够同时实现光信号采集和处理，并且能够实现ns级别的实时图像采集运算，拥有百万量级的每秒信息处理量能力。

这项工作对于超快光谱分析和超快机器视觉成像的实现提供了一个新的思路。

图1 ANN光电传感器阵列(中间)

研究背景

现代图像传感器，例如数码相机中的图像传感器，是上世纪70年代基于半导体技术开发出来的，它们主要分为两种类型，即电荷耦合器件和有源像素传感器。这些传感器自从被制造出来就是固定的形态和性能，能够感知所有照射到元件上的光学信息，因此那些不必要的光学信息就造成了传感器资源的浪费，然后这些海量的光学信息通常被转换成数字电子格式并且传递给后续的计算机进行图像的处理和分析，传感器和处理单元之间大量的数据传送也导致延迟和高功耗。

随着现代技术例如人工智能和5G的发展，自动驾驶和机器人等需要快速成像和处理大量的成像数据，人们迫切需要一种短时延高效率的视觉成像技术。

同时，我们知道模拟信号到数字信号的转换既耗时又耗能。很自然想到一个较好的解决办法：将一些计算任务转移到计算机系统外部的感知设备上，减少不必要的数据移动。由于传感器通常产生模拟信号输出，因此如何将感知任务和计算任务兼容到传感器上面成为了一个关键问题。

在另一方面，如何增强计算机处理信息的能力也是一个问题，通过模拟生物大脑处理信息的形态和原理，科学家提出了一种类人脑的数据处理算法：人工神经网络(artifcial neural network,ANN)。

这些人工神经网络可以通过迭代从周围环境中学习，例如：学习对已知的例子进行分类(监督学习)，或者从没有额外信息的输入数据中识别一个对象的特征结构(非监督学习)。在学习过程中，算法不断地进行预测，增强或减弱网络中的每个突触(各层之间的权重)，直到达到最优设置。简单来讲：人工神经网络就是模拟大脑对信息的处理过程，通过对已知数据之间的关联和特征进行学习从而获得对未知数据进行处理的能力。

人工神经网络作为一种典型的机器学习算法在许多领域都取得了巨大的成功。执行机器学习任务所需的计算资源非常苛刻。因此，提供比传统计算机架构更好的性能和能源效率的专用硬件解决方案已经成为一个主要的研究重点。

然而，尽管在电信号或光学信号的有效神经形态处理方面已经取得了很大进展，但将光学图像转换成电信号域仍然是一个瓶颈，特别是在对时间要求苛刻的应用中。模拟神经生物学结构的成像系统可以帮助我们克服这些缺点。

综合以上背景，Lukas Mennel团队提出利用二维材料WSe₂作为基本的光电转换元件，构建了神经网络图像传感器阵列，即：将原本计算部分的ANN算法集成到了硬件本身的特性上面，这样传感器阵列兼具图像感知和处理的功能，同时没有了数据迁移，减小了能耗和时延。

创新研究

3.1

光电传感器单元的选择

图2 光电传感器单元以及样品

由于硅基二极管等传统光电元件具有固有的光电性能，其掺杂特性决定了其光电响应能力，因此无法进行有效的调节。而我们要实现一个可以用来做ANN学习的传感器阵列，就需要快速的调节光电响应能力，因此无法使用传统的元器件。

作者团队提出使用图2a所示的传感元件。选择了WSe₂二维半导体材料作为光敏材料，这是由于二维半导体不仅表现出强烈的光与物质的相互作用和优异的光电性能，而且还通过静电掺杂(使用多栅电极)，提供了器件中电势分布的外部可调性的可能性，从而实现了器件的光敏性可调。

此外，2D材料技术现在已经达到了足够高的成熟水平，可以应用于复杂的集成系统中。对于图2a这样的结构，我们可以通过施加不同的电压对(VG)~(-VG)，改变WSe₂中的掺杂特性，从而可以改变光电流I_SC，即改变传感器的光电响应因子R。

3.2

ANN传感器的原理

图3 ANN传感器阵列和相应的ANN结构

图3a展示了论文所建立的传感器阵列，图中一共N个像素点(pixel)，每一个像素点由M个子像素点(subpixel)组成，每一个子像素点即是一个WSe₂光电传感器。P_N表示第N个像素点上接受到的光照强度，R_MN表示第N个像素点中第M个像素点在P_N的光照强度下产生的子电流对第M个电流的贡献，文中称R为光照敏感性因子。图3a中每个相同颜色的子像素全部并联在一起产生一个电流。根据图中示意关系，产生的电流关系有以下形式：

因此，对于图3a这样一个N个像素点，每个像素点有M个子像素点的传感器矩阵，输入N个信号，得到M个电流。对比图3c,d中的人工神经网络结构，我们可以发现隐层中每一个节点的值取决于来自全部输入节点的N个值，他们之间的关系也可以用一个R因子表示，这样第m个节点的Im值也有以下的形式：

通过对公式(1),(2)对比我们发现，对于这样一个ANN传感器，电流的并联与ANN算法中两层之间的关系相对应，其中R因子在传感器中可以通过施加不同的电压对来调节。

这样，感知器功能来自于每个光电传感器单元的光电特性，处理器功能来自于像素点之间的关联特性。

Lukas Mennel团队提出的这样一个传感器阵列便能够实现光学信息感知和计算为一体的高效、快速、低时延的处理。

作者利用这样一个结构实现了两个例子：图像分类器(监督学习)，图像编码器(无监督学习)。

3.3

实验样品和实验装置

图4 3x3像素阵列的传感器样品

一共加工了9个像素点，每个像素点由三个子像素(WSe₂光电传感器)组成，一共27个子像素点，产生三个输出电流。

图5 实验设置图

论文中使用数字-模电转换器独立施加所需的电压对，利用数字源表探测产生的M个光电流。光源由激光发出，光学图像由空间光调制器(SLM)加载，最终通过一个透镜系统将光照射在传感器阵列上。

3.4

监督学习-图像分类器

图6 利用ANN图像传感器阵列实现的图像分类

研究团队使用20组做了标签的图片进行监督学习训练，训练好之后得到R值分布，并在该分布下对输入图像进行分类。

图6a,b展示了利用ANN图像传感器阵列实现的图像分类随着不同时期准确度和误差的变化，对于给定的不同方差的高斯分布噪声，图6b中的三个计算分别在15、20和35次达到了最小值。

图6左边展示了输入的三个字母：‘n’,‘v’,‘z’，图6c展示了添加不同的高斯噪声后的字母形态。

图6d展示了分类后的结果，这里的三条线分别代表三个字母的特征电流(蓝色线-字母n，红色线-字母，绿色线-字母v)，在图6d中我们可以看见，在30次迭代时，每个输入的字母可以得的对应字母的特征电流最大，即实现了图像分类。

3.5

无监督学习-图像编码器

图7 利用ANN图像传感器阵列实现的图像自编码

研究团队利用ANN图像传感器阵列实现图像自编码功能，这里的自编码完全来自于传感器阵列的自身特性，因此不需要添加标签去训练，例如：对于一束带有某个图像的光，照射在ANN传感器阵列上，各子像素产生的光电流进行叠加，最后得到M个电流输出，这M个电流输出再通过激活矩阵得到一个编码值，这个编码值就是这个图像的编码，由于是自动实现，不需要人为处理信息，因此叫做自动编码。这里的解码重构是通过外加电子电路实现的，不是由该ANN传感器阵列实现的。

图7a展示了加入重构功能之后不同时期的误差，这里的误差表示重构的图像和原始图像的差别，图7b展示了训练前后的R值分布和重构网络权值分布，图7c展示了使用训练好之后的网络结构进行编码的示意图，在这里研究团队使用的是logistic激活函数。对于图7c中的图像，进行一次ANN传感器阵列光电转换，得到三个电流，然后通过激活函数的作用转换为0-1矩阵，即图7c中间柱状图的下半部分，这样我们直接可以得到图像的自编码。再利用外部电子电路的重构网络，可以重构出原始图像。图7d展示了ANN图像传感器阵列在图像自编码和编码重构过程中的稳定性，对于不同的噪声水平依然可以得到清晰的原始图像。

3.6

超快的图像识别

图8 ANN传感器阵列的超快的图像识别

由于图像传感和处理都是在模拟域进行的，所以系统的运行速度只受限于光电流产生的物理过程。

因此，图像识别和编码比传统方法的速率高几个数量级。为了演示该传感器的高速性能，研究团队使用了一个40ns脉冲激光源(522 nm，~10Wcm^-2)进行测量。向传感器表面投射了两个字母(v和n)，并测量了两个相应通道的电流时域分布见图8。

图8表明在~ 50ns内模式分类是正确的。

因此，该系统能够以每秒2000万个bins的吞吐量处理图像。

研究团队认为，此值仅受所用放大器的限制，并有可能大幅提高速率。因此，该论文这样的网络可能为超快机器视觉提供了新的机会。它也可以用于超快光谱学中对光谱事件的检测和分类。同时还注意到，视觉传感器的操作是自供电的(光伏设备)，电能只在训练过程中消耗。

应用与展望

研究团队在最后提及到，本文设计的ANN传感器阵列虽然可以实现图像感知和处理功能同时进行，但是图像处理之后的结果仍然需要储存在外部设备中，中间的数据传输仍然存在一定的能耗和时延，因此作者设想加入一个浮栅型器件，用来记忆传感器的状态，这样可以实现感知-计算-存储为一体的高效率集成芯片，这样可以有更快的图像处理效率，研究团队在拓展资料中也给出了这样的部分结果。

另一方面，由于论文中使用的ANN网络为单层，像素点只有3×3，如果考虑扩大隐层数量以及像素点数量，那么这样的ANN传感器阵列将会有更大的功能。

文章信息：

该研究成果以” Ultrafast machine vision with 2D material neuralnetwork image sensors ”为题发表在 Nature 。

Lukas Mennel为论文第一作者，通讯作者为Lukas Mennel和Thomas Mueller，维也纳工业大学为独立研究单位。

论文地址：

https://www./articles/s41586-020-2038-x

走进新刊

开放投稿：Light:Advanced Manufacturing

ISSN 2689-9620

期刊网站：www.light-am.com

转载/合作/课题组投稿，请加微信：447882024

这是《光：先进制造》发布的第44篇文章，转发朋友圈是对我们最大的认可