成像专题 | 智能光谱探测：深度学习宽光谱编码随机滤光片成像 (Light: Science & A...

新用户0118F7lQ 2021-12-05

展开全文

智能光谱探测：深度学习宽光谱编码随机滤光片成像

Deeply Learned Broadband Encoding Stochastic Hyperspectral Imaging

本期导读

高分辨率的光谱成像在天文、遥感、生物、环境等许多领域都发挥着巨大的作用。随着计算成像技术的发展，计算型的光谱成像可以使光谱成像设备变得更加紧凑和廉价，甚至使普通的彩色图像传感器变身为通道数更多的光谱图像传感器。然而，由于光谱图像的巨大数据量、重建算法对噪声的敏感性以及宽光谱编码滤光片难以定量优化设计，计算型光谱相机的图像重建速度及图像质量仍与传统的光谱成像设备有着较大的差距。

针对现有挑战，来自浙江大学现代光学仪器国家重点实验室刘旭教授、郝翔研究员团队的研究人员使用深度学习对光谱相机中的宽光谱编码滤光片及解码算法进行了协同设计，实现了基于宽光谱编码随机滤光片的光谱相机（BEST Camera）。其光谱图像重建速度比以往方法快了7000-11,000倍，并且抗噪声性能提升了约10倍，用16个滤光片通道在可见光范围内（400-700nm）实现了5.2nm的等效光谱分辨率。相关成果以 Deeply learned broadband encoding stochastic hyperspectral imaging 于近期发表在Nature旗下光学顶级期刊《Light: Science and Applications》上。

技术背景

光谱图像是一个包含二维空间信息和一维光谱信息的三维数据立方。传统的光谱成像方法使用空间扫描或光谱扫描的方式获取一幅光谱图像，其成像速度较慢。另外，传统的光谱成像设备需要使用色散元件或许多个窄带滤光片将光谱成分分离，导致其体积难以缩小到普通成像探测器的大小。为了提升成像速度、减小设备的体积，近年来学术界基于压缩感知理论发展出了“快照式”的光谱成像方法。

然而这些方法仍然存在各自的问题。例如，孔径编码快照式光谱成像（CASSI）将色散元件前的狭缝替换为一块随机编码掩模，以实现数据立方的快照式压缩探测。但该系统仍未摆脱体积较大的色散元件及其光学系统。进一步缩小光谱成像设备体积的有效方法是使用随机滤光片，通过将其集成于探测器像素前以实现光谱成像探测器的集成化。
需要注意的是，无论使用孔径编码还是随机滤光片，现有的快照式光谱成像系统在获取数据后大都需要使用迭代算法进行光谱图像重建，其重建时间往往远大于数据获取的时间，不适用于对实时性要求较高的应用场景。同时，基于压缩感知的探测方法对噪声更为敏感，这对光谱图像重建算法的抗噪声性能提出了更高的要求。另外，目前用于光谱探测的随机滤光片只能依靠随机生产-挑选的方式获得，难以定量地优化设计。

技术思路

研究人员将人工神经网络应用于滤光片设计及光谱图像的重建中，通过硬件与软件的协同设计实现了基于宽光谱编码随机滤光片的光谱相机（BEST camera），其原理如图1所示。取决于宽光谱编码滤光片放置的位置，分为主动编码和被动编码两种光谱编码模式，分别可探测光谱反射率图像以及光谱辐射度图像。

图1. BEST Camera原理图（A：成像原理示意，B：DNN光谱重建算法示意）

滤光片设计

该研究使用近期提出的PCSED方法实现了滤光片的定量优化设计（详见 成像专题 | 智能光谱探测：宽光谱编码滤光片与解码算法协同设计 (Advanced Theory & Simulations)），生成了16种不同的宽光谱编码滤光片以实现16通道的光谱编码，这一数值仅为以往研究报道的40%-60%。滤光片采用薄膜材料，使用真空蒸镀工艺加工而成。

重建算法实现

该研究构建了基于深度神经网络（DNN）的光谱解码器，可根据输入的16幅光谱编码图像计算重建为高光谱图像。依靠DNN强大的并行计算特性，重建过程得以去除耗时的迭代过程。依托于GPU计算平台，重建一幅大小为640×480像素、拥有301个光谱通道的光谱图像仅需0.48秒。相较而言，经典的基于迭代的解码算法则需要3307秒，速度仅为DNN的1/7000。当图像像素数增加一倍时，使用DNN更是快了11,000倍。同时，得益于DNN对大量训练数据的学习能力，研究人员通过使用有噪声的训练实现了比迭代解码算法更好的抗噪声能力。通过重建不同噪声水平下的光谱图像，DNN实现了8.14倍的抗噪能力提升。

实验结果、总结和展望

基于以上技术思路，该研究构建了被动式和主动式两种光谱相机。为了测试光谱相机的光谱分辨能力，研究人员使用被动式光谱相机测试了不同中心波长的激光光谱，并分别针对窄带光谱与多种不同种类的光谱训练了不同的光谱解码DNN，结果如图2所示。针对窄带光谱的DNN可以实现0.55nm的中心波长定位精度（图2 C），适用于对单色光波长精度要求较高的场景；而针对更多种类光谱的DNN依然可以实现0.63nm的中心波长定位精度（图2 D），适用于更加广泛的场景。后者可以分辨波长相距5.2nm的两个单色激光，实现了等效5.2nm的光谱分辨率（图2 E）。

图2. BEST Camera的光谱分辨能力评价

研究人员使用标准色卡和植物标本样品测试了被动式BEST camera的光谱成像效果，如图3所示。可以看出，无论是样品的颜色还是光谱曲线，光谱相机的重建结果均达到了较高的精度。其中，色卡样品的光谱重建均方误差（MSE）达到了0.0008，植物标本样品的MSE为0.0016。

图3. 被动式BEST Camera的光谱成像效果

（A、C：样品的RGB图像；B、D：根据BEST camera输出的光谱图像计算所得的RGB图像；E-J：样品图像对应像素处的光谱曲线）

除了被动式BEST camera，研究人员还测试了主动式BEST camera的光谱成像效果，如图4所示。其光谱图像高度还原了样品RGB图像的颜色，光谱重建均方误差非常小。这一结果与经典的压缩感知解码算法（GPSR）相比，实现了6.1倍的精度提升。主动式的BEST Camera样机如图5所示，其外形尺寸仅为13.6×28.5×7.15mm，与普通的手机摄像头模组尺寸相当，具有不错的应用前景。