成像专题 | 智能手机显微镜: 单透镜物镜的深度学习成像（Optics & Laser Techno...

智能手机显微镜：单透镜物镜的深度学习成像

Smart-phone Phase Contrast Microscope with Singlet Lens and Deep Learning

本期导读

在互联网时代，低成本、轻便、远程通信的显微镜，在野外生物观测和检测仪器中，具有很强的吸引力、应用价值和商业价值。近期，来自南京理工大学、苏州市立医院、浙江大学、苏州大学和中科院长春光机所的研究人员提出了一种基于智能手机的便携式相称显微成像方法。研究的方法与结果以论文Smart-phone phase contrast microscope with a singlet lens and deep learning发表于光学学术期刊《Optics & Laser Technology》上。

在光学硬件方面，在外部只设计了一个非球面单透镜，紧密“外挂”在智能手机的后摄像头前，构成了智能手机显微镜的成像部分。同时，本文采用圆形斜照明的方式。在计算成像方面，本文通过深度学习对环形照明图像进一步进行图像对比度提高。基于多个肿瘤组织病理切片样本，通过对实验图像数据进行训练，训练深度学习网络，验证了本文提高图像“衬度”的方法具有明显视觉提升。研究结果为5G+移动互联网时代具有高速远程通信能力的低成本、便携式、相称显微镜提供了有力的实例。

图1. 传统泽尼克相衬显微成像系统光路原理图

图2. 便携式深度学习单透镜手机显微镜示意图（a）单透镜手机显微镜成像示意图；（b）基于GAN深度学习建立环形斜照明图像-相称图像映射关系。

技术路线

该研究内容主要包含光学设计和深度学习两部分。其中光学设计主要是设计具有高截止频率的线性成像单透镜；而深度学习则是利用GAN的深度学习方法来建立环形斜照明图像-相称图像映射关系。

1. 光学设计—设计具有高截止频率的线性成像单透镜。

图3. 非球面单透镜 (a)光学设计原理：“黑盒”等效，倒置设计；(b)单透镜实物:黄色圆圈内为通光孔径。

图4. 非球面单透镜加工信息。

图5. 本文单透镜的传递函数曲线（NMTF）与传统高次非球面单透镜对比 (a) 具有高度线性传递函数的非球面单透镜；(b) 视场增大时成像质量变差的传统非球面单透镜。

2. 深度学习——基于GAN深度学习建立环形斜照明图像-相称映射关系。

生成器网络的输入图像集为单透镜灰度图像反卷积后的环形照明图像；输出图像集为生成的虚拟“相称”图像。鉴别器的输入图像集为生成器虚拟“相称”图像和真实Zernike图像；输出为0/1概率值。

图6. GAN深度学习虚拟彩色网络示意图，图中OI为环形照明图，GI为生成的高对比度虚拟“相称”图，CI为真实的Zernike相称图。

基于上述研究方案，该研究利用智能手机搭建了相称显微镜的便携实验装置，如图7所示，成像效果如图8所示。

图7. 智能手机相衬显微镜的demo装置 (a)三维设计图，黄色比例尺为3cm；(b)未染色及H&E染色肿瘤组织切片照片；(c)智能手机相衬显微镜照片，蓝色比例尺5cm。

图8  便携式手机显微镜“相称”成像示意图 (a) 商用Zernike相称显微成像；(b) 环形照明智能手机显微成像；(c) 深度学习提高“衬度”后的高对比度显微图像；(d) 明场下的未染色显微图像，几乎透明无图像。对比图(b)和图(c)，发现经过深度学习提升后的图(c)图像对比度有明显提升。

单透镜物镜具有无需组装、装配等优势，大大缩短了显微物镜的产业加工链，降低了产业成本和人力资源成本。基于单透镜物镜的深度学习便携式智能手机显微成像装置，通过深度学习对环形照明图像进一步进行图像对比度提高。基于多个肿瘤组织病理切片样本，通过对实验图像数据进行训练，训练深度学习网络，验证了本文提高图像“衬度”的方法具有明显视觉提升。研究结果为5G+移动互联网时代具有高速远程通信能力的低成本便携式相称显微镜提供了有力的实例。

论文信息：

Bian Y., Jiang Y., Huang Y., et al. Smart-phone phase contrast microscope with a singlet lens and deep learning. Optics & Laser Technology, 2021.

技术细节详见：

https:///10.1016/j.optlastec.2020.106900