亮点 | 用于散射成像的深度学习物理模型

taotao_2016 2023-09-30 发布于辽宁

展开全文

Photonics Research 2023年第6期Editors’ Pick：

Xuyu Zhang, Shengfu Cheng, Jingjing Gao, Yu Gan, Chunyuan Song, Dawei Zhang, Songlin Zhuang, Shensheng Han, Puxiang Lai, Honglin Liu. Physical origin and boundary of scalable imaging through scattering media: a deep learning-based exploration[J]. Photonics Research, 2023, 11(6): 1038

推荐阅读

光的散射是指当传播中的光波在通过局部性的位势（散射介质）时，由于受到位势的作用，必须改变其直线轨迹的物理过程。自然界和生活中广泛存在各类尺度不一的散射介质，但介质内光场的传输规律和传播机理缺乏明晰的物理解释，并且只停留在实验室演示阶段。近日，为了挖掘散射介质内光场传输的规律以及不同散射成像方法的物理边界，中国科学院上海光学精密机械研究所刘红林副研究员团队联合香港理工大学赖溥祥教授团队，将深度学习模型引入到散射成像研究中来，通过设计一种在控制弹道光比例的条件下研究网络图像预测能力和采样位置关系的方案，利用弹道光和散射光分布对介质位置变换的敏感特性差异，确立了深度学习散射成像的物理模型。该工作明确了网络泛化性的物理根源和实际应用的物理边界，同时揭示了散射介质厚度瓶颈一直难以突破的根本原因。

——孙皓副研究员，清华大学

Photonics Research 青编委

云、雾霾、浑浊溶液、生物软组织、磨砂玻璃等各类散射介质广泛存在于自然界和日常生活中，看清或看透散射介质一直以来都是研究的热点。但由于介质内的光场传输非常复杂，尽管目前人们发展出波前整形、相位共轭、散射矩阵测量、散斑自相关和反卷积等技术，散射成像研究还是只停留在实验室演示的阶段。

随着近年来大数据和AI技术的快速发展，深度学习被引入到散射成像研究。因无需物理建模，数据处理简单且透视厚度有所改善，对动态介质兼容性更强，受到广泛关注。但深度学习研究一般是个例演示验证，难以推广到普遍场景，并且因为物理模型未知，预测失败原因不明；即使成功，结果的可靠性也不足，这严重制约了其应用前景。

探索散射介质内光场传输的规律、信息传播的机理以及不同散射成像方法的物理机制和边界，一直是中国科学院上海光学精密机械研究所刘红林带领的团队的研究重心。针对深度学习缺乏物理模型的问题，该团队联合香港理工大学赖溥祥教授团队，设计了一种在控制弹道光比例的条件下研究网络图像预测能力和采样位置关系的方案，揭示了深度学习网络实际上是同时从弹道光和散射光提取目标信息：由于弹道光和散射光分布对介质位置变化的敏感特性不同，偏重于利用弹道光则网络泛化性增强，偏重于利用散射光则泛化性变差；并且网络只能识别已知的散射介质分布，介质分布数量的增加也会恶化识别的效果。该研究确立了用于散射成像深度学习方法的物理模型，明确了网络泛化性的物理根源和实际应用的物理边界。相关研究成果发表于Photonics Research 2023年第6期。

实验系统如图1（a）所示。目标信息加载在数字微镜设备（DMD）上，入射光经DMD反射后透过毛玻璃被散射，最后被相机收集。数据采集时采用了两种不同的策略：一、在单一位置采集训练数据，在原采集位置和不同偏移的位置处分别采集数据测试网络；二、在多个位置采集数据组成训练数据集，在多个原采集位置以及不同偏移的位置处分别测试网络。结果显示：含有弹道光成分时，采用多个位置的数据训练可以显著提高网络的泛化性；只有散射光时，无论采用哪种策略，网络都不具有泛化性。

弹道成分不随介质位置变化而改变，是网络具有泛化性的物体根源；不同位置处散射成分的特征编码不同，大量数据的训练使得网络具备了识别特定编码的能力，训练时某一编码未出现或者训练不充分，网络将无法识别，也就无法透过该位置预测成像。

图1（a）深度学习散射成像实验系统示意图；（b）有弹道光成分时不同位置预测成像的结果；（c）无弹道光成分时不同位置预测成像的结果；（d）两种情况下，成像质量随介质位置改变的变化趋势曲线

该研究通讯作者刘红林博士表示：“目前我们对散射成像底层物理机理的认识仍然十分肤浅。主流方法都建立在强约束条件下的近似上，以光学相位共轭为例，点光源发出的球面波，经过散射介质时，不同路径的光程不同，即便是旁轴情况下，出射波前也不在一个平面上，因而生成的平面共轭波前逆向传播时，严格意义上并非前向传播的理想逆过程。且随着散射介质厚度增加，光程差异急剧变大，波前畸变增强直至失去共轭性。在可以忽略光程差异、介质吸收、偏振变化的条件下，才能得到共轭波可以沿原传播路径回到原点源位置实现聚焦的近似。物理上，光学相位共轭就无法补偿厚介质的散射影响实现聚焦和成像。除此之外，不同方法的很多演示验证中都利用了残余的弹道光，尽管可能并未意识到（残余弹道光的存在）。”

刘红林博士还表示：“但随着介质厚度增加，不仅弹道成分比例减少，由于热运动和各种难以屏蔽的干扰，散射成分的位置敏感性还会提高导致散射光分布难以探测和利用。本研究不仅建立了深度学习散射成像的物理模型，还加深了对其它散射成像方法物理机理的理解，解释了散射介质厚度瓶颈一直难以突破的根本原因。”

后续团队将量化从散射光重建图像的效率，优化完善模型，并拓展场景研究，譬如非相干照明下透镜系统和无透镜系统对弹道和散射成分利用情况的差异。我们还将研究新的机制和方法进行动态散斑场的探测和利用，为突破散射介质成像厚度限制奠定基础。

作者简介

刘红林

中国科学院上海光学精密机械研究所

主要研究方向：散射成像、关联成像、光场在散射介质内的传播

刘红林，中国科学院上海光学精密机械研究所副研究员，研究方向包括光在生物组织、光纤、云雾等散射介质内的输运，透过散射介质的成像和光场调控技术，聚焦探索新的物理现象及其机理。主持和参与国家自然科学基金、科技部、863等国家级重点和重大项目8项，在Nature Photonics、PhotoniX，Advance Science, The Innovation等学术期刊上发表研究论文40余篇。

赖溥祥

香港理工大学

主要研究方向：生物医学光子学

赖溥祥，香港理工大学生物医学工程系长聘副教授、博导，生物医学光子学实验室创始人。2016年入选国家高层次青年人才计划，香港2016-2017年度杰出青年学者。长期致力于深层生物组织光学聚焦与成像研究，在诸如散射光聚焦、光声成像、人工智能、光纤成像等方面在过去的十多年开展了大量原创和前瞻性的工作，以第一作者或者通讯作者在Nature Photonics, Nature Communications, Light: Science and Applications, Advanced Science, PhotoniX等学术期刊上发表研究论文近80篇，担任数家学术期刊副主编或编委以及中国光学学会生物医学光子学分会常委。