[文献速递No.379]通过高效的傅里叶单像素测量实现空间、光谱及三维同步压缩成像

taotao_2016 2025-05-18 发布于辽宁

展开全文

聚焦多模成像研究，暨南大学的Zhang等人提出了一种主动压缩成像方案，该方案能够同时对物体的空间、光谱和三维信息进行编码、压缩和恢复。该方法对照明光信号和探测光信号进行调制，以在傅里叶空间对物体信息进行编码和压缩，并使用单像素探测器来探测光信号。通过这些调制操作，三种模态的信息被编码到傅里叶空间的三个指定区域。空间信息自然地在低频区域得到压缩；通过对探测光信号进行调制，在中频区域主动对深度信息进行压缩；通过对照明光信号进行调制，在高频区域主动对光谱信息进行压缩。这些调制操作可通过分别在照明路径和探测路径插入两个设计好的掩模来实现。为了实现高数据压缩比的信息编码，该方法选择性地对这些区域中最大的系数进行采样，在恢复过程中无需迭代优化过程，在生成高质量全彩三维图像时可实现88%的压缩比。该工作在期刊Optica以“Simultaneous spatial, spectral, and 3D compressive imaging via efficient Fourier single-pixel measurements”为题发表。

FSI最初作为一种单模态成像技术，仅采集物体的强度信息（反射率、透射率或荧光）。基于自然场景图像在傅里叶域具有稀疏性这一先验知识，人们能够以少于像素数量的测量次数重建出清晰的图像。文中选用标准测试图像“辣椒”进行演示。如图1(a)所示，该图像的空间信息大部分能量集中在傅里叶空间的低频区域。可以仅采集图1(a)中的低频分量，从而重建出图1(b)中的高质量图像，压缩比达到92%。所采用的压缩比越高，节省的测量次数就越多。

图1 自然场景图像的稀疏性。傅里叶空间中的稀疏性使得(a)压缩率为92%的欠采样傅里叶频谱能够(b)还原出清晰的图像

如图1(a)所示，空间信息仅占据低频区域，傅里叶频谱的其余带宽仍未被利用。自然图像在傅里叶空间中的稀疏性为FSI提供了额外的自由度，使其能够将额外的物体信息编码到单个傅里叶光谱测量中。为了将其他物体信息编码到傅里叶空间的指定区域，可以对照明光信号或探测光信号进行调制。为实现这种调制，文中提出分别在照明路径和探测路径中使用两个设计的掩模。这些掩模基于傅里叶基图案设计而成。掩模的傅里叶变换在傅里叶空间中为一个或几个冲激（狄拉克δ函数）。根据δ函数的筛选特性，这些掩模能够将信息复制到傅里叶空间中的特定区域。因此，物体的编码信息将分布在冲激周围，从而形成一种压缩表示，称为主动压缩FSI。文中进行了两项实验来验证所提出的方案。第一项实验设计了一个多光谱掩模来调制照明光信号。通过这种方式，光谱信息被编码到高频区域，实现了空间-光谱双模态成像。第二项实验设计了一个额外的掩模来调制探测光信号。通过这种方式，深度信息被编码到中频区域，实现了空间-光谱-深度三模态成像。

图2 多光谱掩模的设计

图2展示了多光谱掩模。该掩模以一组2×2像素为设计单元。在每一组中，不同的像素覆盖有不同的光谱滤光片。在图2中用红色、黄色、绿色和蓝色来表示该掩模由四种不同的光谱滤光片组成。多光谱掩模可以分解为四个光谱掩模（图2中间部分）。每个光谱掩模本质上是三个傅里叶基图案的叠加，其傅里叶变换包含三个冲激（图2底部）。文中提出利用这个多光谱掩模对灰度基图案进行调制，以实现样本照明，如图3(a)所示。每个掩模会将物体图像对应的光谱分量复制并移位到傅里叶空间中三个冲激对应的相应位置。由于每个光谱掩模具有不同且线性独立的相位图（图2底部），因此四个傅里叶频谱分量可以在一次傅里叶频谱测量中被编码。为了解码多光谱信息，可以简单地将高频分量移回原点，并通过求解一组方程来提取每个光谱分量。文中提出利用这个多光谱掩模对灰度基图案进行调制，以实现样本照明，如图3(a)所示。每个掩模会将物体图像对应的光谱分量复制并移位到傅里叶空间中三个冲激对应的相应位置。由于每个光谱掩模具有不同且线性独立的相位图（图2底部），因此四个傅里叶频谱分量可以在一次傅里叶频谱测量中被编码。为了解码多光谱信息，可以简单地将高频分量移回原点，并通过求解一组方程来提取每个光谱分量。

图3 (a)多光谱及(b)彩色傅里叶基图案生成

然而，受实验条件所限难以对DMD芯片的微镜进行相应光谱材料的涂覆。在实验中采用DLP投影仪来生成如图3(b)所示的彩色傅里叶基图案。所生成的彩色基图案由红、绿、蓝三种光谱成分组成。图4展示了空间-光谱双模态成像的实验装置。在该实验中，彩色傅里叶基图案的尺寸为512×320像素，采用光电二极管作为单像素探测器，用于测量目标物体在彩色基图案照明下反射光的强度，所得到的电信号由数据采集卡收集。文中采用四步相移正弦照明来进行傅里叶光谱成像。四步相移傅里叶光谱成像本质上是一种差分测量方法，其代价是测量次数加倍，但有利于消除噪声。光谱中的每个成分沿圆形路径从其圆心处进行采样。

图4 首个空间-光谱双模态成像实验装置

为了展示压缩性能，文中获取中心低频分量的39320次测量值以及三个高频分量的19660次测量值，整体压缩比为64%。图5(a)展示了所采集的傅里叶频谱。由于傅里叶频谱的周期性，在傅里叶空间中有八个高频分量。这八个分量可以重新组合成用于红色、绿色和蓝色物体信息的三个圆形分量。然后，文中对这些分量应用二维逆傅里叶变换以及颜色重建算法，以重建图5(b)中的全彩图像。作为对比还采集了图5(c)中的完整傅里叶频谱，并得到了图5(d)中的重建结果。可以看出，欠采样重建与全采样重建之间的差异几乎难以察觉。即使在高压缩比的情况下，场景的细节和颜色也被很好地重建了。在这个实验中成功地利用单个像素探测器从欠采样数据中重建了复杂场景的彩色图像。与现有的彩色单像素技术相比，所提出的技术具有两个显著优势。首先，它能够在无需任何迭代计算过程的情况下，从高压缩比产生高质量的重建结果。其次，它仅需要使用一个单像素探测器。

图5 (a)以64%的压缩比获取的双模态嵌入傅里叶光谱；(b)通过对光谱(a)进行二维逆傅里叶变换及颜色重建算法，得到全彩重建图像；(c)和(d)分别是与(a)和(b)相对应的全采样对应图像

如图5(a)所示，在傅里叶光谱中，空间信息占据最低频区域，而光谱（颜色）信息占据最高频区域。傅里叶空间中仍存在中频区域可供利用。在第二个实验中设计了一个额外的掩模来调制探测路径中的光信号，以便将三维深度信息进一步编码到可用的中频区域中，实现空间-光谱-深度三模态成像。实验装置如图6所示，在探测路径中插入了一个光栅掩模，可以在重建图像中施加一个条纹图案（即光栅通过透镜1所成的像）。照明系统的光轴与探测系统的光轴以15度的角度相交，条纹图案会根据物体的三维表面发生变形。文中使用二值光栅掩模进行调制，并给光栅掩模引入离焦距离。这样，光栅掩模的像就近似为一个正弦图案，在傅里叶空间中等效于一个δ函数。通过精心设计掩模图案的频率，可以将深度信息调制到中频区域。该区域的中心频率由光栅掩模像的频率决定。采样中的每个分量都是沿圆形路径从其圆心处获取的。

图6 用于空间-光谱-深度三模态成像的第二个实验装置

如图7(a)所示，文中通过24576次测量对傅里叶频谱进行采样，其中4912次测量用于获取空间信息，18840次测量用于获取深度信息，其余824次测量用于获取颜色信息。换句话说，压缩比为88%。对所获取的傅里叶频谱施加逆二维傅里叶变换后，成功复原了图7(b)所示的图像。复原后的图像清晰展现了目标物体的强度分布，同时其表面叠加了一组条纹图案。通过放大观察可以发现，条纹图案发生了形变，这种形变承载了调制后的深度信息；此外还能观察到马赛克状的结构，这些结构则承载了颜色信息。通过单次傅里叶频谱测量，成功实现了三种模态（空间、深度、颜色）的编码与复原。

图7 (a)以88%的压缩比获取的三模态嵌入傅里叶光谱；(b)由光谱(a)重建的图像，并进行了局部放大

在本实验中采用与前一个实验相同的流程来恢复空间信息和颜色信息。通过提取中频分量[图8(a)]并对提取结果进行逆傅里叶变换，解调出额外的深度信息，从而得到一幅变形的条纹图案[图8(b)]。利用傅里叶变换条纹分析方法提取条纹的变形情况（即调制相位图案），并由此得出图8(c)中的调制相位图。根据实验设置的几何参数推导相位-高度转换系数，进一步推导出目标物体的高度分布（三维重建结果），如图9所示。根据三维重建结果，文中出的技术能够以高效的方式重建高质量的全彩三维图像。