光场成像

​光场成像



豪帅帅

电子科技大学 · 光学工程

最近更新于2020.10.28 16:39 ，并经过2位同行评审 ，查看全部1个编审记录



第一台消费级光场相机lytro

光场成像指的就是光场的采集以及将光场处理为图像的过程。光场成像是计算成像领域的一个分支，他将光学系统的硬件设计和信号处理的软件算法结合在一起，以此来克服传统成像系统的局限性。与传统成像系统不同，光场成像是通过相应的光学装置采集空间分布的四维光场，在依据不同的需求来进行不同的处理。典型的有先拍照后聚焦、三维成像、无损检测等应用[1]。

中文名

光场成像

英文名

light field imaging

归属

计算成像

引言

       光作为一种在分布在空间中的电磁场,具有振幅、相位、波长等多种属性,帮助人类感知物体的明暗、位置和色彩。然而,传统的光学成像只能捕获到光辐射在二维平面上的投影强度,而丢失了其他维度的光学信息。这一信息维度的缺失导致光学成像在原理与应用上都存在不可调和的问题。实际上,成像过程本身就可以看作为一系列针对光辐射的数学计算,如相位变换和投影积分等。如果能够获取到光辐射的完整分布,也就可以通过变换和积分等数据处理的手段来计算出所需的图像。这里,我们将光辐射的场分布称为光场,而光场成像指的就是光场的采集以及将光场处理为图像的过程。

       光场成像作为一种计算成像的方法,利用现代信息处理技术的优势,不仅克服了传统成像在原理上的某些局限性,同时也降低了成像能力对于物理器件性能的依赖性。

光场的数学模型与表示

光场的数学模型

       Adelson 和 Bergen 在 20 世纪 90 年代早期设计了全光函数来描述光线所携带的信息[2]。全光函数从观察者的角度对场景视觉信息进行了全方面地描述，具体的表现形式是一个 7 维的函数。

                                                                             （1-1）

其中(x，y，z)表示三维空间中的一个点，(θ，Φ)是射入该点的光线的方向，λ和ｔ表示光线的波长和光线射入的时间。如图 2-1是全光函数的示意图。



图2-1 全光函数示意图

        全光函数可以描述为：在任意吋间、任意空间观察者所看到的任意波长的辐射光线的能量。 全光函数的定义给出了一种评价低层次视觉模型的分类方法，它从观察者的角度而不是从光源的角度描述了所有可感知的辐射能。

光场的表示

       因为相机拍摄到的图像可以看作是由一组光线组成，全光函数可以描述视点信息，包括位置和方向、成像和场景。可以看出7维的全光函数在进行傅里叶变换是非常复杂的运算过程。幸运的是，一些合理的假设可以降低全光函数的维数。

        若只考虑光线在自由空间中的传输，其颜色(波长)一般不会发生变化，因此任一时刻的自由空间光线可由五维坐标(θ，Φ，x，y，z)来决定。更进一步，忽略光线在传输过程中的衰减，和将五维的全光函数降至四维，此时就可以用两个相互平行的平面对四维光场进行参数化表征。

         如图2-1所示，每根光线由两个平行平面的交点来参数化。L(u，v，s，t)表示光场的一个采样，其中个变量分别表示：L为光线强度，(u，v)和(s，t)分别为光线与两个平面的交点坐标。在(u，v，s，t)四维坐标空间中，一条光线对应光场的一个采样点。这一映射关系如图2-2所示。为了便于说明，图中将光场简化为二维情形。



图2-2 双平面表示的光场



图2-3 光线与光场的映射关系

       采用双平面参数来表征光场的合理性和实用性在于，现实中的大部分成像系统中都可以简化为相互平行的两个平面，比如传统成像系统中的镜头光瞳面和探测器像面。如果用探测器像面中的坐标表示光线的分布位置，那么镜头光瞳面坐标就反映了光线的传输方向。

光场的采集

       目前获取光场的方式主要有两种，通过微透镜阵列和相机阵列。其目的都是为了获得目标光辐射的空间分布和辐射传输的方向信息。微透镜阵列是目前最常用的获取光场的方式，通过在相机的主镜和成像传感器之间加入一个微透镜阵列来对主镜进行孔径分割，从而获取光线的方向信息。Ren Ng 的手持光场相机、Levoy 的光场显微镜（Light-field microscopy, LFM）以及 Georgiev的聚焦式光场相机等[3][4]，都是用的这种结构来获取四维光场数据。 

多相机光场采集

        多相机光场采集通过多个相机的阵列排布，从而获取目标图像的不同视点位置。在多相机阵列出现之前，为了完成对目标进行多视角图像采集，一般将相机安装到机械移动装置中。典型的结构包括M.Levoy所设计的移动机械臂(图3-1)和A.Isaksen等人设计的二维移动平台。他们把相机安装到一个包含两维平移和两维转动的光场采集支架上，从而采集到目标的完整光场，如图2-1。其他人也设计了类似的二维移动平台，通过对光场参数的提取实现不同的应用。



图3-1 光场采集支架

       相机阵列大量增加了成像系统的视角信息和视场范围,基于这种光场采集方式的合成孔径成像技术在焦点选择和景深调节上具有更高的自由度和灵活件,非常适用于多层次景物的识别和分类,已成为隐藏目标动态监测与跟踪的重要手段（如图3-2）。



图3-2 斯坦福大学的相机阵列

针孔阵列的光场采集

       如图3-3所示,在传统成像系统的探测器前方距离处放置一组等间距针孔阵列可实现光场的重采样。从镜头发出的光线经过每个针孔后投影到探测器平面形成一个子图像,子图像中一点此时就对应于镜头光瞳发出的一条光线(即一个光场采样)。若将每个子图像整体看作一个宏像素,则每个宏像素对应于光场的一个位置采样,而宏像素内的每一点对应于光场在该位置的一个方向采样；所有宏像素共同组成了光场在镜头孔径上每一点和每一个针孔位置的采样。光场的位置采样分辨率由针孔采样问隔所决定,而光场的方向分辨率则取决于其在镜头孔径上的采样次数,这是由每个宏像素内所包含的像元数所决定的。



图3-3 基于针孔阵列的光场采样

微透镜阵列的光场采样

       利用针孔阵列所采集到的光场在位置维度上采用的足点采样方式,这样造成光场位置倍总的大量缺失,也严束损失了成像系统的光通。由于针孔的作用可以理解为对镜头孔径进行成像,因此可将其替换为具有同样功能的微透镜。如同针孔对光场的采样方式类似,每个微透镜单元将主镜头孔径成像到探测器上形成一个宏像素,宏像素中每个像元对应主镜头孔径的一个采样(子孔径）。与针孔采样的区别在于,微透镜单元对光场的位置维度采取矩形釆样或圆形采样,取决于微透镜单元的孔径形状的方式,不会损失成像系统的光通景。



图3-4 微透镜阵列的光场采样

光场数据处理技术及应用方向

        光场数据处理的主流方式都是基于光线假设的四维光场理论模型，依据用途区分，主要的处理方法大致包括数字重聚焦、3D 成像、光场渲染、立体显示等4种。

数字重聚焦

        根据测量得到的四维光场数据，进行数字重聚焦可以在不受主透镜景深的限制下获得各个平面的清晰图像，因此在测量时无需对特定平面进行对焦，摆脱了传统成像中景深的限制，并提供了三维成像的新思路。数字重聚焦处理方式主要有两种: 空域积分投影和频域切片变换。空域积分投影在获取四维光场函数之后，进行变换进而得到各个重聚焦面上的光场函数，在每个重聚焦面上积分，从而得到该特定面上的像。因此，此方案能够获得各个重聚焦面上的清晰图像。然而空域积分投影所实现的光场数字重聚焦，计算量指数上升，计算速度慢。

        斯坦佛大学的Ren Ng 将医学以及天文学中常用的傅里叶切片法引入到光场信息处理中，实现了在频域中的数字重聚焦，减小了计算量，可以快速获得各个面处的清晰像。由于频域傅里叶切片成像法实现数字重聚焦的计算量要远小于空域积分投影法，因此，此方法目前已经成为光场函数数字重聚焦的主流。

3D成像

       基于四维光场数据的 3D 成像核心为场景的深度信息提取，相关主流算法大致可分为 3 个方向: 1) 基于极平面图像的深度估计; 2) 基于多视图立体几何约束的深度估计；3) 光场数字重聚焦深度估计。

光场渲染

       图像渲染技术是指在不对目标进行建模的情况下，根据输入的原始图像数据集进行处理并得到输出目标图像。传统的图像渲染方法依据各次图像采集时相机之间的几何参数转换或者图像之间的匹配关系，如图4-1所示。Marc Levoy等人提出光场渲染的方法，在不需要图像的深度信息或精确匹配的情况下，通过构建多相机系统或者单相机位置扫描获取目标场景的原始光场信息，各原始图像构成四维光场数据，针对目标位置及角度的场景信息，从此四维数据中进行简单重采样即可获得从任意角度及位置观察目标场景的二维光场切片，此方法较为简单且鲁棒性强，渲染速度快，精度高。



图4-1 光场渲染原理示意图

立体显示

       将相机阵列或微透镜阵列采集光场信息的过程反转可实现三维显示，采用阵列分布的投影装置同时进行二维投影，最终在特定的区域内能够实现三维真实场景的再现，利用这种增强现实的方法实现裸眼3D，可为军事对抗及模拟，单兵及机械实时地形现实等提供技术支持[5]。

结语

       光场包含多个自由度的信息，而传统成像方式将光场进行降维积分采集到二维的胶片或电子传感器上，丢失了很多原始数据，这种认识客观世界的方式信息获取不够完善。光场成像理论的出现使得人类开始关注更加完备的光场信息获取及利用，通过采用一系列手段控制或者测量四维光场参量，能够获取更为丰富和全面的被测场景信息，这是一场关于光场原始信息采集的重大变革，改变了成像的思维方式，打开了新的认识世界的窗口。

参考文献

[1]ZHANG Z，LEVOY M． .Wigner distributions and how theyrelate to the light field［C］/ / Proc． of the ComputationalPhotography ( ICCP) ，2009 IEEE International Conferenceon． IEEE，2009: 1 － 10．.[2020-10-28]

[2]Adelson E,Wang Y .A Single lens stereo with a plenoptic camera [J] ,IEEE Transactions onPattern Analysis and Machine Intelligence, 1992.[2020-10-28]

[3]Ng R,Levoy M..Bredif M Light field photography with a hand-held plenoptic camera [R]Tech Rep CSTR: Stanford Computer Science Tech Report CSTR, 2005..[2020-10-28]

[4]Levoy M, Chen B, Vaish V, et al.. Synthetic aperture confocal imaging[J]. ACM Transactions on Graphics, 2004, 23(3): 825-834. .[2020-10-28]

[5]张韶辉,胡摇,曹睿,程雪岷,郝群..光场成像原理及应用技术[J].兵器装备工程学报,2020,41(02):178-186..[2020-10-28]

所属学科树

光学工程光电显示与成像

突出贡献者



豪帅帅

创建词条

电子科技大学

光学工程



Chen5

审核词条

南开大学

光学工程博士

同学科词条

红外热成像技术

红外热成像技术的实质就是波长转换技术，即把红外辐射转为可见光的技术。物体向外发出的红外辐射信号经光电检测技术进行探测并接收，通过光电探测器将红外辐射信号转换为可供人眼观察的图像。

液晶显示

液晶显示器已成为平板显示器 （FPD）的主流产品。本文介绍了液晶显示器的基本概念、工作原理与基本架构，同时还简要地综述了液晶显示器发展过程、液晶显示器的生产线分代与关键技术。并以当前主流的TFT-LCD为例，粗略介绍了LCD的制作工艺。

图像融合

图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率的一种技术。

TFT-LCD

薄膜晶体管液晶显示器（TFT-LCD）是有源矩阵液晶显示器（AM-LCD）中的一种， TFT-LCD为每个像素都配置了至少一个半导体开关，可以对每个像素进行直接控制，很大程度的提高了显示器的反应时间，在色彩的显示上也更加的逼真。因此，相较于其他液晶显示器，TFT-LCD具有更高的对比度、更丰富的色彩和更快的频率，俗称“真彩”。进入21世纪以后，随着TFT制造工艺的完善，产品良品率得到很大的提升，加上TFT的价格的下降，TFT-LCD逐渐成为主流显示器之一。

微光夜视装置

直视型微光成像系统又称为微光夜视仪。它利用光增强技术，可以大大改善人眼在微光下的视觉性能，以被动方式工作，靠夜天自然光照明景物，自身隐蔽性好。系统主要由微光光学系统（包括物镜、目镜、人眼）、微光像增强器和高压电源几个部分组成。工作时，夜天空的自然微光照射目标，经目标反射的微光进入光学系统的物镜，物镜把目标成像在位于其焦平面的像增强器的光电阴极面上，像增强器对目标像进行光电转换，并经电子成像和亮度增强，最终在荧光屏上显示出目标的增强图像。

CCD图像传感器

CCD图像传感器是一种典型的固体成像传感器，与CMOS有着共同的历史渊源。高性能低成本的图像采集和处理系统在自动测量、设备检测、安全监控等工业测控领域需求巨大。相比于CMOS图像传感器,CCD图像传感器在灵敏度、分辨率、噪声控制以及技术成熟度等方面具有明显优势。本文从CCD图像传感器的发展历程、结构和工作原理、分类及应用几个方面对CCD图像传感器进行了大致的介绍。

阿达玛变换光谱

阿达玛变换 (Hadamard Transform，HT) 是基于平面波函数的一种变换 , 非常适用于频域分析，具有高信噪比、单检测器多通道同时检测 ( 成像 )能力以及能量分布等优点 。特别适用于微弱光谱测量及图像分析 , 在荧光、红外和拉曼光谱成像以及仪器联用技术等方面都取得了重要的研究成果。

光电显示与成像未编写

当前词条仅创建，未编写

提议收录

OLED

1978年，自从双层、高效率的有机电致发光器件(OLED)被Tang等报道以来，由于与CRT, LCD, PDP以及无机发光二极管相比，OLED具有许多的优点，如高亮度、高效率、宽视角、自主发光、全固态、超薄超轻、制作工艺简单、较快的响应速度、可实现全彩化显示以及良好的机械加工性能，可以制成形状不同的显示器等，在过去的三十年里，引起了人们广泛的关注和研究，所以OLED被誉为继LCD以及PDP之后的最理想、最具潜力的下一代平板显示技术。

阴极射线管

信息显示器件及其技术，为人机之间的信息交流，提供了一个必不可少的平台，它能将来自各种电子装置和设备的信息，通过人的视觉系统及时地传递给大脑。因此，信息显示器件是连接人与机器的纽带，是人机间传递、交换信息的桥梁。阴极射线管（CRT）技术作为显示技术的一种，其工作原理是用适当的控制电路控制电子束，使其在屏上扫描，激发荧光粉发光，以达到显示的目的。且有着亮度高，成本低，分辨力的易调性等诸多优点。

词条内容是否有帮助？

5分享一下

阅读5432

写评论邀评评论区

暂无评论



本