【原创+总结】Kinect 深度图获取原理

【原创+总结】Kinect 深度图获取原理

(2011-12-18 16:31:53)

标签： 2012 微软精英大挑战 it

 

 

 

 

Kinect 红外发射器(Infrared Projector)发射出雷射光，通过红外发射器镜头前的光栅(diffuser)，均匀地投射到测量空间，测量空间的粗糙物体反射，形成随机的散斑，再通过红外摄影机(Infrared Camera)记录空间的每个散斑，通过晶片的计算便得到3D深度图像。

 

 

深度图获取过程图

 

 

 

 

 

 

PrimeSense散斑测距原理[1]

流程图

 

 

 

 

 

 

 

 

流程图详解：

 

1. 平面标定（拍摄参考散斑图案）

 

在不同距离（已知）上，分别拍摄散斑图像（Speckle Pattern），并保存作为参考图像（Primary/Reference Pattern）。

 

注：1. 此处的参考物取的是一个平面，该平面与光轴垂直。

    2. 散斑的大小和形状与物体相对传感器的距离和方位有关。

 

2. 拍摄待测物体散斑图案

 

红外发射机发出的镭射光经红外发射器镜头前光栅生成结构光，结构光投射到物体表面，得到散斑图案，通过红外摄影机拍摄到此散斑图案。

 

3. 寻找与待测散斑图案最匹配的参考图案

       

       将拍摄到的散斑图案与步骤1中所得到的参考散斑图案进行匹配，找到最匹配，即互相关性（Cross-Correlation）最大的参考散斑图案，参考散斑图案所对应距离即是待测物体的近似深度距离。

 

4. 基于待测和参考图像间的局部补偿进行三维重建

 

       利用三角测量法、步骤3所得的最大互相关散斑图，对待测物体的散斑图案进行局部补偿（Local Offset），从而实现“三维重建”（“3D Reconstruction”），得到3D图像。

完整系统20

 

其中，22为Kinect；24为处理装置（Processor）；26为显示器（Display） 28为待测物(Object)。

22：产生散斑，并将其投射到被测物28上；且获取28上的散斑图案。

24：处理22所产生的图片数据，并以此为据来计算28距22的距离，实现三维重建。

26：显示3D虚拟图像

 

                                 Kinect 深度获取

30：红外发射机块

（34：红外发射器；36：光栅）

32：红外接收机块 

（38：光学透镜；40：传感器（CCD或CMOS图像传感器阵列）；42：传感器单元）

44：分光镜

46：目标区域

 ，

其中，是空间中的物体与红外发射器之间的距离；是34发出的光在36上形成的点[2]的大小；即镭射光光波波长；△Z散斑轴向平均长度。

 

投射到空间物体上的散斑图案在轴向移动距离小于△Z时，红外摄影机所得散斑图案与参考图案间有很高的互相关性，且其间距离越小于△Z，互相关性越高；反之，如果移动距离大于△Z，相关性就很小，甚至没有相关性。

 

测量误差：

 

 

 

附：

结构光：

1、激光从激光器发出，经过柱面透镜后汇聚成宽度很窄的光带，称为结构光。该光平面以一定角度入射在工件上，在工件上产生反射和散射。 　　

2、已知空间方向的投影光线的集合称为结构光。 　　

3、生成结构光的设备可以是将光点、光缝、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器,也可以是生成激光束的激光器。 　　

结构光的英文是structured light 　　

结构光标定方法：基于立体标靶的激光平面标定，斜面标定法。

注：红色部分即为Kinect 中所采纳方法。

投射到空间的结构光图案

 

 

参考文献：

[1] Javier Garcia, Valencia(ES), Zeev Zalevsky, Ha’ayin(IL), “Range Mapping Using Speckle Decorrelation”, Applied Optics,NO.7,Oct,2008.U.S.Appl.No.US 7,433,024 B2

 

[2] Alexander Shpunt,Petach-Tikva(IL), “Optical Designs for Zero Order Reduction”, Applied Optics,NO.23,Jul,2009.U.S.Appl.NO.US 2009/0185274 A1