作者:一颗小树X@CSDN 前言 双目立体视觉,由两个摄像头组成,像人的眼睛能看到三维的物体,获取物体长度、宽度信息,和深度的信息;单目视觉获取二维的物体信息,即长度、宽度。 1)双目摄像头 双目摄像头示意图(ORBBEC® Gemini 3D传感摄像头是一款基于双目结构光3D成像技术的近距离高精度的嵌入式模组): 2)双目相机基线 基线越大,测量范围越远;基线越小,测量范围越近。 建议: (1)基线距离是工作距离的08-2.2倍时测量误差比较小; (2)双目立体视觉的结构对称时,测量系统的误差比较小,精度也比较高。 (3)两台相机的有效焦距∫越大,视场越小,视觉测量系统的测量精度越高(即采用长焦距镜头容易获得较高的测量精度) 3)打开双目摄像头 在OpenCV用使用双目摄像头,包括:打开单目摄像头、设置摄像头参数、拍照、录制视频。 双目同步摄像头,两个镜头共用一个设备ID,左右摄像机同一频率。这款摄像头分辨率支持2560*960或以上。 思路流程: 1、由于两个镜头共用一个设备ID,打开摄像头时使用cv2.VideoCapture函数,只需打开一次。区别有的双目摄像头是左右镜头各用一个设备ID,需要打开两次cv2.VideoCapture(0),cv2.VideoCapture(1)。 2、双目摄像头的总分辨率是由左右镜头组成的,比如:左右摄像机总分辨率1280x480;分割为左相机640x480、右相机640x480 为了方便理解画了张草图;图中的“原点”是图像像素坐标系的原点。 3、分割后,左相机的分辨率:高度 0:480、宽度 0:640 右相机的分辨率:高度 0:480、宽度 640:1280 4、转换为代码后 cv2.imshow( "left", left_frame) cv2.imshow( "right", right_frame) 源代码: 举个栗子:打开分辨率1280x480的双目摄像头 AUTO = False# 自动拍照,或手动按s键拍照INTERVAL = 2# 自动拍照间隔 cv2.namedWindow( "left") cv2.namedWindow( "right") camera = cv2.VideoCapture( 0) # 设置分辨率 左右摄像机同一频率,同一设备ID;左右摄像机总分辨率1280x480;分割为两个640x480、640x480camera.set(cv2.CAP_PROP_FRAME_WIDTH, 1280) camera.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) counter = 0utc = time.timefolder = "./SaveImage/"# 拍照文件目录 defshot(pos, frame): globalcounter path = folder + pos + "_"+ str(counter) + ".jpg" cv2.imwrite(path, frame)print( "snapshot saved into: "+ path) whileTrue: ret, frame = camera.read# 裁剪坐标为[y0:y1, x0:x1] HEIGHT*WIDTHleft_frame = frame[ 0: 480, 0: 640] right_frame = frame[ 0: 480, 640: 1280] cv2.imshow( "left", left_frame) cv2.imshow( "right", right_frame) now = time.timeifAUTO andnow - utc >= INTERVAL: shot( "left", left_frame) shot( "right", right_frame) counter += 1utc = now key = cv2.waitKey( 1) ifkey == ord( "q"): breakelifkey == ord( "s"): shot( "left", left_frame) shot( "right", right_frame) counter += 1camera.releasecv2.destroyWindow( "left") cv2.destroyWindow( "right") 补充理解: OpenCV有VideoCapture函数,能用来定义“摄像头”对象,0表示第一个摄像头(一般是电脑内置的摄像头);如果有两个摄像头,第二个摄像头则对应VideoCapture(1)。 在while循环中使用“摄像头对象”的read函数一帧一帧地读取摄像头画面数据。 imshow函数是显示摄像头的某帧画面;cv2.waitKey(1)是等待1ms,如果期间检测到了键盘输入q,则退出while循环。 效果: 4)双目测距原理: 通过对两幅图像视差的计算,直接对图像所拍摄到的范围进行距离测量,无需判断前方出现的是什么类型的障碍物。 视差disparity: 首先看一组视觉图:左相机图和右相机图不是完全一致的,通过计算两者的差值,形成视差,生成视差图(也叫:深度图)
我们观察一下,看到台灯在前面,离双目相机比较近,在灰度图呈现比较亮;摄影机及支架在后方,离双目相机比较远,在灰度图呈现比较暗。 补充理解: 由立体视觉系统测量的深度被离散成平行平面 (每个视差值一个对应一个平面) 给定具有基线 b 和焦距 f 的立体装备, 系统的距离场受视差范围[dmin ,dmax]的约束。 极线约束: 极线约束(Epipolar Constraint)是指当空间点在两幅图像上分别成像时,已知左图投影点p1,那么对应右图投影点p2一定在相对于p1的极线上,这样可以极大的缩小匹配范围。 标准形式的双目摄像头,左右相机对齐,焦距相同。 如果不是标准形式的双目摄像头呢?哦,它是是这样的:(需要 极线校正/立体校正) 极线校正/立体校正 双目测距流程: a.双目标定 主要是获取内参(左摄像头内参+右摄像头内参)、外参(左右摄像头之间平移向量+旋转矩阵) 标定过程: b.双目矫正 消除镜头变形,将立体相机对转换为标准形式 c.立体匹配 寻找左右相机对应的点(同源点) d.双目测距(三角测量) 给定视差图、基线和焦距,通过三角计算在3D中对应的位置 双目测距原理 e.测距效果 彩蛋:双目立体匹配(重点) 立体匹配是双目立体视觉中比较重要的一环,往往这里做研究和优化。 a.立体匹配流程 b.匹配代价计算 代价函数用于计算左、右图中两个像素之间的匹配代价(cost)。cost越大,表示这两个像素为对应点的可能性越低。 常用代价函数
c.立体匹配 端到端视差计算网络 Disp-Net (2016) GC-Net (2017) iRestNet (2018) PSM-Net (2018) Stereo-Net (2018) GA-Net (2019) EdgeStereo (2020) 立体视觉方法评测网站 ETH3D https://www./ Kitti Stereo http://www./datasets/kitti/eval_scene_flow.php?benchmark=stereo Middlebury Stereo 3.0 https://vision./stereo/eval3/ 双目测距总结 优势: (1)成本比单目系统要高,但尚处于可接受范围内,并且与激光雷达等方案相比成本较低; (3)直接利用视差计算距离,精度比单目高; (4)无需维护样本数据库,因为对于双目没有样本的概念。 难点: (1)计算量大,对计算单元的性能要求高,这使得双目系统的产品化、小型化的难度较;(芯片或FPGA) (2)双目的配准效果,直接影响到测距的准确性; (3)对环境光照非常敏感;(光照角度、光照强度) (4)不适用于单调缺乏纹理的场景;(天空、白墙、沙漠) (5)相机基线限制了测量范围。(基线越大,测量范围越远;基线越小,测量范围越近) 参考文献 1)[Wang 2015] Wang W, Yan J, Xu N, et al. Real-time high-quality stereo vision system in FPGA. IEEE Transactions on Circuitsand Systems for Video Technology, 2015, 25(10): 1696-1708.2) 2)[Kim 2016] K.-R. Kim and C.-S. Kim. Adaptive smoothness constraints for efficient stereo matching using texture and edgeinformation. ICIP 2016. 3)[Zbontar 2016] Zbontar J, LeCun Y. Stereo matching by training a convolutional neural network to compare image patches.Journal of Machine Learning Research, 2016. 4)[Park 2017] Park H, Lee K M. Look wider to match image patches with convolutional neural networks. IEEE Signal ProcessingLetters, 2017. 5)Leonid Keselman, et al. Intel R RealSenseTM Stereoscopic Depth Cameras. CVPRW. 2017. 6)立体匹配算法原理与应用.奥比研究院.徐玉华 7)基于双目视觉的空间非合作目标姿态测量技术研究.颜坤 End 声明:部分内容来源于网络,仅供读者学术交流之目的。文章版权归原作者所有。如有不妥,请联系删除。 |
|