分享

基础矩阵估计综合算法的几何意义及分析

 oskycar 2012-07-10

基础矩阵估计综合算法的几何意义及分析*

沈沛意 王 伟 吴成柯 Long Quan Roger Mohr

摘要 研究了基础矩阵参数的几何意义,提出了新的估计基础矩阵的约束条件. 首先用给出的约束求出F阵的4个参数,而这2个参数正好是2个对极点的仿射坐标. 然后通过解线性方程组获得其余4个参数,而这4个参数表示了对极线束间的对应关系. 最后,经过对真实图像和合成数据的测试表明本方法有明显的几何意义,可获得几何特性稳定的F阵. 
关键词 基础矩阵 双对极点约束 综合算法
  
  利用对极几何研究图像间的约束关系,是近年来利用几何不变量解决透视投影问题的比较突出的研究成果之一[1]. 由于对极几何的关键技术是对基础矩阵(F阵)的精确估计,所以精确估计基础矩阵成为人们研究的一个重要方向[2~4]. 对Hartley提出的改进八点算法而言,虽然在基础矩阵的稳定性方面做了较大的改进[4],但所获得的对极点的位置均不稳定,甚至偏差较大. Luong的研究表明,基础矩阵的不稳定性主要由对极点的偏差决定[5]. 因此,我们利用一个对极点的约束,结合线性算法和非线性算法,提出过一种估计基础矩阵的方法[6]. 该算法利用单对极点约束来估计基础矩阵,虽然可使利用约束的对极点的稳定性得到提高,但未用约束的对极点的稳定性并未得到较大改善. 为进一步提高对极点的稳定性及改善F阵的性能和精度,本文提出了利用双对极点约束的方法来估计基础矩阵,并详细分析了在双对极点约束下基础矩阵参数的几何意义,从而为基础矩阵的求解提出了另一种途径. 

1 F阵的估计
1.1 引出新约束
  由对极几何原理知F阵满足

m′TF12m=0,   mTF21m′=0, (1)
Rank(F12)=2,  Rank(F21)=2,(2)
Det(F12)=0,   Det(F21)=0,(3)
F12e=F21e′=0,(4)
 F12=wpeF.jpg (866 bytes), (5)

其中m和m′是三维点M的投影,其齐次坐标分别为(x y 1)T和(x′ y′ 1)\+T,而e(α,β)和e′(wpe10.jpg (947 bytes))是图像1和图像2的对极点,基础矩阵F12是一个3×3 矩阵,其作用是将图像1中的点m映射到图像2中的对极线F12m. 基础矩阵F12可由对极点e(α,β)表示为[6]
      6.01.gif (2423 bytes)     (6)

  由对极几何的对称性,将F21也用另1个对极点表示. 由(2)和(3)式知F21阵的3个列向量b1, b2,和b3是线性相关的. 也就是说其中1个可以由另外2个向量线性表出,不失一般性,假设 
               b3=-α′b1-β′b2,         (7)
成立,其中α′, β′是待定常量,而负号的引用是为了方便以后的推导. 则F21可用参数表示为
    6.02.gif (2711 bytes)      (8)
将上式代入(4)式得到以下方程:
        6.03.gif (2801 bytes)      (9)

简化后为
         (e′1 -α′)b1+(e′2-β′)b2=0.        (10)
由于向量b1和b2线性无关,从而有
             6.04.gif (543 bytes)               (11)
所以当基础矩阵F21用参数α′, β′表示为(8)式时,这2个参数是对极点e′的仿射坐标.  即(8)式是基础矩阵关于对极点e′的一个约束条件. 在以上2个单对极点约束条件的基础上,下面引入一个新的双对极点的约束条件. 
  根据(5)式可得
      6.05.gif (1857 bytes)     (12)

将F21的列向量代入(8)式,则得
6.06.gif (2937 bytes)  (13)

因此基础矩阵可由2个对极点的4个参数表示. 
1.2 基础矩阵参数的几何意义
  由上节可知,基础矩阵可由4个参数α, β, α′, β′表示,这4个参数具有明显的几何意义,它们就是2个对极点的仿射坐标. 下面用仿射几何中无穷远线的特性来推导基础矩阵中参数f1,f2, f4,f5的几何意义. 
  令m和m′是图像1和图像2中的匹配点,其齐次坐标分别为(x y 1)T和(x′ y′ 1)T,而e(α,β)和e′(e1, e2)是图像1和图像2的对极点,则过点m和e(α,β)的直线方向为τ1,过点m′和e′(e1, e2)的直线方向为τ2[5],其中
       6.07.gif (1067 bytes)          (14)
则这2条直线和无穷远线的2个交点为
      y=(1,τ1,0)T, y′=(1,τ2,0)T.           (15)

由于y,y′同在无穷远线上,则其坐标分量τ1,τ可表示为[5]
          6.08.gif (768 bytes)                 (16)
其中参数a,b,c,d反映了无穷远线上匹配点之间的一一对应关系. 
  由于y和y′为一对匹配点,所以将其代入(2)式可得
  6.09.gif (3084 bytes)  (17)
展开得
      f1c(y-e)+d(x-e1)(x-e1)+fa(y-e)+b(x-e1)(x-e1)+
     fc(y-e)+d(x-e1)(y-e)+fa(y-e)+b(x-e1)(y-e)=0.  (18)
求此不定方程的解集,可得其中一组解为
           f1=b, f=-d, f=a, f=-c.         (19)
由此得出,基础矩阵中剩余的4个参数f1,f,f,f有非常明确的几何意义,它就是过对极点e和e′的2个对极线束间的映射关系
            6.10.gif (753 bytes)              (20)
将(18)式写成矩阵形式,则得
                Ef=0,                (21)
其中

E=[ee1 ee2 ee3 ee4],
ee1=[c(y-e2)+d(x-e1)](x-e1)
ee3=[c(y-e2)+d(x-e1)](y-e2)
f=[f1 f2 f4f5]T
ee2=[a(y-e2)+b(x-e1)](x-e1)
ee4=[a(y-e2)+b(x-e1)](y-e2),

  鉴于对极点的多解性,就可以利用推导出的2个对极线束间映射关系参数的约束关系(21)式作为基础矩阵求解的一个约束条件.
1.3 双对极点约束
  对基础矩阵估计的单对极点约束而言[6],虽然在基础矩阵估计的稳定性方面有所提高,但在实际应用中,由基础矩阵求出的对极点仍然存在不稳定现象. 因此,在此推导出一个新的双对极点约束. 
  将(13)式代入(1)式,可得一组线性方程
                   Bf=0            (22)
其中 f=[f1 f2 f4 f5],
6.11.gif (4669 bytes)(23)

这里N是匹配点数,N应不小于4,这里不妨先取N=4,则B为4×4的矩阵,由(2)式知f1 f2 f4 f5不全为零,因此,要使方程 (22) 有非零解,则其系数矩阵的行列式必为零,即
            Det(B)=0.                (24)

将(24)式展开,即有一个关于α,β,α′,β′的函数,并有形式
     
6.12.gif (448 bytes)=1Ki(a1iα2+a2iα+a3i)(b1iβ2+b2iβ+b3i)(c1iα′2+c2iα′+c3i).
(d1iβ′2+d2iβ′+d3i)=0,(25)

其中Ki, aji, bji, cji, dji, j=1,2,3,是一些与点坐标有关的标量. 
  由此得到了一个关于参数α,β,α′,β′的约束(25)式,即为基础矩阵的双对极点约束. 
1.4 估计对极点
  上面已给出了关于双对极点的坐标的几何约束,现在就利用它来估计对极点e, e′的位置,即利用它先求出F阵的4个参数α, β, α′, β′. 首先将(23)式中B矩阵的行向量定义为

Bi(α,β,α′,β′)=
[(xi-α)(xi -α′)(xi-α)(y′i-β′)(yi-β)(x′i-α′)(yi-β)(y′i-β′)],
                 i=1,2,...,N,                (26)
                 B=[B1 B2...BN]T.
由(22)式,上式中的参数α,β,α′,β′应满足下列方程组:
             Bijkl=Det([Bi Bj Bk Bl]T=0             (27)

其中[ijkl]是整数序列的[1 2...N]的一个线性组合,并且共有wpe13.jpg (994 bytes)个组合数. 因此,可以通过求解如下的一个非线性最小化问题来估计对极点:
             6.13.gif (1248 bytes)          (28)1.5 F阵的估计的全局最优解
  由于对应于对极点的参数(α,β),(α′,β′)在上节已获得,现在只需求出F阵的其余4个参数f1,f2,f4,f5就完成了F阵的估计. 
  由(21)和(22)式,要求这2个线性方程组的最小二乘解,即
                6.14.gif (498 bytes)                  (29)
需对其(N+i)×4的系数矩阵作奇异值分解,即令
             6.15.gif (1087 bytes)              (30)

则方程组(29)的解就是矩阵D中对应于矩阵V的最小奇异值的那个列向量. 其中i为E阵的行数,即实际计算中采用的约束方程的个数,i=1,...,N. 至此得到了F阵的估计,由于非线性问题(25)式的多解性,导致了F阵的解不唯一,因此我们定义一个余差rest为最优准则,并认为对应于最小的rest值的F阵即为全局最优解[6]. 

2 实验结果
  在第1部分的基础上,我们用双对极点约束完成了对基础矩阵的估计,并与改进的8点算法、6点综合算法做了比较. 在上述算法中对二维图像点坐标均做了规一化处理(normalization),但都未采用分层策略(outlier strategy). 在实验中利用了许多真实图像对本方法进行了测试和比较,下面给出实验结果. 
  实验中采用真实图像的38个原始匹配点对的坐标[6]、人工合成数据、以及噪声数据为幅度为[-5,5]之间的均匀分布的加噪合成数据. 图1为改进8点算法用真实图像数据的计算结果. 图2为6点综合算法用真实图像数据的计算结果. 图3为双对极点约束法用真实图像数

6.16.gif (7268 bytes)

图1 改进8点算法,真实图像数据
1为平均距离,2为平均余差

6.17.gif (4736 bytes)6.18.gif (3808 bytes)
图2 6点综合算法,真实图像数据
说明同图1

据计算出的结果. 图4~6为上述3种算法分别用人工合成数据计算出的结果. 图7~9为上述3种算法分别用加噪人工合成数据计算出的结果. 其中图(a)为计算出的平均余差和平均距离. 图(b)为38个左对极点,图(c)为38个右对极点. 平均余差rest(ave)代表wpe14.jpg (1534 bytes)的绝对值,平均距离distance(ave)代表由当前计算出的基础阵计算出匹配点到其对应的对极线间的距离wpe14.jpg (1534 bytes)6.12.gif (448 bytes)

6.19.gif (5037 bytes)

图3 双对极点约束综合算法,真实图像数据
说明同图1

6.20.gif (6307 bytes)

图4 改进8点算法,无噪合成数据
说明同图1

6.21.gif (6368 bytes)

图5 6点综合算法,无噪合成数据
(a)为平均余差

6.22.gif (5462 bytes)

图6 双对极点约束综合算法,无噪合成数据
说明同图1

6.23.gif (6163 bytes)

图7 改进8点算法,加噪合成数据
说明同图1

6.24.gif (8205 bytes)

图8 6点综合算法,加噪合成数据
说明同图1

6.25.gif (5176 bytes)

图9 双对极点约束综合算法,加噪合成数据
说明同图1

  从平均余差的大小来看,6点综合算法略逊于8点算法,双对极点约束法略逊于6点综合算法. 究其原因是由于:(ⅰ)新约束的加入限制了可行解的范围;(ⅱ)8点算法完全是一个线性化的最小二乘过程,视最小为最优,而不管其是否满足应有的几何条件. 从平均余差和平均距离的稳定性上可以看出,利用双对极点约束算法估计出的基础矩阵有很好的稳定性. 
  从对极点的稳定性上看,双对极点约束法优于6点综合算法和8点算法,尤其从人工合成数据和加噪合成数据的计算结果就可以看出,利用双对极点约束估计的对极点具有较好的鲁棒性. 在图9(c)中,虽然右对极点仍有略微的抖动,但其位置与利用无噪合成数据计算出的右对极点的位置(图6(c))是一致的. 

4 结论
  本文分析了基础矩阵参数的几何意义,提出了新的几何约束:双对极点约束. 利用新约束提高了基础矩阵估计中对极点的精度和稳定性,从而为基础矩阵的高精度求解提出了一个新的思路. 考虑到我们给出的双对极点约束是非线性的,因此如何提高对极点的估计精度和稳定性仍然是我们需进一步研究的课题. 从实验结果可以看出(见图1~9的(b)和(c)),改进8点算法和6点综合算法的对极点的摆动范围均在数千个象素单位,但6点综合算法的右对极点(图2(c),图8(c))已有明显收敛区域. 而双对极点约束综合算法的对极点的摆动范围仅为2个象素单位(图3(c),图9(c)). 因此利用双对极点约束的综合算法估计的基础矩阵的对极点的稳定性已远远高于通常意义上的8点算法和利用单对极点约束的6点综合算法,从而为该领域的一些问题提供了比较好的数学模型. 

  致谢 感谢法国LIFIA提供的真实场景数据. 

*国家自然科学基金资助项目(批准号:69605002)和中法先进研究计划资助项目

作者单位:沈沛意 王 伟 吴成柯 西安电子科技大学信息工程系,综合业务网国家重点实验室,西安710071;Long Quan Roger Mohr Lifia-CNRS-INRIA, 46Avenue Felix Viallet, 38031 Grenoble Cedex, France

参考文献

 [1] Faugeras O D. Three-Dimensional Computer Vision: A Geometric Viewpoint. Beckeley: MIT Press, 1993
 [2] Faugeras O D. What can be seen in three dimensions with an uncalibrated stereo rig?. In: Computer Vision-ECCV'92, LNCS-Series Vol 588. New York: Springer-Verlag, 1992. 563578
 [3] Torr P H S, Zisserman A, Maybank S J. Robust detection of degenerate configurations for the fundamental matrix. Proceedings of the 5th ICCV. Cambridge IEEE Computer Society Press. 1995. 1 0371 042
 [4] Hartley R. In defence of the 8-point algorithm. Proceedings of the 5th ICCV. Cambridge: IEEE Computer Society Press. 1995. 1 0641 070
 [5] Luong Q T, Faugeras O D. A stability analysis of the fundamental matrix. In: Jan-Olof, ed. Lecture Notes in Computer Vision, Vol 800. Computer vision-ECCV'94
 [6] 王 伟,吴成柯估计基础矩阵的六点综合算法中国科学, E辑,1997, 27(2): 165170

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多