浅谈摄影机定位跟踪技术|相机|传感器|镜头

本文刊发于《现代电影技术》2021年第5期

专家点评

摄影机的定位与跟踪技术是电影虚拟化制作的关键技术之一，在今天的电影预演和基于LED背景墙拍摄等方面都有普遍应用，它建立起了真实摄影机与虚拟摄影机之间的联系，是同步真实场景和虚拟场景的桥梁。目前，基于不同原理的定位与跟踪技术种类繁多，而在影视制作领域，尤其是对摄影机的内外参数的获取方面，一般是同时综合运用多种定位与跟踪技术。《浅谈摄影机定位跟踪技术》一文正是对这一技术进行了系统的梳理，对目前主流的摄影机定位跟踪技术进行了分类,阐述了每一种技术的基本原理及优缺点,比较了不同系统的跟踪范围、搭建便利性、系统延时、跟踪精度、遮挡处理和鲁棒性等具体指标，最后还对影视制作中的摄影机定位与跟踪技术的应用提出了建议。文章结构清晰，内容详实，能够为影视从业人员全面了解定位与跟踪相关技术提供非常好的参考。

——陈军，研究员，

北京电影学院影视技术系主任

作者简介

高华倩，北京电影学院现代创意媒体学院教师，主要研究方向：数字电影技术。

摘 要

摄影机定位跟踪技术作为现场实时预演的关键技术之一，对实现虚实摄影机、虚实角色和电影场景在虚拟空间与真实世界的实时交互和匹配起着关键性作用。本文对电影摄影机定位跟踪技术进行了分类阐述，归纳现有的摄影机定位跟踪系统的跟踪原理及优缺点，总结梳理摄影机跟踪系统在跟踪范围、系统便携度及灵活性、系统延时、跟踪精度和抗干扰能力等方面的特性，对电影前期制作中的现场摄影机定位跟踪技术的应用提出建议和帮助。

摄影机定位跟踪 电影虚拟化制作 现场实时预演

1摄影机定位跟踪技术的起源与发展

摄影机定位跟踪指的是对真实空间中摄影机的位置和姿势进行跟踪的过程，包含空间位置信息X、Y、Z和姿势信息Pan（横摇）、Tilt（俯仰）、Roll（横滚）六个自由度（6DOF，Degree Of Freedom）。在电影的现场实时预演过程中，这六个自由度的信息被实时传送至虚拟渲染引擎，为引擎中的虚拟摄影机提供真实摄影机在三维空间中的位置和姿势信息，以及镜头参数信息，包括焦距、焦点和光圈等，依靠实时渲染和实时抠像与合成技术，实现虚拟摄影机与真实摄影机的运动及构图的同步，使得实拍画面与虚拟元素得以实时合成。

电视节目制作领域应用的虚拟演播室技术，是使用定位跟踪技术来跟踪摄像机运动，将实拍画面与虚拟元素进行合成的代表。1994年，首个应用于虚拟演播室来跟踪摄像机焦点和焦距参数的基座诞生，该系统基于机械式跟踪技术，利用编码器测量摄像机镜头的运动数据，使得电视节目领域的虚拟制作成为可能，但是受技术限制，当时的虚拟背景制作都是基于二维图像。1995年，可以定位摄影机在虚拟演播室位置和高度的机器人底座出现，三维虚拟演播室成为可能[1]。

经过几十年的发展，国内外虚拟演播室技术日趋成熟，基于机械式跟踪、惯性式跟踪和光学式跟踪技术的摄影机定位跟踪产品层出不穷，创作者们可以根据自己的实际需求选择最适合的摄影机跟踪产品。例如，中央电视台在2016年使用了NCAM光学跟踪系统实现了多类综艺节目和多场体育赛事的转播和直播任务，各类摄影机跟踪系统被广泛应用于电视领域，包括虚拟演播室和大型场外节目的录制。

摄影机定位跟踪系统广泛应用于电影领域是在20世纪70年代，乔治·卢卡斯等电影先驱们在《星球大战》的制作过程中运用了机械式定位跟踪技术来记录现场摄影机的运动轨迹，目的是准确无误地重复运动轨迹，以此来保证摄影机的多次拍摄能有同样的运动方式。另外，电影《人工智能》在拍摄含有视觉特效的镜头时，电影创作者们将特制的跟踪点贴在摄影棚天花板上，摄影机上安装的跟踪设备会利用天花板上的跟踪点来定位跟踪摄影机的运动。詹姆斯·卡梅隆导演的电影《阿凡达》，几乎使用了当时所有最先进的电影制作技术，包含摄影机定位跟踪技术、演员的动作捕捉、面部捕捉技术和3D立体拍摄技术，以及实时渲染技术等全套电影虚拟化制作技术。在之后的许多电影制作中，摄影机定位跟踪成为了电影制作过程中必不可少的一部分。

国内对电影虚拟化制作技术的成功应用开始于2016年的《封神传奇》，采用虚拟拍摄可以呈现出东方神话与西方魔幻的奇妙效果。2017年，赵小丁导演执导的大型魔幻电影《三生三世十里桃花》上映，北京电影学院影视技术系的预演团队参与了制作，现场预演使用的Lightcraft系统，其中的Airtrack和Intersense定位跟踪模块在现场实时预演工作中发挥了重要作用。一直到2019年上映的科幻电影《流浪地球》和2021年上映的《刺杀小说家》，国内电影工作者越来越依赖于电影虚拟化制作流程来进行电影的创作，电影《刺杀小说家》在现场拍摄阶段便使用了NCAM系统来进行现场实时预演，其中包含的双目摄影机定位跟踪模块，在实现电影虚拟化制作过程中发挥了重要的作用，见图1。

图1 电影《刺杀小说家》现场实时双眼相机和实时显示引擎[2]

2摄影机定位跟踪技术的分类及工作原理

在电影虚拟化制作的应用领域，摄影机定位跟踪系统需要给现场虚拟渲染引擎中的虚拟摄影机提供位置和姿势六个自由度的信息，称为外部参数信息；还要提供给虚拟摄影机镜头参数信息，包括焦距、焦点、光圈、光心位置和畸变系数等信息，称为内部参数信息。摄影机定位跟踪系统将获得的跟踪数据实时传输给虚拟摄影机，才能实现与现场真实摄影机运动的实时匹配，从而完成现场虚拟预演画面的实时渲染与合成。

摄影机定位跟踪系统可根据其内部跟踪原理的不同分成两大类：光学式摄影机定位跟踪系统和非光学式摄影机定位跟踪系统。

2.1 光学式摄影机定位跟踪系统

光学式摄影机定位跟踪系统依赖能够实时检测标记点或者图像特征点的光学相机来定位跟踪摄影机。目前，光学式摄影机定位跟踪系统按照跟踪方式的不同可以分为两类：第一类是由外向内的光学式摄影机定位跟踪系统（Outside-in systems），第二类是由内向外的光学式摄影机定位跟踪系统（Inside-out systems）[3]。摄影机定位跟踪系统分类如图2所示。

图2 摄影机定位跟踪系统分类

2.1.1 由外向内的光学式摄影机定位跟踪系统

由外向内的光学式摄影机定位跟踪系统需要在摄影机的跟踪区域内悬挂摄像机，其拍摄方向指向跟踪区域内部，这些摄像机通过主摄影机机身上的标记点定位跟踪主摄影机，从而确定主摄影机的位置和运动。由外向内的光学式摄影机定位跟踪系统根据标记点的发光方式不同可以分为基于被动式标记点的光学式摄影机定位跟踪和基于主动式标记点的光学式摄影机定位跟踪。

由外向内的光学式摄影机定位跟踪系统的跟踪效果取决于外部摄像机的数量和所拍摄图像的分辨率，外部摄像机的数量越多，跟踪范围越广，所拍摄的图像分辨率越高，摄影机的跟踪效果越好。这种跟踪方法应用广泛，既可用于摄影机定位跟踪，也可用于动作和面部捕捉。另外，由外向内的光学式摄影机定位跟踪系统需要训练有素的工作人员提前进行硬件安装、相机校准和测试工作，需要耗费一定的时间成本。

2.1.1.1 被动式标记点光学式摄影机定位跟踪

被动式标记点的光学式摄影机定位跟踪系统基于一组高速红外摄像机，这组摄像机部署在有效测量区域周围，可以实时捕捉能反射红外光的被动式标记点，对标记点的位置进行三角测量来获得摄影机的位置和姿势信息。

这类跟踪系统使用的被动式标记点是能够反射红外光且散射程度很小的橡胶球，如图3所示。标记点的大小主要是由相机间的距离和拍摄到的影像分辨率决定，其他影响因素还有频闪强度、光圈值。

图3 被动式标记点光学式摄影机定位跟踪原理[4]

由于跟踪标记点完全相同，在正式跟踪工作之前则需要为三维工作站提供一组未标记的点，通过后处理任务来对标记点进行识别和分类。这类系统需要依靠标记点来实现摄影机的定位跟踪，一旦标记点发生遮挡，则无法正常工作。另外，该系统的跟踪精度具有毫米级的误差，跟踪区域的大小取决于分布在外围的摄像机的数量。因此，被动式标记点光学式定位跟踪普遍应用于动作捕捉领域。如图4是常见的被动式标记点定位跟踪设备optitrack的摄像机和标记点。

图4 optitrack摄像机和标记点[5]

2.1.1.2 主动式标记点光学式摄影机的定位跟踪

主动式标记点光学式摄影机定位跟踪系统使用自发光的有源标记点——红外发光二极管（IRED），此类标记点充当发光光源和反射器，标记点通过一个微小的固态LED发出频率与摄像头捕捉频率一致的红外光谱，实际捕捉图像的帧率由红外摄像机的帧率除以标记点数量得到，因为每个红外发光标记点的频率不一样，在同一瞬间，所有相机只能捕捉到一个标记点的信息，在这种情况下，跟踪系统具有有限的测量频率和标记点数量，见图5。

图5 自发光的主动式有源标记点跟踪设备[6]

与被动式标记点相比，自发光的主动式有源标记点（如红外LED）可以实现在更大空间的定位跟踪，适用于更亮的环境和标记点识别不敏感的烟雾、雾气环境。另外，此类系统可以独立识别每一个标记点，因此需要较少的后处理时间。主动式标记点会发射特定方向的光线使跟踪摄像机具有很好的信号接收效果，并且其发射的光线能够发生散射来覆盖更广的视场角。

尽管如此，主动式标记点与被动式标记点光学式跟踪系统存在同样的问题，标记点的遮挡会导致跟踪信息的丢失。另外，主动式标记点需要单独供电，系统价格昂贵，需要在跟踪空间内架设更多的相机来获得令人满意的跟踪效果。此外，基于红外光的跟踪系统在面对像金属三脚架、液体等反光物体时，跟踪质量会迅速下降。因此，主动式有源标记点在摄影机定位跟踪领域应用较少。

2.1.2 由内向外的光学式摄影机定位跟踪系统

由内向外的摄影机定位跟踪系统通过分析安装在主摄影机机身上的跟踪摄像机所拍摄的实时图像来计算主摄影机在三维空间的运动参数。根据所使用跟踪摄像机数量的不同，可分为单目光学式摄影机定位跟踪系统和双目光学式摄影机定位跟踪系统，如图6所示为LightCraft系统单目跟踪模块及跟踪靶标图。

图6 LightCraft系统单目跟踪模块及跟踪靶标[7]

2.1.2.1 单目光学式摄影机定位跟踪系统

单目光学跟踪方法基于视觉定位技术，通过一个跟踪摄像机拍摄到的二维图像来计算主摄影机的三维位置和姿势信息，利用输入的二维图像来描述三维世界。

单目光学定位跟踪方法的关键技术有图像分割、特征点提取和摄像机标定[8]。

（1）图像分割

图像分割指的是将所获图像分割成若干个区域，再从各个区域中提取特征点的过程。图像分割的准确与否会直接影响到提取特征点的精度，因而成为图像处理中的关键环节。

（2）图像特征点提取

图像中物理和几何特性变化明显的区域代表图像的特征信息，如跟踪目标的边缘、特征角点或特殊几何形状中心。从大量“无用”信息中提取出有用的特征信息是进行视觉跟踪的基础。

（3）摄像机标定

摄像机标定是利用空间内已知目标特征点的三维坐标信息与图像中特征点的二维坐标来求出摄像机的内部参数的过程，而在由内向外的光学式摄影机定位跟踪系统中常使用的内参数获取方法是基于机械式跟踪的方式。

标定过程涉及世界坐标系、相机坐标系和图像坐标系[9]。

世界坐标系：三维世界的坐标系，以三维空间中的某个点为原点，目的是描述目标物在真实世界中的位置，单位为米。

相机坐标系：以相机为原点建立的坐标系，目的是从相机的角度描述物体位置，是世界坐标系与图像坐标系转换的中间一环，单位为米。

图像坐标系：为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入，可以从相机内读取到的图像所在的坐标系，单位为像素。

标定过程需要获取世界坐标系中足够多的三维空间点坐标，找出这些点在图像投影中的二维坐标，建立一一对应关系。

图7 标定过程参考图[10]

摄像机的外参数可用旋转矩阵R和平移向量t表示，内参数矩阵A随着焦距变化才改变，通过外部参数矩阵可将P（X，Y，Z）的坐标转换为相机内的坐标（x，y，z），转换过程为[10]：

上述计算过程可解决以下问题：

（1）给定内参数和外参数时，可实现实时定位跟踪和三维重建；

（2）给定内参数和几个三维点的投影坐标，计算和标定外参数；

（3）已知标记板的若干视图，计算内参数和外参数。

单目光学系统需要依赖固定样式的跟踪点来实现摄影机跟踪，因此在跟踪工作开始之前需要在室内或者室外的跟踪区域提前将跟踪点安装好，做好相机的标定工作。另外，由于单目光学系统缺少场景的深度信息，并且存在因相机遮挡而丢失跟踪信息的问题，因此需要搭配惯性跟踪模块来配合使用。

2.1.2.2 双目光学摄影机定位跟踪系统

不同于单目光学摄影机定位跟踪系统，双目光学摄影机定位跟踪系统利用两个跟踪摄像机可以实时获取图像特征值及深度值，增加了定位跟踪的精确度。NCAM系统中的双目光学式摄影机定位跟踪模块如图8所示。

图8 由内向外的摄影机定位跟踪系统[11]

用双目立体视觉来计算深度值的原理如图9所示，在定位跟踪工作时，需要确保左右两台跟踪相机位于同一平面，且所有的相机参数都一致，如焦距f，可得到深度值的计算公式如（6）和（7）所示[12]。

图9 双目立体视觉相机模型（y轴垂直于纸面方向）[12]

根据上述推导，空间中某点的深度为：z=f×b/d，知道相机焦距f、左右相机的基线b和视差d就可得到深度值。

双目光学跟踪系统不像单目光学跟踪那样需要依赖固定的跟踪点，工作起来比较灵活，室内、室外拍摄环境都适用。但受光学跟踪方式的限制，该系统在环境光照较强和较暗的环境中获得的跟踪图像信息易不完整，跟踪效果会不理想，这就对匹配算法提出较高要求。另外，双目光学跟踪不适用于单调缺乏纹理的场景，像缺乏视觉特征点的场景，如天空、白墙、沙漠等，这会导致跟踪误差较大甚至跟踪失败。

2.2 非光学式摄影机定位跟踪系统

非光学式摄影机定位跟踪系统的主要元件不是相机等光学设备，而是能够跟踪和获得跟踪主体在空间中位置和姿势的替代组件，如机械式设备、电磁式设备、惯性式设备和声学式设备。

2.2.1 机械式摄影机定位跟踪系统

机械式摄影机定位跟踪系统利用机电传感器来获得摄影机的姿势信息，如乔治卢卡斯首创的机械式定位跟踪系统能够记录摄影机的运动数据，可以在再次拍摄时准确无误地重复上一次拍摄时的摄影机运动，保证摄影机每次拍摄具有相同的运动轨迹。

随着技术的发展，机械式摄影机定位跟踪方式逐渐演变成今天使用的摄影机定位跟踪系统。由Mo-sys开发的Camera Tracking系统便是基于机械式定位跟踪技术（见图10），为了获得摄影机机身和镜头的运动情况，需要在横摇、俯仰、旋转、变焦、聚焦、光圈的转动方向上安装啮合齿轮，当摄影机姿势或镜头状态发生变化时，测量传感器可以实时检测到机械齿轮的转动，得到摄影机运动数据，进行编码处理后，将运动数据传输给主机，为虚拟摄影机提供真实摄影机的姿势和镜头运动信息。至于摄影机在三维空间中的位置信息，可以在摄影机云台下面安装摇臂或轨道来进行运动跟踪。

图10 Mo-sys开发的Camera Tracking系统[13]

机械式定位跟踪系统的抗干扰能力最强，跟踪数据精确且跟踪稳定，整个系统不需要接入其他工作站来处理跟踪信息，可以实现极低延时的跟踪处理，运行速度快。这类系统不存在外力或遮挡问题，不会影响摄影机的定位跟踪结果。

机械式跟踪最大的不足之处在于摄影机的活动范围受到机械结构限制，使用起来不够灵活，移动性和可使用场景有限。另外，机电传感器的精度要求高，安装成本也高，系统构成很复杂且设备笨重，摄影师不能灵活进行镜头调度。因此，在电影制作中，机械式的跟踪方式常用来获取摄影机的内部参数，而外部参数的获取则更多依赖于光学式定位跟踪的方法。

2.2.2 电磁式摄影机定位跟踪系统

电磁式跟踪系统利用磁场强度变化对目标进行位置和姿势的跟踪，系统一般由四个部分构成：微控制器、发射器、接收器和主机。发射器用于发射磁信号，摄影机机身上的接收器将接收到的磁信号转换成电信号，其位置通过与静态发射器之间的距离来识别，并将此信号送到微控制器，经过计算后得出跟踪数据[14]。

电磁式定位跟踪系统的优势在于使用的跟踪传感器不存在遮挡问题，且系统便携度高，应用起来很灵活，跟踪精度较高。但该系统最大的问题是跟踪区域受限于发射器（基站）周围的区域，跟踪范围极其有限，并且易受到电子设备或金属物体的干扰，造成跟踪出错，抗干扰能力弱。

2.2.3 惯性式摄影机定位跟踪系统

惯性式摄影机定位跟踪系统的核心原件是惯性传感器，两种主要类型是加速度计和陀螺仪，只能提供跟踪目标的旋转、姿势信息。

（1）加速度计

加速度计传感器可以测量运动物体的加速度，通常包含质量块、阻尼器、弹性元件、敏感元件和适调电路等部件。加速度计对惯性力进行测量，运用牛顿第二定律来获得物体的加速度值。加速度计在跟踪测量时会不可避免地产生一定噪声，影响跟踪结果的精确性。

（2）陀螺仪

陀螺仪由位于轴心且可旋转的转子构成，它以振动方式来实现驱动，如图11所示。陀螺仪驱动的同时，要在每秒0.01度到每秒几百度的范围内计算旋转量每秒的度数信息，但其噪声值高达每秒0.2度，因此需要进行外部测量其振动、温度和绝对位置信息。

图11 陀螺仪原理示意图

惯性式摄影机定位跟踪系统的优势，一方面，它不像光学式摄影机跟踪系统需要暴露在光学相机的捕捉视线内，跟踪设备的使用较灵活，可以用于户外的摄影机跟踪拍摄，还可应用于大范围的跟踪环境中。另一方面，惯性式系统集成速度快，易于使用，成本较低。

惯性式定位跟踪系统的传感器在捕获具有小加速度值的细微运动时，还是会存在干扰误差。此外，这些设备一旦达到其结构限制就会提供不准确的跟踪结果，在长时间的跟踪中会产生跟踪数据偏移。

因此，将惯性式低成本跟踪设备与光学式定位跟踪设备结合应用，形成混合的摄影机跟踪系统，能够解决光学式设备的遮挡问题和惯性设备的误差问题。通常光学系统遇到遮挡问题时长不会超过一秒钟，而惯性器件可以对如此短时间内的定位跟踪做出精确的补充。

2.2.4 声学式摄影机定位跟踪系统

声学式定位跟踪技术利用超声波来确定跟踪目标的位置和姿势信息，通过计算发射器发射脉冲信号到达另一端的接收器所用的时间，便可以得到发射器与接收器间的距离长度，追踪到目标的三维空间位置信息[14]。

超声跟踪系统不存在电磁干扰的问题，也不像电磁式跟踪系统易受临近电子设备或金属物体的影响，发射器和接收器轻便、易安装，在成本、系统便携度等方面相较于其他跟踪系统有较大的优势。

超声跟踪系统的限制是声音信号传输不能被遮挡，否则就会丢失跟踪数据，且易受到气压、湿度、干扰声音等外部环境的影响，从而导致跟踪准确性降低。另外，声波具有衰减特性，使得系统的跟踪范围受限，其跟踪范围远远低于光学式跟踪系统。由于超声遇障碍物反射易干扰自身定位，导致声学式系统的定位跟踪精度比其他系统要低。因此，声学式定位技术通常与其它的定位技术结合应用以改进系统性能，完成更高精度的定位[15]。

3总结

摄影机定位跟踪系统因其跟踪机制和跟踪原理的不同，拥有各自的优势和跟踪局限，可总结出不同摄影机定位跟踪系统的特性，如表1所示。

随着技术发展，应用不同跟踪定位原理可产生多种摄影机定位跟踪产品，产品质量良莠不齐，每一类产品适用的场景也有所不同。现有的摄影机定位跟踪系统分类中，光学式摄影机定位跟踪系统具有跟踪范围广、系统延时较低、跟踪精度较高和抗干扰能力强的优势，但其存在的最大问题是跟踪摄像机的遮挡问题和拍摄环境照度问题而导致跟踪信息丢失，而惯性式定位跟踪方式能够解决光学式设备的遮挡问题。因此，将惯性低成本跟踪设备与基于光学原理的摄影机定位跟踪系统结合起来应用，将大大提高摄影机定位跟踪系统的定位跟踪效果。

参考文献：略