|
个人博客，如需转载，请注明来自DDingDreams的个人博客：http://www./wordpress/。
第一部分：Data Format and System Description
3D视频采用MVD（Multiview Video Plus Depth）数据格式，只将拍摄视点中的一小部分和相应深度图用于编码，编码后的比特流进行复用成3D视频码流。在解码端通过DIBR（Depth-Image-Based Rendering）技术进行合成中间视点，用于在3D显示设备上显示3D内容。为了进行视点合成，那么摄像机参数也要在比特流中进行传送。比特流的包中含有头信息，用于标识作用，比如传送参数集，比如视点标识以及视点指示位用以表示是否包含纹理图或者深度图等。其中的子比特流中可以仅仅包含某一些视点部分，通过丢弃其中一些不需要的比特流包可以获得子比特流，比如视点中的独立视点或者基视点，独立于其他视点采用HEVC的传统编码，包含独立视点的子比特流可以采用原始的HEVC解码器解码，并且可用于传统2D显示器。另外，编码器可以配置成两路视点而不包含深度图编码方式，其比特流可以提取出来独立解码成3D视频用于传统立体显示器显示。这套编解码器还可以用于编码无深度图的多视点视频信号，这种情况下，可采用IDW（Image Domain Warping）方式生成多视点信号。当配置成多视点加深度图编码器，纹理信号可以独立于深度图信号解码。
Figure1: Overview of the system structure and the data format for the transmission of 3D video
Figure1描述了系统的基本概念和数据格式，一般来说，编码器系统输入为多个视点,其对应的深度图,以及相应的摄像机参数。然而如上图所示,就算没有深度图，这套编解码器也是可操作的。3D视频编码器编码，是一种HEVC编码器的扩展，即基视点采用原始的HEVC编码器编码，而其他视点采用扩展HEVC编码，即3D-HEVC编码。通过3D-HEVC编码器后以二进制比特流表示编码后的输入视频和深度信号。如果采用3D-HEVC解码器进行解码，则可重建输入的视频和深度信号，以及摄像机参数。为了能在3D立体显示器上显示该内容，则需要利用重建的视频和深度信号合成额外的中间视点。若是3D视频解码器连的是传统的立体显示器，如果比特流中没有一组成对视点，那么视点合成器还是可以生成一组立体视点，这里，可以调整合成的立体视点，变成适合观看的立体几何视频。解码出的视点中任意一个或者任意虚拟视点都可以在传统单视点2D显示器上显示。
3D-HEVC的比特流组成中的代表基视点的子比特流，可以通过简单的方式进行提取。代表基视点的码流包可以通过传送参数集和包头进行判别和提取。代表基视点的子码流可以通过丢弃包含深度数据或者依赖视点的包进行提取，提取的子码流可以直接通过传统的HEVC解码器解码并可于传统2D视频显示器进行显示。
编码器可以配置只包含两路立体视频，其子码流提取出来可以直接通过立体视频解码器解码。编码器还可以配置成视点可以独立于深度数据解码的形式。合成中间视点可以只使用立体序列作为视点合成的输入序列。
第二部分介绍编码方案的细节，第三部分介绍DIBR算法。
|
