分享

H264视频传输、编解码

 此时此刻的你我 2020-03-31

视频其实就是播放一系列连续的图片,让人眼产生连续运动的感觉;
视频的传输,如果是全部的进行图片的传输,对当前的网络和存储来说是不可接受的。其实视频连续的几帧数据之间有很多重复数据,如果将重复的数据在发送端去掉,那么可以节约很多带宽和存储空间。因此有了各种视频压缩标准,比如H.264,H.265,MJPEG等。

减少数据量的基本方法

可以减少一帧图像内或者一系列图像帧之间的不必要的重复数据,但是这样会造成分辨率的下降。
在一系列的帧内,可以通过差分编码这样的方法来减少视频数据量,包括H.264在内的大多数视频压缩标准都采用这种方法。在差分编码中,会将一个帧与参考帧(即前面的I帧或P帧)进行对比,然后只对那些相对于参考帧来说发生了变化的像素进行编码。通过这种方法,可以降低需要进行编码和发送的像素值。例如下面的例子:
这里写图片描述

  1. 如果使用J-MPEG进行编码的话,上面的三幅图片将分别作为独立的图像进行编码和发送。
  2. 如果使用H264,将会使用差分编码,只有第一个图像(I帧)是将全帧图像信息进行编码,第二第三幅图像,将只对变化的部分进行编码发送。如下图:
    这里写图片描述
    这就是H264压缩编码的基本原理,可以减少大量数据的发送。基于这种原理,就产生了H264的I帧、P帧、B帧。
    H264序列,在H264中图像以序列为单位进行组织传输,一个序列是一段图像编码后的数据流,以I帧开始,到下一个I帧结束。
    IDR帧:一个序列的第一个图像叫做 IDR 图像(立即刷新图像),IDR 图像都是 I 帧图像。H.264 引入 IDR 图像是为了解码的重同步,当解码器解码到 IDR 图像时,立即将参考帧队列清空,将已解码的数据全部输出或抛弃,重新查找参数集,开始一个新的序列。这样,如果前一个序列出现重大错误,在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。
    I帧:帧内编码帧 ,I帧表示关键帧,你可以理解为这一帧画面的完整保留;解码时只需要本帧数据就可以完成(因为包含完整画面),无需参考其他帧。

它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输
解码时仅用I帧的数据就可重构完整图像
I帧描述了图像背景和运动主体的详情
I帧不需要参考其他画面而生成
I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量)
I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧
I帧不需要考虑运动矢量
I帧所占数据量比较大

P帧:前向预测编码帧。P帧表示的是这一帧跟之前的一个关键帧(或P帧)的差别,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面。(也就是差别帧,P帧没有完整画面数据,只有与前一帧的画面差别的数据)

P帧是I帧后面相隔1~2帧的编码帧
P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差)
解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像
P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧
P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧
由于P帧是参考帧,它可能造成解码错误的扩散
由于是差值传送,P帧的压缩比较高

B帧:双向预测内插编码帧。B帧是双向差别帧,也就是B帧记录的是本帧与前后帧的差别(具体比较复杂),换言之,要解码B帧,不仅要取得之前的缓存画面,还要解码之后的画面,通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高,但是解码时CPU会比较累。

B帧是由前面的I或P帧和后面的P帧来进行预测的
B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量
B帧是双向预测编码帧
B帧压缩比最高,因为它只反映丙参考帧间运动主体的变化情况,预测比较准确
B帧不是参考帧,不会造成解码错误的扩散

I、B、P各帧是根据压缩算法的需要,一般来说,I帧的压缩率是7(跟JPG差不多),P帧是20,B帧可以达到50。可见使用B帧能节省大量空间,节省出来的空间可以用来保存多一些I帧,这样在相同码率下,可以提供更好的画质。

关键帧间隔
一个序列就是一段内容差异不太大的图像编码后生成的一串数据流。当运动变化比较少时,一个序列可以很长,因为运动变化少就代表图像画面的内容变动很小,所以就可以编一个I帧,然后一直P帧、B帧了。当运动变化多时,可能一个序列就比较短了,比如就包含一个I帧和3、4个P帧,然后就是下一个序列。
如果增加关键帧之间的时间,该文件大小会减小。如果减少关键帧之间的时间,该文件大小则增加。如果视频内容主要是静态的场景,关键帧间隔可以大一点。对于运动的场景,关键帧间隔需要小一点。

GOP(Group of pictures )画面组:

一个GOP是一组连续的画面。GOP结构一般两个数字,如M=3,N=12。M指定I帧和P帧之间的距离,N指定两个I帧之间的距离。上面的M=3,N=12,GOP结构为:IBBPBBPBBPBBI。在一个GOP内I frame解码不依赖任何的其它帧,p frame解码则依赖前面的I frame或P frame,B frame解码依赖前最近的一个I frame或P frame 及其后最近的一个P frame。

视频监控系统中预览的视频画面是实时的,对画面的流畅性要求较高。采用I帧、P帧进行视频传输可以提高网络的适应能力,且能降低解码成本所以现阶段的视频解码都只采用I帧和P帧进行传输。海康摄像机编码,I帧间隔是50,含49个P帧。

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多