【原】关于视频编码的一点点研究。

今天的文章更多的是一种研究，因为最近研究视频发现了很多有趣的东西如果不记录下来可真的太可惜了。

按照老夫一贯的作风，这篇文章没有目录，别问，问就是不知道。

先来看看一些视频的信息，第一个视频为RX0M2，4K直出。

RX0M2的解析力是惊人的，这是局部的截图

更进一步的局部截图

这是编码的形式，首先看到的是12bit的位深度

子采样的格式为422，422了不得哦，相对于对色度空间全采样，这也是上面的视频截图看起来很好看的原因之一。

我也录制了一个1080的，没有防抖，真的看的吐了

这里的采样是420

可以看到对于一个远端的变压器，这个颜色从感官上瞬间就立分高下

这个是Google Pixel 4 的相机内的设置页面，本来是想拿这个视频来说明的，但是P4的数据线必须是Type-C的，插Dell不是很牢靠，这里我使用Pixel2来说明。

这雾霾灰真的是深得我心

这里是使用了高效的H265

这个是普通的编码模式

很朴素

我又使用4K的分辨率录制一次

采样率还是没有变化420

到这里就会看到，确实是手机这个拍摄的能力有点不太够。我这里换了Cinema-FV5这个录制软件。

这里是可以录制的分辨率，虽然最高是4K，但是效果不好，这也是为什么专业的摄影师不拿手机拍（笑死，我在说什么）

最个软件的界面感觉是属于大气的那种，但是对焦模式没有AF-S

华为有自动连续对焦，也就是在视频拍摄的时候就关注拍摄主体就好

对于安卓系统来说，很多东西都是固定的。

手机的音频支持情况

视频编码器

这个H.265=H.264+1，这个编码器是5.0的时候引入的

这么多手机支持的HEVC是什么？

H.264（也称为 AVC）还是用于优化质量和减小文件大小的首选编解码器。相较于 H.264，升级到 H.265（或 HEVC）要求更高的计算能力，但效率要高得多，并且以更低的比特率提供更好的视频质量。

HEVC/H.265 视频编解码器在 2017 年苹果全球开发者大会 (WWDC) 上达到了全球影响的临界点，苹果公司宣布 HEVC 编解码器为“下一代视频编解码器”。由于对 HEVC 的承诺，并且大多数移动芯片组中的硬件在发布时已经支持 HEVC 视频编码，视频提供商了解到，HEVC 编解码器已成为流视频的新视频压缩标准。

HEVC 与AVC 的对比：HEVC 编解码器的优势是什么？

来自苹果公司的公告：“就一个词：效率。主要是编码效率。HEVC 比 AVC 的效率大约高出 40%。这就意味着，用户将会看到启动速度有 40% 的大幅提升，并且，当播放器完全适应其方式后，他们将会看到内容质量也有 40% 的提升。正在使得 HEVC 广泛应用。

每家公司的 HEVC 与AVC 对比分析的答案可以归结为 HEVC 编解码器提供的两个基本优势：

HEVC 的效率大约是 AVC 的两倍
HEVC 支持 4K 和高动态范围
使用 HEVC 编解码器，可以在与 AVC 相同的带宽下获得更高的视频质量，或者可以使用 AVC 的一半带宽提供相同的质量。

也就是在保证质量不变或者更好的情况下让视频更加的小巧。

目前使用最为广泛的编码器的对比

右边是H265，可以看到对宏块的编码更加的灵活，这个东西也叫编码数单元

这个技术是增加的宏块大小。宏块定义为用于压缩计算的图像区域，较大的宏块可以有效地压缩高分辨率的视频。H.264仅允许16×16像素的宏块，这些宏块太小，以致于无法高效地播放1080p以上的视频。HEVC则提供64 x 64像素的宏块（现在称为编码树单元或CTU），从而在更高的分辨率下实现更高的编码效率。

另外一个改进是受益于分析单个帧内的“移动”，从而可以更有效地压缩单帧视频。这可以通过使用数学函数而不是实际像素值来描述像素布局来实现。该功能占用的空间少于像素数据，从而缩小文件大小。然而，编解码器必须支持足够高级的数学函数才能使该技术真正发挥作用。HEVC的帧间预测功能比H.264的更详细，前者支持33个方向的运动预测，而后者只支持9个方向。剩下的是并行计算改进了，我这里还在看。

给以上的编码技术总结一下：

编解码器使用各种先进的计算机技术来压缩视频数据，但我们需要重点理解的只有两种主要的压缩技术——空域压缩与时域压缩。

空域压缩是一种在单帧内缩减文件体积的技术。这种方法常被称为帧内压缩，它通过将像素编组并存储为单一色值来起效，这种编组称之为“块”(Blocks)。块这种形式占用的存储空间远少于逐个像素保存（尤其是当图像的大部分已是相似的颜色时）。然而，对于复杂且富有细节的图像，这种形式难免会带来一些质量损失。为了解决这一问题，许多编码使用了几乎各种形状与大小的灵活块(Flexible Blocks)，从而降低了肉眼可感知到的质量损失。
 
时域压缩，也称帧间压缩，是一种跨多帧缩减文件体积的技术。它使用同空域压缩一样的块压缩技术，但并非应用于每帧。相反的，时域压缩只保留连续的帧之间的不同之处。如果某个画面的一半在两帧之间是想同的，那么这种技术只保留第二帧中的新像素，同时把剩余未变的像素用第一帧中的填上。使用这种方法的编码被称为long-GOP(图像组，Group of Pictures)编码，这些编码存储信息极为高效，因为它们不需要存储每帧的所有部分。然而，由于每帧不包含完整的图像，在非顺序地使用这种素材——例如剪辑时，运算的性能开销将会更高。总得来说，使用时域压缩的编码非常适合在小空间内存储信息，但不太适合用于编辑。

我们上面的H265是对单帧之间的改进技术，当然了在多帧之间也有编码处理。

以及多次出现比特率

比特率。比特率衡量了某种编码在单位时间内所使用的数据量，通常表示为兆比特每秒（Mbps或Mb/s）。编码的比特率比任何其他因素都更能决定视频的视觉质量——比分辨率、你最爱的摄影机与镜头组合以及你细微的调色操作都更起决定作用。为什么？因为编解码器所能使用的数据量不能大于比特率。如果一个编码有10Mbps的比特率，那么2分钟的片段就只能使用1200Mb的存储空间（10Mbps*120秒），仅此而已。不管你拍摄的是720p还是8K，文件大小都是一样的。由于8K素材的像素数量是720p素材的36倍，如果将其设为与720p相同的比特率，则压缩至少比720p严重36倍。没错，8K的文件在参数上依然有着更高的分辨率，但看上去会很糟糕。因此当选择编码时，一定要测试比特率选项以确保它们能够重现项目所需的视觉质量水平，这是很关键的。
 
【注意：兆比特（Mb）与兆字节（MB）是不同的。8比特组成1字节。在前文的例子中，1200Mb等于150MB（1200Mb / 8bits = 150MB）。这种转换比例是不变的，同二进制前缀无关。】

现在来看一下:

关于SONY XAVC格式

这个是Sony的技术白皮书，看起来真的是狂的很。

索尼 XAVC 格式符合 H.264 5.2 级，该视频本质被封装在行业标准的 MXF OP-1a 包装器中，并伴有音频和元数据元素。采用 XAVC 格式的主要目标是开发一系列专业的制作工具，可以经济地处理高帧率 (HFR) HD 和 4K 成像格式。下图显示了 XAVC 格式的范围。请注意，此格式表描述了 XAVC 格式的全局范围。

此外，还引入了 MP4 包装格式并命名为 XAVC S 以服务于消费市场。这种扩展将鼓励消费市场中 4K 内容的增长。

中间这个

这个就是目前编码器的范围，最后一个代理剪辑

各种编码器的软件解码处理效率

显示了如何在给定的计算机平台上解码不同的压缩视频流，而无需借助任何硬件加速器或 GPU。水平刻度代表每秒帧数，很明显 MPEG2 50Mbps 是所有竞争者中最快（或最有效）的。

XAVC 格式符合 H.264 格式规范，索尼一直在努力提高图像质量，同时保持与其他制造商提供的产品的文件互操作性。下图显示了基于传统 KLV 结构的 XAVC 比特流。该比特流的一个关键要素是将 SPS（序列参数集）和 PPS（图片参数集）逐帧集成到比特流中。这允许记录设备动态优化每帧图像的图像质量，并且优化的图像设置值将在编辑后保持附加到图片文件中。它还有助于在随机访问播放期间优化图像质量。

XAVC 编码器具有预编码机制，有助于最大限度地利用允许压缩每个图像帧或流的数据。预编码机制被集成到软件和硬件编码器中。这种两阶段编码过程发生在高帧率录制和 4K 录制期间。

为了生产具有适度功耗的便携式摄像机，索尼开发了一种定制硬件芯片组，用于处理 XAVC 编码和解码过程。此外，该芯片组还具有编码/解码 MPEG2 的能力。多编解码器功能有望显着提高产品寿命价值。它将允许设施/设备所有者创建可以在 MPEG2 和 XAVC 之间轻松转换的服务基础设施。

这个在工作规范里面有，芯片的样子

这样

比特流结构

最后再放一次格式的概览

操作点命名

这篇文章差好多东西，分到下篇写。

https://pro.sony/en_NO/technology/xavc

https://assets.pro.sony.eu/Web/ngp/pdf/xavc-specification-overview.pdf

https://pro.sony/en_NO/technology/xavc/broadcast-xavc-white-paper

https://vflow.guide/books/%E7%9F%A5%E8%AF%86%E9%93%BE%E6%8E%A5/page/%E7%BC%96%E7%A0%81%E6%98%AF%E4%BB%80%E4%B9%88%EF%BC%9F