|
ts文件为传输流文件，视频编码主要格式h264/mpeg4，音频为acc/MP3。 ts文件分为三层：ts层Transport Stream、pes层 Packet Elemental Stream、es层 Elementary Stream. es层就是音视频数据，pes层是在音视频数据上加了时间戳等对数据帧的说明信息，ts层就是在pes层加入数据流的识别和传输必须的信息
 注： 详解如下 TS流是基于Packet的位流格式，每个包是188个字节（或204个字节，在188个字节后加上了16字节的CRC校验数据，其他格式一样）。整个TS流组成形式如下： （1）ts层 ts包大小固定为188字节，ts层分为三个部分：ts header、adaptation field、payload。ts header固定4个字节；adaptation field可能存在也可能不存在，主要作用是给不足188字节的数据做填充；payload是pes数据。 ts header | sync_byte | 8b | 同步字节，固定为0x47 | | transport_error_indicator | 1b | 传输错误指示符，表明在ts头的adapt域后由一个无用字节，通常都为0，这个字节算在adapt域长度内 | | payload_unit_start_indicator | 1b | 负载单元起始标示符，一个完整的数据包开始时标记为1 | | transport_priority | 1b | 传输优先级，0为低优先级，1为高优先级，通常取0 | | pid | 13b | pid值 | | transport_scrambling_control | 2b | 传输加扰控制，00表示未加密 | | adaptation_field_control | 2b | 是否包含自适应区，'00’保留；'01’为无自适应域，仅含有效负载；'10’为仅含自适应域，无有效负载；'11’为同时带有自适应域和有效负载。 | | continuity_counter | 4b | 递增计数器，从0-f，起始值不一定取0，但必须是连续的 |
ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过hls流只要有PAT和PMT就可以播放了。 PID是TS流中唯一识别标志，Packet Data是什么内容就是由PID决定的。如果一个TS流中的一个Packet的Packet Header中的PID是0x0000，那么这个Packet的Packet Data就是DVB的PAT表而非其他类型数据（如Video、Audio或其他业务信息）。下表给出了一些表的PID值，这些值是固定的，不允许用于更改。
表 | PID 值 | PAT | 0x0000 | CAT | 0x0001 | TSDT | 0x0002 | EIT,ST | 0x0012 | RST,ST | 0x0013 | TDT,TOT,ST | 0x0014 |
adaption | adaptation_field_length | 1B | 自适应域长度，后面的字节数 | | flag | 1B | 取0x50表示包含PCR或0x40表示不包含PCR | | PCR | 5B | Program Clock Reference，节目时钟参考，用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。 | | stuffing_bytes | xB | 填充字节，取值0xff |
自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考，pcr、dts、pts都是对同一个系统时钟的采样值，pcr是递增的，因此可以将其设置为dts值，音频数据不需要pcr。如果没有字段，ipad是可以播放的，但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的，不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field，通常加在一个帧的第一个ts包和最后一个ts包里，中间的ts包不加。 
PAT格式 | table_id | 8b | PAT表固定为0x00 | | section_syntax_indicator | 1b | 固定为1 | | zero | 1b | 固定为0 | | reserved | 2b | 固定为11 | | section_length | 12b | 后面数据的长度 | | transport_stream_id | 16b | 传输流ID，固定为0x0001 | | reserved | 2b | 固定为11 | | version_number | 5b | 版本号，固定为00000，如果PAT有变化则版本号加1 | | current_next_indicator | 1b | 固定为1，表示这个PAT表可以用，如果为0则要等待下一个PAT表 | | section_number | 8b | 固定为0x00 | | last_section_number | 8b | 固定为0x00 | | 开始循环 |
|
| | program_number | 16b | 节目号为0x0000时表示这是NIT，节目号为0x0001时,表示这是PMT | | reserved | 3b | 固定为111 | | PID | 13b | 节目号对应内容的PID值 | | 结束循环 |
|
| | CRC32 | 32b | 前面数据的CRC32校验码 |
PAT定义及结构体  PMT格式 | table_id | 8b | PMT表取值随意，0x02 | | section_syntax_indicator | 1b | 固定为1 | | zero | 1b | 固定为0 | | reserved | 2b | 固定为11 | | section_length | 12b | 后面数据的长度 | | program_number | 16b | 频道号码，表示当前的PMT关联到的频道，取值0x0001 | | reserved | 2b | 固定为11 | | version_number | 5b | 版本号，固定为00000，如果PAT有变化则版本号加1 | | current_next_indicator | 1b | 固定为1 | | section_number | 8b | 固定为0x00 | | last_section_number | 8b | 固定为0x00 | | reserved | 3b | 固定为111 | | PCR_PID | 13b | PCR(节目参考时钟)所在TS分组的PID，指定为视频PID | | reserved | 4b | 固定为1111 | | program_info_length | 12b | 节目描述信息，指定为0x000表示没有 | | 开始循环 |
|
| | stream_type | 8b | 流类型，标志是Video还是Audio还是其他数据，h.264编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03 | | reserved | 3b | 固定为111 | | elementary_PID | 13b | 与stream_type对应的PID | | reserved | 4b | 固定为1111 | | ES_info_length | 12b | 描述信息，指定为0x000表示没有 | | 结束循环 |
|
| | CRC32 | 32b | 前面数据的CRC32校验码 |
PMT定义及结构体 pes层是在每一个视频/音频帧上加入了时间戳等信息，pes包内容很多，我们只留下最常用的。 
| pes start code | 3B | 开始码，固定为0x000001 | | stream id | 1B | 音频取值（0xc0-0xdf），通常为0xc0
视频取值（0xe0-0xef），通常为0xe0 | | pes packet length | 2B | 后面pes数据的长度，0表示长度不限制，
只有视频数据长度会超过0xffff | | flag | 1B | 通常取值0x80，表示数据不加密、无优先级、备份的数据 | | flag | 1B | 取值0x80表示只含有pts，取值0xc0表示含有pts和dts | | pes data length | 1B | 后面数据的长度，取值5或10 | | pts | 5B | 33bit值 | | dts | 5B | 33bit值 |
pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。 音频的pes中只有pts（同dts），视频的I、P帧两种时间戳都要有，视频B帧只要pts（同dts）。打包pts和dts就需要知道视频帧类型，但是通过容器格式我们是无法判断帧类型的，必须解析h.264内容才可以获取帧类型。 举例说明： I P B B B P 读取顺序： 1 2 3 4 5 6 dts顺序： 1 2 3 4 5 6 pts顺序： 1 5 3 2 4 6 点播视频dts算法： dts = 初始值 + 90000 / video_frame_rate，初始值可以随便指定，但是最好不要取0，video_frame_rate就是帧率，比如23、30。 pts和dts是以timescale为单位的，1s = 90000 time scale , 一帧就应该是90000/video_frame_rate 个timescale。 用一帧的timescale除以采样频率就可以转换为一帧的播放时长 点播音频dts算法： dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame这个值与编解码相关，aac取值1024，mp3取值1158，audio_sample_rate是采样率，比如24000、41000。AAC一帧解码出来是每声道1024个sample，也就是说一帧的时长为1024/sample_rate秒。所以每一帧时间戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。 直播视频的dts和pts应该直接用直播数据流中的时间，不应该按公式计算。 （3）es层 es层指的就是音视频数据，我们只介绍h.264视频和aac音频。 h.264视频： 打包h.264数据我们必须给视频数据加上一个nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定为0x00000001（帧开始）或0x000001（帧中）。h.264的数据是由slice组成的，slice的内容包括：视频、sps、pps等。nalu type决定了后面的h.264数据内容。 
| F | 1b | forbidden_zero_bit，h.264规定必须取0 | | NRI | 2b | nal_ref_idc，取值0~3，指示这个nalu的重要性，I帧、sps、pps通常取3，P帧通常取2，B帧通常取0 | | Type | 5b | 参考下表 |
| nal_unit_type | 说明 | | 0 | 未使用 | | 1 | 非IDR图像片，IDR指关键帧 | | 2 | 片分区A | | 3 | 片分区B | | 4 | 片分区C | | 5 | IDR图像片，即关键帧 | | 6 | 补充增强信息单元(SEI) | | 7 | SPS序列参数集 | | 8 | PPS图像参数集 | | 9 | 分解符 | | 10 | 序列结束 | | 11 | 码流结束 | | 12 | 填充 | | 13~23 | 保留 | | 24~31 | 未使用 |
红色字体显示的内容是最常用的，打包es层数据时pes头和es数据之间要加入一个type=9的nalu，关键帧slice前必须要加入type=7和type=8的nalu，而且是紧邻。 DVB搜台原理以及SDT表（Service Descriptor Table，业务描述表） 机顶盒先调整高频头到一个固定的频率(如498MHZ)，如果此频率有数字信号，则COFDM芯片(如MT352)会自动把TS流数据传送给MPEG- 2 decoder。 MPEG-2 decoder先进行数据的同步，也就是等待完整的Packet的到来.然后循环查找是否出现PID== 0x0000的Packet，如果出现了，则马上进入分析PAT的处理，获取了所有的PMT的PID。接着循环查找是否出现PMT，如果发现了，则自动进入PMT分析，获取该频段所有的频道数据并保存。如果没有发现PAT或者没有发现PMT，说明该频段没有信号，进入下一个频率扫描。 在解析TS流的时候，首先寻找PAT表，根据PAT获取所有PMT表的PID；再寻找PMT表，获取该频段所有节目数据并保存。这样，只需要知道节目的PID就可以根据PacketHeade给出的PID过滤出不同的Packet，从而观看不同的节目。这些就是PAT表和PMT表之间的关系。而由于PID是一串枯燥的数字，用户不方便记忆、且容易输错，所以需要有一张表将节目名称和该节目的PID对应起来，DVB设计了SDT表来解决这个问题。 该表格标志一个节目的名称，并且能和PMT中的PID联系起来，这样用户就可以通过直接选择节目名称来选择节目了。
SDT可以提供的信息包括: (1) 该节目是否在播放中 (2) 该节目是否被加密 (3) 该节目的名称
解复用模型 PAT/PMT与基本流ID之间的关系，如下图：
TS是Transport Stream 的缩写，全称则是MPEG2-TS。MPEG2-TS主要应用于实时传送的节目，比如实时广播的电视节目。 MPEG-2中规定TS传输包的长度为188 字节，包头为4个字节，负载为184个字节。但通信媒介会为包添加错误校验字节，从而有了不同于188字节的包长。例如： DVB 规定中，使用204字节作为包长: 1、通过调制器时，在每个传输包后增加了16 字节的里德所罗门前向纠错码，因而形成了204字节的数据包。调制后总存在204 字节的数据包。2、调制之前存复用器插入RS码或虚构的RS码。 ATSC规定中，使用208字节作为包长：添加20 字节的 RS（Reed-Solomon）前向纠错码。与DVB不同,ATSC规定RS码只能出现在调制的TS流中。 所有的TS包都分为包头和净荷部分。TS包中可以填入很多东西（填入的东西都是填入到净荷部分），有：视频、音频、数据（包括PSI、SI以及其它任何形式的数据）。 1、TS包包头 TS包的包头提供关于传输方面的信息：同步、有无差错、有无加扰、PCR（节目参考时钟）等标志。TS包的包头长度不固定，前32比特（4个字节）固定，后面可能跟有自适应字段（适配域）。32个比特（4个字节）是最小包头。 sync_byte （同步字节）：固定为0100 0111 (0x47)；该字节由解码器识别，使包头和有效负载可相互分离。 transport_error_indicator（传输错误指示）：'1’表示在相关的传输包中至少有一个不可纠正的错误位。当被置1后，在错误被纠正之前不能重置为0。 payload_unit_start_indicator（开始指示）：为1时，在前4个字节之后会有一个调整字节，其的数值为后面调整字段的长度length。因此有效载荷开始的位置应再偏移1+[length]个字节。 transport_priority（传输优先级）：'1’表明优先级比其他具有相同PID 但此位没有被置'1’的分组高。 PID：指示存储与分组有效负载中数据的类型。PID 值 0x0000—0x000F 保留。其中0x0000为PAT保留；0x0001为CAT保留；0x1fff为分组保留，即空包。 transport_scrambling_control（加扰控制）：表示TS流分组有效负载的加密模式。空包为'00’，如果传输包包头中包括调整字段，不应被加密。 adaptation_field_control（适配域控制）：表示包头是否有调整字段或有效负载。'00’为ISO/IEC未来使用保留；'01’仅含有效载荷，无调整字段；'10’ 无有效载荷，仅含调整字段；'11’ 调整字段后为有效载荷，调整字段中的前一个字节表示调整字段的长度length，有效载荷开始的位置应再偏移[length]个字节。空包应为'10’。 continuity_counter（连续性计数器）：随着每一个具有相同PID的TS流分组而增加，当它达到最大值后又回复到0。范围为0~15。 adaptation_field （自适应字段 ）：根据自适应控制字段填充负载。 2、节目专用信息PSI 当然，TS包也可以是空包。空包用来填充TS流，可能在重新进行多路复用时被插入或删除。 在系统复用时，视频、音频的ES流需进行打包形成视频、音频的 PES流，辅助数据（如图文电视信息）不需要打成PES包。PES包非定长，音频的PES包小于等于64K，视频的一般为一帧一个PES包。一帧图象的PES包通常要由许多个TS包来传输。MPEG-2中规定，一个PES包必须由整数个TS包来传输。如果承载一个PES包的最后一个TS包没能装满，则用填充字节来填满；当下一个新的PES包形成时，需用新的TS包来开始传输。 节目专用信息PSI(Program Specific Information） 管理各种类型的TS数据包，需要有些特殊的TS包来确立各个TS数据包之间的关系。这些特殊的TS包里所包含的信息就是节目专用信息。在不同的标准中它有不同的名字： · MPEG-2中称为PSI； · DVB标准根据实际需要，对PSI扩展，称为SI信息； · ATSC标准中为PSIP信息 MPEG-2中，规定的对PSI信息的描述方法有以下几种： 2.1 表Table 节目信息的结构性的描述； –节目关联表Program Association Table (PAT) 0x0000 –节目映射表Program Map Tables (PMT) PAT指定 –条件接收表Conditional Access Table (CAT) 0x0001 –网络信息表Network Information Table(NIT) 0x0010 –传送流描述表Transport Stream Description Table (TSDT) 2.2 节Section 将表格的内容映射到TS流中； 专用段 Private_ section 2.3 描述符Descriptor 提供有关节目构成（视频流、音频流、语言、层次、系统时钟和码率等多方面）的信息； ITU-T Rec.H.222.0|ISO /IEC 13818-1 中定义的 PSI表可被分成一段或多段置于传输流分组中。一段就是一个语法结构，用来将 ITU-T Rec.H.222.0|ISO /IEC 13818-1 中定义的 PSI表映射到传输流分组中。 3、常用的表格式 3.1 PAT表 TS流中包含一个或者多个PAT表。PAT表由PID为0x0000的TS包传送，其作用是为复用的每一路传送流提供出所包含的节目和节目编号，以及对应节目的PMT的位置即PMT的TS包的PID值，同时还提供NIT的位置，即NIT的TS包的PID的值。 table_id：固定为0x00，标志该表是PAT表。 section_syntax_indicator：段语法标志位，固定为1。 section_length：表示这个字节后面有用的字节数，包括CRC32。节目套数：（section length-9）/4 transport_stream_id：16位字段，表示该TS流的ID，区别于同一个网络中其它多路复用流。 version_number：表示PAT的版本号。 current_next_indicator：表示发送的PAT表是当前有效还是下一个PAT有效。 section_number：表示分段的号码。PAT可能分为多段传输，第一段为0，以后每个分段加1，最多可能有256个分段。 last_section_number：表示PAT最后一个分段的号码。 Program number：节目号 network_PID：网络信息表（NIT）的PID,节目号为0时对应ID为network_PID。 Program map PID：节目映射表（PMT）的PID号，节目号为大于等于1时，对应的ID为program_map_PID。一个PAT中可以有多个program_map_PID。 CRC_32：32位字段，CRC32校验码Cyclic RedundancyCheck。 
3.2 PMT表 PMT在传送流中用于指示组成某一套节目的视频、音频和数据在传送流中的位置，即对应的TS包的PID值，以及每路节目的节目时钟参考（PCR）字段的位置。 Table id ：固定为0x02，标志该表是PMT 表。 Section syntax indicator：对于PMT表，设置为1 。 Section length：表示这个字节后面有用的字节数，包括CRC32 。 Program number：它指出该节目对应于可应用的Program map PID 。 Version number：指出PMT 的版本号。 Current next indicator：当该位置’1’时，当前传送的Program map section可用；当该位置’0’时，指示当前传送的Program map section不可用，下一个TS流的Programmap section 有效。 Section number：总是置为0x00（因为PMT表里表示一个service的信息，一个section 的长度足够）。 Last section number：该域的值总是0x00 。 PCR PID：节目中包含有效PCR字段的传送流中PID 。 Program info length：12bit域，前两位为00。该域指出跟随其后对节目信息的描述的byte 数。 Stream type：8bit域，指示特定PID的节目元素包的类型。该处PID由elementary PID 指定。
|
