------------------------------
H.264的NAL层处理
------------------------------ 处理过程一,VCL数据封装成NALU ---------------------------------------------------
处理过程二,NALU的RTP打包 ------------------------------------------------ 一、NALU打包成RTP的方式有三种:
1. 单一 NAL 单元模式
2. 组合封包模式
3. 分片封包模式
还记得前面nal_unit_type的定义吧,0~23是给H264用的,24~31未使用,在rtp打包时,如果一个NALU放在一个RTP包里,可 以使用NALU的nal_unit_type,但是当需要把多个NALU打包成一个RTP包,或者需要把一个NALU打包成多个RTP包时,就定义新的 type来标识。
Type Packet Type name
二、三种打包方式的具体格式 1 .单一 NAL 单元模式
对于 NALU 的长度小于 MTU 大小的包, 一般采用单一 NAL 单元模式.
NALU 单元的开始, 必须是 "00 00 00 01" 或 "00 00 01", NALU 头仅一个字节, 其后都是 NALU 单元内容.
0 1 2 3
[00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ] 这是一个序列参数集 NAL 单元. [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 内容. 封装成 RTP 包将如下: [ RTP Header ] [ 67 42 A0 1E 23 56 0E 2F ] 即只要去掉 4 个字节的开始码就可以了.
其次, 当 NALU 的长度特别小时, 可以把几个 NALU 单元封在一个 RTP 包中.
而当 NALU 的长度超过 MTU 时, 就必须对 NALU 单元进行分片封包. 也称为 Fragmentation Units (FUs). Figure 14. RTP payload format for FU-A
FU indicator有以下格式: 三、拆包和解包
拆包:当编码器在编码时需要将原有一个NAL按照FU-A进行分片,原有的NAL的单元头与分片后的FU-A的单元头有如下关系: 四、代码实现 从RTP包里面得到H264视频数据的方法:
// 功能:解码RTP H.264视频 // 参数:1.RTP包缓冲地址 2.RTP包数据大小 3.H264输出地址 4.输出数据大小 // 返回:true:表示一帧结束 false:FU-A分片未结束或帧未结束 #define RTP_HEADLEN 12 bool UnpackRTPH264( void * bufIn, int len, void ** pBufOut, int * pOutLen) { * pOutLen = 0 ; if (len < RTP_HEADLEN) { return false ; } unsigned char * src = (unsigned char * )bufIn + RTP_HEADLEN; unsigned char head1 = * src; // 获取第一个字节 unsigned char head2 = * (src + 1 ); // 获取第二个字节 unsigned char nal = head1 & 0x1f ; // 获取FU indicator的类型域, unsigned char flag = head2 & 0xe0 ; // 获取FU header的前三位,判断当前是分包的开始、中间或结束 unsigned char nal_fua = (head1 & 0xe0 ) | (head2 & 0x1f ); // FU_A nal bool bFinishFrame = false ; if (nal == 0x1c ) // 判断NAL的类型为0x1c=28,说明是FU-A分片 { // fu-a if (flag == 0x80 ) // 开始 { * pBufOut = src - 3 ; * (( int * )( * pBufOut)) = 0x01000000 ; // zyf:大模式会有问题 * (( char * )( * pBufOut) + 4 ) = nal_fua; * pOutLen = len - RTP_HEADLEN + 3 ; } else if (flag == 0x40 ) // 结束 { * pBufOut = src + 2 ; * pOutLen = len - RTP_HEADLEN - 2 ; } else // 中间 { * pBufOut = src + 2 ; * pOutLen = len - RTP_HEADLEN - 2 ; } } else // 单包数据 { * pBufOut = src - 4 ; * (( int * )( * pBufOut)) = 0x01000000 ; // zyf:大模式会有问题 * pOutLen = len - RTP_HEADLEN + 4 ; } unsigned char * bufTmp = (unsigned char * )bufIn; if (bufTmp[ 1 ] & 0x80 ) { bFinishFrame = true ; // rtp mark } else { bFinishFrame = false ; } return bFinishFrame; }
//功能:解RTP AAC音频包,声道和采样频率必须知道。 //参数:1.RTP包缓冲地址 2.RTP包数据大小 3.H264输出地址 4.输出数据大小 //返回:true:表示一帧结束 false:帧未结束 一般AAC音频包比较小,没有分片。 bool UnpackRTPAAC(void * bufIn, int recvLen, void** pBufOut, int* pOutLen) { unsigned char* bufRecv = (unsigned char*)bufIn; //char strFileName[20]; unsigned char ADTS[] = {0xFF, 0xF1, 0x00, 0x00, 0x00, 0x00, 0xFC}; int audioSamprate = 32000;//音频采样率 int audioChannel = 2;//音频声道 1或2 int audioBit = 16;//16位 固定 switch(audioSamprate) { case 16000: ADTS[2] = 0x60; break; case 32000: ADTS[2] = 0x54; break; case 44100: ADTS[2] = 0x50; break; case 48000: ADTS[2] = 0x4C; break; case 96000: ADTS[2] = 0x40; break; default: break; } ADTS[3] = (audioChannel==2)?0x80:0x40; int len = recvLen - 16 + 7; len <<= 5;//8bit * 2 - 11 = 5(headerSize 11bit) len |= 0x1F;//5 bit 1 ADTS[4] = len>>8; ADTS[5] = len & 0xFF; *pBufOut = (char*)bufIn+16-7; memcpy(*pBufOut, ADTS, sizeof(ADTS)); *pOutLen = recvLen - 16 + 7; unsigned char* bufTmp = (unsigned char*)bufIn; bool bFinishFrame = false; if (bufTmp[1] & 0x80) { //DebugTrace::D("Marker"); bFinishFrame = true; } else { bFinishFrame = false; } return true; } |
|