aac音频:
打包aac音频必须加上一个adts(Audio Data Transport Stream)头,共7Byte,adts包括fixed_header和variable_header两部分,各28bit。
fixed_header
syncword | 12b | 固定为0xfff |
id | 1b | 0表示MPEG-4,1表示MPEG-2 |
layer | 2b | 固定为00 |
protection_absent | 1b | 固定为1 |
profile | 2b | 取值0~3,1表示aac |
sampling_frequency_index | 4b | 表示采样率,0: 96000 Hz,1: 88200 Hz,2: 64000 Hz,3:48000 Hz,4: 44100 Hz,5: 32000 Hz,6: 24000 Hz,7: 22050 Hz,8: 16000 Hz,9: 12000 Hz,10: 11025 Hz,11: 8000 Hz,12: 7350 Hz |
private_bit | 1b | 固定为0 |
channel_configuration | 3b | 取值0~7,1: 1 channel: front-center,2: 2 channels: front-left, front-right,3: 3 channels: front-center, front-left, front-right,4: 4 channels: front-center, front-left, front-right, back-center |
original_copy | 1b | 固定为0 |
home | 1b | 固定为0 |
variable_header
copyright_identification_bit | 1b | 固定为0 |
copyright_identification_start | 1b | 固定为0 |
aac_frame_length | 13b | 包括adts头在内的音频数据总长度 |
adts_buffer_fullness | 11b | 固定为0x7ff |
number_of_raw_data_blocks_in_frame | 2b | 固定为00 |
mp3音频:
mp3音频不需要加adts头。
6.h264帧类型判断
当nalu type=5或1时,表示后面跟着的数据是视频数据,下面我们只列出前2项。
first_mb_in_slice | Golomb编码 | 一般为0,一个slice为一帧图像 |
slice_type | Golomb编码 | 帧类型,2、4、7、9表示I帧,0、3、5、8表示P帧,1、6表示B帧。 |
7.mp4转ts
我们假设mp4格式中的视频编码为h.264,音频编码为aac。我们从mp4中获取的视频信息包括:sps、pps、dts、pts、帧率、帧数据、ticks(每秒滴答数)。音频信息包括:pts、采样频率、声道数、帧数据。mp4文件的dts和ts文件的dts是需要进行换算的,都是初始值 + 增量,但是增量计算是不同的。
视频信息获取:
sps | stsd.avc1.avcC |
pps | stsd.avc1.avcC |
dts | stts |
pts | stts + ctts |
帧率 | 帧个数 / 总时长 |
timescale | trak.mdia.mdhd |
帧数据 | stsc + stco + stsz |
音频信息获取:
pts | stts |
采样频率 | trak.mdia.mdhd |
声道数 | stsd.mp4a |
帧数据 | stsc + stco + stsz |
8.mp4中关于h264和aac的说明
mp4的stsd原子中包含很多关键的音视频编解码元信息。对于视频数据,不同的编解码格式stsd中包含的子原子类型是不同的。MP4的视频H.264封装有2种格式:h264和avc1,只要看到这两个FOURCC(四字节编码)。就可以肯定是h.264编码,区别在于slice是否有起始码。对于音频数据,stsd中包含的子原子只会是mp4a,mp4a又包含了一个子原子esds,判断音频编码格式的是esds中的第十一个字节,如果是0x40则说明是aac编码,如果是0x69则说明是mp3。
AVC1 描述:H.264 bitstream without start codes.一般通过ffmpeg转码生成的视频,是不带起始码0×00000001的,但是带有4字节的长度。
H264 描述:H.264 bitstream with start codes.一般对于一下HDVD等电影的压制格式,是带有起始码0×00000001的。
除了avc1和h264还可能是下面的FOURCC,只是名字不同而已。
MEDIASUBTYPE_AVC1 'AVC1' H.264 bitstream without start codes.
MEDIASUBTYPE_H264 'H264' H.264 bitstream with start codes.
MEDIASUBTYPE_h264 'h264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.
MEDIASUBTYPE_X264 'X264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.
MEDIASUBTYPE_x264 'x264' Equivalent to MEDIASUBTYPE_H264, with a different FOURCC.