ffmpeg视频格式和结构体

1 视频

1.1 视频像素格式

• ARGB_8888 : 常见的图像像素编码格式，用 4 个字节分别存储图像的 A 透明度信息， R 红色通道信 息， G 绿色通道信息， B 蓝色通道信息。
• YUV : YUV像素格式来源于RGB像素格式，通过公式运算，YUV三分量可以还原出RGB，YUV转RGB的 公式如下:

R = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U

一般，将 RGB 和 YUV 的范围均限制在 [0, 255] 间，则有如下转换公式:

R = Y + 1.403(V - 128)
G = Y - 0.344(U - 128) - 0.714(V - 128) 
B = Y + 1.770(U - 128)

YUV 格式根据采样方式不同又分为 YUV444 , YUV422 , YUV420 具体可以详细查询相关细节。

1.2 视频压缩格式

2 音频

2.1 音频采样数据格式

3 FFmpeg 中几个重要的结构体

结构体一 AVPacket

// C
typedef struct AVPacket {
   AVBufferRef *buf; //用来管理data指针引用的数据缓存
   int64_t pts; //显示时间，结合AVStream->time_base转换成时间戳
   int64_t dts; //解码时间，结合AVStream->time_base转换成时间戳
   uint8_t *data; //★指向保存压缩数据的指针，这就是AVPacket的实际数据
   int size; //data的大小
   int stream_index; //packet在stream的index位置
   int flags; //标示，结合AV_PKT_FLAG使用，其中最低为1表示该数据是一个关键帧。
   /*
    * flags 可选:
    * #define AV_PKT_FLAG_KEY 0x0001 //关键帧
    * #define AV_PKT_FLAG_CORRUPT 0x0002 //损坏的数据
    * #define AV_PKT_FLAG_DISCARD 0x0004 /丢弃的数据
    */
   AVPacketSideData *side_data; //容器提供的一些附加数据
   int side_data_elems; //边缘数据元数个数
   int64_t duration; //数据的时长，以所属媒体流的时间基准为单位，未知则值为默认值0 
   int64_t pos; //数据在流媒体中的位置，未知则值为默认值-1
#if FF_API_CONVERGENCE_DURATION
   attribute_deprecated
   int64_t convergence_duration; //该字段已deprecated,不在使用 
#endif
} AVPacket;

• AVPacket 结构体定义在 <libavcodec/avcodec.h> 中，看源码英文注释去这里找。
• 简介: AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用(demuxer)之后，解码 (decode)之前的数据(仍然是压缩后的数据)和关于这些数据的一些附加的信息，如显示时间 戳(pts)，解码时间戳(dts),数据时长(duration)，所在流媒体的索引(stream_index)等 等。

结构体二 AVFrame

• AVFrame 结构体定义在 <libavutil/frame.h> ，看源码去这里找，略长不粘。
• 简介: AVFrame中存储的是经过解码后的原始数据。在解码中，AVFrame是解码器的输出;在编码 中，AVFrame是编码器的输入。

结构体三 AVFormatContext

• AVFormatContext 结构体定义在 <libavformat/avformat.h> 中，看源码去这里找，略长不粘。
• 简介:在使用 FFmpeg 进行开发的时候，AVFormatContext 是一个贯穿始终的数据结构，很多函数 都要用到它作为参数。它是 FFmpeg 解封装(flv，mp4，rmvb，avi)功能的结构体。下面看几个 主要变量的作用(在这里考虑解码的情况):

// C
struct AVInputFormat *iformat; //输入数据的封装格式
AVIOContext *pb; //输入数据的缓存
unsigned int nb_streams; //视音频流的个数
AVStream **streams; //视音频流
char filename[1024]; //文件名
int64_t duration; //时长(单位:微秒ms，转换为秒需要除以1_000_000)
int bit_rate; //比特率(单位bps，转换为kbps需要除以1_000) AVDictionary *metadata; //元数据

结构体四 AVCodecContext

• AVCodecContext 结构体定义在 <libavcodec/avcodec.h> 中，看源码去这里找，略长不粘。
• 简介: 一些关键的变量来看看(这里只考虑解码)。

// C
enum AVMediaType codec_type; //编解码器的类型(视频，音频...)
struct AVCodec *codec; //采用的解码器AVCodec(H.264,MPEG2...)
int bit_rate; //平均比特率
uint8_t *extradata; int extradata_size; //针对特定编码器包含的附加信息(例如对于H.264解码器来 说，存储SPS，PPS等)
AVRational time_base; //根据该参数，可以把PTS转化为实际的时间(单位为秒s)
int width, height; //如果是视频的话，代表宽和高
int refs; //运动估计参考帧的个数(H.264的话会有多帧，MPEG2这类的一般就没有了)
int sample_rate; //采样率(音频)
int channels; //声道数(音频)
enum AVSampleFormat sample_fmt; //采样格式
int profile; //型(H.264里面就有，其他编码标准应该也有)
int level; //级(和profile差不太多)

重要结构体之间的关系

FFmpeg 中结构体很多。最关键的结构体可以分成以下几类:

解协议(http, rtsp, rtmp, mms) AVIOContext ，URLProtocol ，URLContext 主要存储视音频使用的协议的类型以及状态。URLProtocol 存 储输入视音频使用的封装格式。每种协议都对应一个 URLProtocol 结构(注意:FFmpeg 中文件也被当 做一种协议 “file” )。

解封装(flv, avi, rmvb, mp4) AVFormatContext 主要存储视音频封装格式中包含的信息; AVInputFormat 存储输入视音频使用的封装格 式。每种视音频封装格式都对应一个 AVInputFormat 结构。

解码(h264, mpeg2, aac, mp3) 每个 AVStream 存储一个视频/音频流的相关数据;每个 AVStream 对应一个 AVCodecContext ，存储该视 频/音频流使用解码方式的相关数据;每个 AVCodecContext 中对应一个 AVCodec ，包含该视频/音频对应 的解码器。每种解码器都对应一个 AVCodec 结构。

存数据 视频的话，每个结构一般是存一帧;音频可能有好几帧 解码前数据:AVPacket 解码后数据:AVFrame