ffmpeg-note

资料:

  • trac.ffmpeg.org
  • ffmpeg.org/documentation
  • 《深入理解ffmpeg》(刘歧)
  • TODO
    精力占比 学习方向 为什么重要
    30% FFmpeg 的 libavcodec API 开发 如果你要做播放器、转码服务,必须懂 avcodec_send_packet / avcodec_receive_frame 的调用流程,以及如何处理 B 帧导致的 PTS/DTS 倒序。
    30% 滤镜(Filter)系统 笔记只涉及了编码,但实际转码往往需要缩放(scale)、裁剪(crop)、叠加水印(overlay)。需要掌握 libavfilter 的 AVFilterGraph。
    20% 自适应码率(ABR)与封装 把编码与之前的 fMP4/HLS 结合,研究如何生成多码率阶梯(如 1080p@5M, 720p@2.5M),并写入 master.m3u8。
    20% 编码器调优进阶 深入 x264/x265 的 -x264-params 高级参数(如 ref、me、subme、aq-mode),以及 AV1 编码器(libaom/svt-av1)的现状。

ffmpeg

Linux 平台编译

需要nasm汇编器对FFmpeg中的汇编部分进行编译

在 FFmpeg 项目的源码目录中经过配置后执行 make 即可开始编译

数据组织

对于数据组织,需要理解以下概念:

  1. 文件
    • 从操作系统的角度来看,文件就是磁盘上的一串字节,有文件名、扩展名、大小、路径。但是扩展名只是一种约定/提示,不决定文件内部的真实内容。
    • 常使用 ffprobe 来查看真实格式
  2. 容器/封装格式
    • container / wrapper format
    • 定义:如何把多条编码后的音视频流、字幕流、元数据、索引、时间戳组织在一个文件里。一般会有一个特定的后缀名标识。
    • 实际上是数据的一种组织形式,不负责压缩视频和音频
      如,mp4实际上是容器,H.264是一种音视频编码,acc是音频编码,而mp4是能够装载这些编码的容器
  3. 封装/解封装
    • muxing/demuxing 复用/解复用
    • muxing: 把编码后的视频流、音频流、字幕流,按照某种容器规范,写成一个文件。
    • demuxing: 从一个容器文件里,把视频流、音频流、字幕流分离出来。
      ffmpeg 中 -f mp4 表示输出容器为 mp4
    • -c copy 不重新编码,只是把流从旧容器复制到新容器,这叫做 转封装
      ffmpeg -i input.mp4 -c copy output.mkv 不改变容器内的数据与编码形式,通常来讲,数据效果不变
  4. 编码/解码
    • encoding/decoding 编码/解码
    • encoding: 把原始音视频数据压缩成更小的码流
    • decoding: 把压缩码流还原成原始帧或音频样本,供播放、渲染、处理
    • 编码格式是规则,编解码器 codec是实现这个规则的库或程序
      • 大部分请况下指的是一种 压缩标准 如:AVC/H.264 HEVC/H.265 VCC/H.266 等
    • 如果重新编码,就叫做 转码 过程慢,可能损失画质,但可以改变编码格式、分辨率、码率等
  5. 流、轨道、包、帧
    • 一个容器里可以有多条流,也称为轨道
    • 流:容器中的一条独立数据通道,存储诸如:音频(Audio)、视频(Video)、字幕(Subtitle)等数据
    • 包 Packet:编码后的小块数据,带时间戳;
    • 帧 Frame:解码后的原始图像或音频样本;
    • PTS / DTS:时间戳,用于同步和播放顺序;
    • 元数据:一般位于容器之中,传递一些额外信息
概念 是什么 例子
文件 字节序列,外层载体 input.mp4
容器格式 组织多流和元数据的规范 MP4、MKV、TS
封装 把流写入容器的动作 muxing
编码格式 压缩音视频的规则 H.264、AAC
编解码器 实现编码格式的库/程序 libx264、libx265
流 容器里的独立通道 视频流、音频流
帧/包 解码后帧 / 编码后包 frame、packet
  • 容器 ≠ 编码:MP4 不是编码,H.264 不是容器;
  • 封装 ≠ 编码:封装不改变压缩数据;
  • 转封装 ≠ 转码:-c copy 是转封装,-c:v libx264 是转码;
  • 扩展名 ≠ 实际格式:要用 ffprobe 探测。
1
2
3
4
5
文件
└── 容器 / 封装格式
└── 流 / 轨道
└── 编码格式
└── 包 / 帧 / 样本

基础模块

ffmpeg 基础模块
ffmpeg basic modul

有以下基本模块:

  • AVFormat
    • 是封装模块,实现了目前多媒体领域中的绝大多数媒体封装格式,包括封装器(Muxer)和解封装器(Demuxer)
    • FFmpeg是否支持某种媒体封装格式,取决于编译时是否包含该格式的Muxer/Demuxer
    • FFmpeg也支持根据框架要求添加自己的Muxer/Demuxer
  • AVCodec
    • 是编解码模块,实现了目前多媒体领域绝大多数常用的编解码格式,既支持编码(Encoding),也支持解码(Decoding)
    • FFmpeg也支持根据自己的需要添加新的编解码模块
  • AVFilter
    • 滤镜模块,是一个通用的音频、视频、字幕等滤镜处理框架,可以有多个输入和输出
    • 构成规则
      • 相同滤镜的线性链用逗号,分隔,将前一个滤镜的输出给后一个滤镜使用
      • 不同滤镜的线性链之间用分号;分隔,分隔不同的滤镜或分支
      • 方括号[name],给连接点打标签,相当于变量名
      • 有些过滤器的输入是一个参数列表,参数列表被指定在过滤器名称和一个等号之后,并且用冒号分开。
        也存在没有音频、视频输入的源过滤器(即source filter),以及不会有音频、视频输出的汇集过滤器(即sink filter)
      • 可以通过 ffmpeg -filters 列出所有支持的滤镜,通过 ffmpeg -h filter=filter_name 列出某个滤镜的参数
  • AVDevice
    • 提供了一些常用的输入输出设备的处理框架
    • AVDevice还有一个名为 lavfi 的 虚拟输入设备 ,
      它允许使用libavfilter的滤镜链或表达式作为 8输入或输出设备*。
      通过它,可以很方便地生成很多“假”的音频(如某一频率的声音或高斯白噪声)和视频流(如纯色或渐变的RGB图像序列等)。
      该设备在作为示例或测试时很常用
  • AVUtil
  • swresample
    • 音频转换计算模块
    • 重采样:执行 改变音频采样率 的处理,例如从44 100Hz的高采样率转换到8000Hz的低采样率。
      从高采样率到低采样率的音频转换是一个有损失的过程,该库有多个重采样选项和算法可用。
    • 格式转换:执行 采样类型的转换过程 ,例如从16位有符号采样格式转换为无符号8位或浮点类型的采样格式。
      它还处理 打包转换 ,如从打包布局变换到平面布局。
    • Rematrixing: 改变通道布局的过程,例如从立体声到单声道。
      当输入通道数量 多于 输出通道数量时,这个过程是 有损失的 ,因为它涉及不同的增益因子和混合。
  • swscale
    • 视频图像转换计算模块
    • 提供了底层的图像转换API接口,它允许进行图像缩放和像素格式转换
    • 重新缩放:即改变视频尺寸的处理,其有几个重新缩放的选项和算法可用。
      与此同时,需要注意缩放通常是一个有损失的过程,缩放也需要在图像质量、缩放性能等限定条件下进行折中权衡。
    • 像素格式转换:这是 转换图像格式和图像色彩空间 的过程,例如从平面格式的YUV420P到RGB24打包格式。
      它还处理 打包转换 ,即从打包布局(所有属于不同平面的像素交错在同一个缓冲区,如RGB格式)转换为平面布局(所有属于同一平面的采样数据存储在一个专门的缓冲区或“平面”,如YUV420P)。
      如果源和目的 色彩空间不同 ,这通常也是一个 有损失 的过程。

工作流程

  • 主要流程
    • 解封装 Demuxing (解复用)
    • 解码 Decoding
    • [流处理]
    • 编码 Encoding
    • 封装 Muxing (复用)

ffmpeg主要工作流程
ffmpeg-main-workflow

  • 制作文件

    • 原始视频帧 -> 视频编码器 -> 视频码流
    • 原始音频样本 -> 音频编码器 -> 音频码流
    • 视频码流 + 音频码流 + 字幕 + 元数据 -> 封装器 -> 容器文件
  • 播放文件

    • 容器文件 -> 解封装器 -> 视频码流 / 音频码流
    • 视频码流 -> 视频解码器 -> 原始视频帧 -> 渲染
    • 音频码流 -> 音频解码器 -> PCM 样本 -> 播放
  • 转码

    • 解封装 -> 解码 -> 滤镜处理 -> 重新编码 -> 重新封装
  • 转封装

    • 解封装 -> 再直接封装,不需要重新编码

FFmpeg特性的选择与定制

FFmpeg所做的是提供一套基础的框架,所有的编码格式、文件封装格式与流媒体协议可以作为FFmpeg的模块挂载在FFmpeg框架中,
这些模块可以以第三方外部库的方式提供支持,也可以选择直接与FFmpeg一体,成为FFmpeg原生实现的一部分。
通过FFmpeg源码的configure命令,可以查看FFmpeg支持的音视频编码格式、文件封装格式与流媒体传输协议,
对于FFmpeg不支持的格式,可以通过configure –help查看是否有第三方外部库支持,然后通过增加对应的编译参数选项进行支持。

FFmpeg默认支持的音视频编码格式、文件封装格式与流媒体传输协议比较多,因此编译的FFmpeg文件较大。
而在有些应用场景中并不需要FFmpeg支持如此多的编码、封装或者协议,
为了减小最终编译出来的库的体积(如在手机端等须注意最终包大小的场景等),
这时候可以通过configure –help查看一些有用的选项以用作后续的裁减。

ffmpeg cli

ffmpeg的常见命令大概分为以下6个部分

  • ffmpeg信息查询 部分
    • ffmpeg -formats/encoders/decoders/codecs/filters 的方式,查看支持的容器/编解码器/滤镜的简介
    • ffmpeg -h encoder/decoder/muxer/demuxer/ filter=xxx 的方式,查看具体容器、编解码器、滤镜的详细参数
  • 公共操作参数 部分
  • 文件主要操作参数 部分
  • 视频操作参数 部分
  • 音频操作参数 部分
  • 字幕操作参数 部分

封装与解封装

(format) muxer & demuxer

目前的网络流容器格式以 MPEG 容器格式为主流
MPEG容器格式是一个 树形 Box 结构

容器格式是一种允许将单个或多个音频、视频、字幕等数据流存入单个文件的文件格式,
通常伴随着用于识别和进一步详细说明这些数据流的元数据,元数据一般被存储在文件的头部,有时候也被称为音视频关键数据索引。

较简单的容器格式可以包含不同类型的音频、视频流,
而更高级的容器格式可以支持多个音频和视频流、字幕、章节信息、元数据(或称为标签),以及播放各种类型的流所需的同步信息。

容器需要解决的问题
problem-format-must-resolve

容器设计至少需要考虑以下问题:

  • 捕获视频图像、音频信号。
  • 文件的交换与下载,包括增量下载与播放。
  • 本地播放。
  • 编辑、组合、快速定位与搜索等。
  • 流式播放及拉流录制。

视频文件转 MP4 格式

MP4文件分为两个主要部分:

  • 元数据 (moov)
    • 包含通用信息
      • 如:每个音频、视频帧的时间信息和偏移量等
  • 音视频数据 (mdat)
    • 包含视频和音频帧,通常以交错顺序存放

MP4 中没有以 起始码 作为前缀,而是使用长度
MP4 文件格式的基础是 ISO BMFF (ISO Basic Media File Format) ,最初源自于苹果的 QuickTime 文件格式
MP4 文件格式中包括多个子容器,每个子容器在标准中都称为 box 或 atom 在交流时通常不翻译为容器、盒子、箱子。
(moov mdat 都是box)

ISO BMFF文件格式包含结构和媒体数据信息,主要用于媒体数据的时序化展示,如音频、视频等;也支持非时序化的数据,如元数据。

MP4标准间的关系
MP4-standard-relation

MP4(ISO Base Media File Format,ISO/IEC 14496-12)中所有多字节整数字段都按大端序(Big-Endian)序列化
包括 box 头里的 size、largesize,以及各种 box 内部的 16/32/64 位整数字段。没有 little-endian 的标准变体

MP4文件由许多box与FullBox组成,基本结构如下

  • |size|type| 组成共8Byte的header
    • size 是块包含头的总大小
    • type 是 FourCC 标签,moov与mdat存放在这里
  • |data| 是box块的实际数据,可以是媒体数据,也可以是多个子box
    • box 可以分层嵌套,此时,该box也称为 Container box (容器box)
  • header包含了整个box的长度大小(size)和类型(type),类型是一个典型的4字符的标签,一般被称为 FourCC
    当size等于0时,代表这个box是文件的最后一个box;
    当size等于1时,说明box长度需要更多的位来描述,在后面会定义一个64位的largesize来描述box的长度
    当type为uuid时,说明这个box中的数据是用户自定义扩展类型
  • FullBox是box的扩展,以box结构为基础,在header中添加8bit的version标志和24bit的flags标志,以确保能灵活扩展(version),flags标志在特定的FullBox中定义

box

4Byte 4Byte size - 8Byte Byte
size type data

扩展box

4Byte 4Byte 8Byte largesize - 16Byte Byte
size == 0x01 type largesize data

嵌套box

4Byte 4Byte size - 8Byte Byte
size type data:(|box|box|box|…|)

box的大小至少是 4+4=8 Byte (size+type)

在互联网的视频点播中,如果希望MP4文件被快速打开,则需要将moov存放在mdat的前面,
如果放在后面,需要将MP4文件下载完成后才可以进行播放。
从实践的角度看,moov放在文件头部更为合适一些。当然,在实际生成MP4文件时,由于moov中的一些信息事先无法预测,
需要在文件即将结束时才能获取到,所以一般都是在生成完毕后再移动到文件头部的。

box与FullBox的严格定义

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
aligned(8)
class Box(unsigned int(32) boxtype, optional unsigned int(8)[16] extended_type)
{
unsigned int(32) size;
unsigned int(32) type = boxtype;

if (size == 1) {
unsigned int(64) largesize;
} else if (size == 0) {
// box extends to end of file
}

if (boxtype == 'uuid') {
unsigned int(8)[16] usertype = extended_type;
}

};
aligned(8)
class FullBox(unsigned int(32) boxtype, unsigned int(8) v, bit(24) f)
extends Box(boxtype)
{
unsigned int(8) version = v;
bit(24) flags = f;
}

MP4 解析就是不断读取 size 和 type,用 size 确定当前 box 的边界;
如果是容器 box,就进入内部继续解析子 box;如果是叶子 box,就按 size 跳到末尾,继续下一个同级 box。

moov (movie box) 解析

在标准的 MP4/ISO BMFF 文件中,moov box 内绝对没有纯媒体流数据(音视频帧),它里面全部都是元数据(以及索引信息)

moov定义了MP4文件的元数据信息,在MP4文件中 moov box 有且仅有一个 ,moov里面包含的子box作为描述媒体数据的信息的容器。
这些元数据信息被存储在不同类型的子box中。一般来说,元数据被存储在moov box中,而多媒体的实际数据,
如音频或视频数据,则在moov box中被引用,但不包含在其中。

moov至少包含以下3种box中的一种。

  • mvhd:Movie Header box ,存放多媒体信息头的容器,这是最常见的形式。
  • cmov:Compressed Movie box* ,压缩过的电影信息容器。
  • rmra:Reference Movie box* ,参考电影信息容器。

moov本质上是其他box的一个容器,这些box组合在一起描述了多媒体的内容。
从高层结构看,moov通常包含trak box,而trak box又包含mdia box。
最低层的子box则包含非box格式的数据,通常以表格或一组数据元素的形式出现。

moov中最为常见的是mvhd,它定义了整个多媒体文件的timescale、duration等显示特性。
而trak中定义了多媒体文件中的一个track的信息,track指的是多媒体文件中 可以独立操作 的媒体单位,
例如一个声道是一个track,一个视频流也是一个track。

trak box有两种

  • media track
    • 用于保存media相关信息
  • hint track
    • 包含用于流媒体的打包信息

mvhd (movie header box) 解析

mvhd box包裹在moov box中,包含了与整个播放展示相关的元数据
诸如文件的创建和修改时间等信息,它告诉我们视频播放器总时长、time scale、播放速度和初始音量

mvhd参数
mvhd-args-1
mvhd-args-2

trak 解析

trak定义了媒体文件中一个 track(轨道) 的信息。
一个媒体文件可以包含多个track,每个track都是独立的,有自己的时间和空间占用的信息。
每个trak容器都有与它关联的媒体容器描述信息。使用trak的主要目的如下:

  • 包含媒体数据的 引用和描述 (media track)
  • 包含modifier track信息
  • 包含 流媒体协议的打包信息(hint track) ,hint track(提示轨道)可以引用或者复制对应的媒体采样数据

hint track和modifier track必须保证完整性,与至少一个media track同时存在
一个trak中要求必须有一个Track Header box(tkhd)、一个Media box(mdia),其他的box都是可选的。

tkhd (tracker header box) 解析

由 mvhd 与 tkhd 的 size 我们看到,在一定版本下,在规范中的size字段的参数大小是一定的,标识的块数据长度也是一定的

tkhd放在trak box里,每个track只能有一个tkhd。它是强制性的,包含描述单个轨道的特性的元数据。
可以看到tkhd中的很多字段信息与mvhd有些类似,原因其实容易理解,
mvhd描述整个文件的公共信息,而thkd描述整个文件中 某个track 的信息。

tkhd-args-1
tkhd-args-2
tkhd-args-3

mdia 解析

是 trak 的子容器

Media box的类型是mdia,是一个容器box,其必须包含如下容器:

  • 媒体头容器:Media Header box(mdhd)
  • 句柄参考容器:Handler Reference box(hdlr)
  • 媒体信息容器:Media Information box(minf)
  • 用户数据容器:User Data box(udta)

hdlr 解析

描述了媒体流的媒体类型,可以根据这个box的内容,确定对应track的具体类型是Video、Audio或者其他

minf 解析

minf包含了很多重要的子容器,例如与音视频采样等信息相关的容器。minf容器中的信息将作为音视频数据的映射存在

其内容信息如下:

  • 视频信息头:Video Media Information Header(vmhd子容器)
  • 音频信息头:Sound Media Information Header(smhd子容器)
  • 数据信息:Data Information(dinf子容器)
  • 采样表:Sample Table(stbl子容器,描述具体的数据与时间、位置等信息的对应关系)

dinf 解析

dinf是一个描述数据信息的容器,定义了音视频数据的信息,它包含子容器dref。

stbl 解析

stbl为采样列表容器(Sample Table box),该容器包含转化媒体时间到实际的sample(样本或者采样点)的信息,
也表征了如何进一步解析sample的信息,例如,视频数据是否需要解压缩、解压缩采用的是什么编码算法等

它包含的子容器如下:

  • 采样描述容器:Sample Description box(stsd)
  • 采样时间容器:Time To Sample box(stts)
  • 采样同步容器:Sync Sample box(stss)
  • Chunk采样容器:Sample To Chunk box(stsc)
  • 采样大小容器:Sample Size box(stsz)
  • Chunk偏移容器:Chunk Offset box(stco)
  • Shadow同步容器:Shadow Sync box(stsh)

stbl包含track中media sample的 所有时间和数据索引 ,利用stbl,就可以 定位sample到媒体时间、文件位置的映射关系 ,
决定其类型、大小,以及如何在其他容器中找到紧邻的sample。
如果它所在的track没有引用任何数据,那么它就不是一个有用的media track,不需要包含任何子box。

如果它 所在的track引用了数据 ,那么必须包含以下子box:

  • 采样描述容器(stsd):它主要包含解码器所需要的基本信息,里面的细节规定一般与特定的编码器相关。
    一般新的Codec需要注册一下,可以参考mp4ra.org,从中查到已经注册的Codec的描述信息及对应的标准。
  • 采样大小容器(stsz)。
  • Chunk采样容器(stsc)。
  • Chunk偏移容器(stco)。
    所有的子表都有相同的sample数目。

stbl是必不可少的一个box ,而且 必须包含至少一个条目 ,因为它包含了检索media sample的索引信息。
没有sample description就不能计算出media sample存储的位置。
采样同步容器(stss)是可选的,如果没有,规范上规定这表明所有的sample都是采样同步的。

但是很可惜,很多MP4文件并未遵循这个规定,使得我们无法很好地使用stss,
以及在没有这个box时认为所有sample都是可同步的。

  • track:轨道,表示一些sample的集合,对于媒体数据来说,表示一个视频或者音频序列。
  • chunk:块,一个track的几个连续sample组成的单元称为一个chunk,同一chunk内的sample是连续的,它是一个逻辑概念。在fMP4格式中,则使用run来表征类似的意思。
  • sample:采样,与一个时间戳相关的所有数据,一般对应视频中的一个帧,或对应Audio中一段压缩的音频。一般而言,同一个track中不可能有两个或者多个sample具有相同的时间戳。

((track (chunks (samples …) …) …) …)

一个track由连续的chunk组成,而chunk则包含多个连续的sample。
track和sample的概念比较容易理解,chunk这个概念则需要多思考一下,其原因主要是 增加了一个中间层
这样的好处是不用直接做track到sample的映射,这些box的大小可以通过增加的chunk层得以 可控
每个轨道都有一个stbl容器,因此每个track有自己的一套完整的采样表。
chunk在轨道间并非完美的交错

使用chunk、sample这样的两级结构,使得描述最终sample所需要的数据量大为减少,这是通过增加一个间接的层chunk实现的。

毕竟Butler Lampson很早就告诉我们,“计算机科学领域的任何问题都可以通过增加一个间接的中间层来解决”

一个给定sample的解码时间是由轨道中所有前面sample的累积时间确定的,
这其实带来了一个潜在的依赖问题,这意味着解码显示当前帧,会依赖前面的帧的时间数据。
在fMP4/CMAF场景,因为有可能从中间任意位置解码,使用了绝对时间而非这种有依赖关系的方式来描述时间。

采样delta是以什么单位来衡量的呢?我们可以通过查看媒体box中定义的时间尺度(timescale)值,即轨道对应的mdhd box来了解。

名称 全称 含义 作用
DTS Decoding Time Stamp 解码时间戳 指示这一帧何时被解码(送入解码器的顺序)
PTS Presentation Time Stamp 显示时间戳 指示这一帧何时被显示(在屏幕上呈现的时间)

edts 解析

edts定义了创建Movie媒体文件中的一个track的一部分媒体,所有的edts数据都在一个表里,
包括每一部分的时间偏移量和长度。如果没有该表,这个track就会被立即播放。
一个空的edts用来定位到track的起始时间偏移位置。

对edts box特别是elst box做一个更一步的说明,elst因为在逻辑上把trak做了一个偏移,
很多播放器或者对应的工具支持得并不是很好,所以碰到这个box需要注意兼容性问题。

stbl 如何构建出一个视频帧(AVPacket)?

需要的信息 对应的子 Box FFmpeg 内部变量 实际用途
帧大小 stsz (Sample Size Box) MOVStreamContext->sample_sizes[] 决定 pkt->size
文件偏移 stco/co64 + stsc MOVStreamContext->chunk_offsets[] avio_seek 到文件对应位置读取数据
解码时间(DTS) stts (Time To Sample Box) MOVStreamContext->stts_data[] 累加 sample_delta 得到 pkt->dts
显示时间(PTS) ctts (Composition Offset) MOVStreamContext->ctts_data[] pkt->pts = pkt->dts + ctts_offset (解决B帧)
关键帧标记 stss (Sync Sample Box) MOVStreamContext->keyframe_pts[] 设置 `pkt->flags
编解码参数 stsd (Sample Description) st->codecpar 初始化解码器(如 HEVC 的 VPS/SPS/PPS)

FFmpeg 源码入口:mov_read_stsz() / mov_read_stts() / mov_read_stco() / mov_read_stsc() / mov_build_index()
调试验证:ffprobe -v trace input.mp4 查看 Box 解析顺序;ffprobe -show_packets input.mp4 查看计算出的 DTS/PTS/Size/Flags。


详细的 容器/子容器 内部细节,参见《深入理解ffmpeg》第4章封装与解封装部分


以上是 点播场景 下的MP4容器格式
针对于 直播场景 ,其传输是流式的,于是诞生了 Fragment MP4 (fMP4) 容器格式,以及后来的 CMAF 容器格式

fMP4

为什么点播、直播场景需要使用不同形式的容器?

  • 在普通模式下,MP4的单一moov box导致在所有数据完成写入之前,不能写入该box,对于直播环境下的 捕获/实时录制 是一个很大的挑战
    并且,若传输中出现了意外的损坏,也无法修复
  • 对于动辄小时起步的电影来说,moov box的大小可能相当大,对内存优化有不小的挑战。在网络场景中,moov box的存在意味着需要预传输大量的数据才能开始播放

fMP4以及CMAF的基本原理是:
将一部电影或直播流划分为较小的片段,称为分片,分片这种能力是流媒体应用的关键。
与原来等待一个完整的MP4文件的下载相比,我们更希望每次下载的时间不超过几秒钟,这样就可以在下载的过程中同时播放。
此外,随着网络条件的变化,我们还希望能够在不同版本的流媒体之间无缝切换,以便得到更高或更低的分辨率,或者更多或更小的压缩比。
这就是自适应比特率流媒体的特点。同时,分片越短,就越能快速地适应网络环境的变化。
但不幸的是,这给压缩和分发也带来一些挑战。

一个 fMP4 流由一个 初始化段 和一连串的 媒体段 组成。初始化段类似于一个未分片文件的开始,它由一个ftyp box和一个moov box组成。
moov box包含额外的信息,以表明流是切片的,主要包括一个mvex box。
不过与上面的传统MP4相比较,fMP4的moov box只存储了文件级别的媒体信息,因此比传统MP4文件的moov box要小很多。
mvex是fMP4的标准box,它的作用是告诉Demuxer端这是一个fMP4文件,具体的sample信息内容不再放到trak里,而是放到每一个moof中。

音视频切片文件由一个 moof(movie fragment)box 和一个 mdat box 组成,
前者包含该片段的元数据,后者包含部分音频、视频的有效载荷。
moof box 存放的是 fragment(分片) 级别的元信息,用于描述所在的fragment。
该类型的box在普通的MP4文件中是 不存在的 ,而 在fMP4文件中,每个fragment都会有一个moof类型的box
moof和moov类似,它包含了当前片段中MP4的相关元信息,但 将moov的部分信息变成了多个moof这样的方式
另外,一般而言,普通的MP4文件只有一个mdat box,而 fMP4/CMAF文件则有多个mdat box
它也可能在开始时有一个styp box,styp就像ftyp一样,但针对的是一个音视频切片片段。
在一个正确编码的流中,每个媒体fragment都可以被解码和播放,除去需要所依赖的初始化片段外,任何其他片段的信息都不再需要。
粗略来讲,fMP4的构成如下:

  • 1 ftyp
  • 1 moov
  • N [moof mdat] // 一起构成分片
  • 1 mfra

fMP4与分片
fMP4-slice-1
fMP4-slice-2

上面的mvex box是可选的,其由mehd和trex组成,其中,mehd是可选的,它指定整个文件的持续时间,
整个文件的持续时间对应于 最长的轨道持续时间(包含所有分片) ;
trex是必选的(如果mvex存在),每个轨道都有一个单独的trex,这个box为其轨道(track_ID)指定默认的标志和值。
在moof box中,对应特性如果没有被标识或设置对应的值,解码器将从trex box中获取对应轨道的默认值。

通常每个封闭的GoP都作为一个单独的分片来存储,这种分片模式被称为基于关键帧的分片。使用的FFmpeg命令一般如下:
ffmpeg -i in.h264 -c:v copy -f mp4 -movflags frag_keyframe+empty_moov frag_out.mp4
命令只是把原有的编码帧重新封装到 fMP4 容器里,并没有对视频进行重新编码

CMAF

CMAF(通用媒体应用格式,Common Media Application Format),
它是一种可扩展的格式,用于打包分段的媒体对象,以便在自适应媒体流中在终端用户设备上传输和解码。
使用CMAF的最初目的是简化基于HTTP的流媒体的交付。它是一个新兴的标准,有助于降低成本和复杂性,并可以结合其他技术来减少端到端的延迟。
CMAF通过与HLS和DASH协议合作,在一个统一的传输容器文件下打包数据,简化了播放设备的媒体传输过程。

CMAF本身不是一个协议,而是一种 格式 ,它包含一套容器和标准,用于统一HLS和MPEG-DASH等协议底层的单一媒体流。
CMAF以ISO BMFF为基础,为分片的内容定义两个基础的brand(品牌):cmfc和cmf2。
其限定主要如下:
cmfc品牌的约束如下:

  • 定义了ISO BMFF box中的一些默认值。
  • 每个文件只包含一个媒体,这意味着音频和视频存储在不同的文件中,这个特性带来了灵活性,但也带来了一些挑战。
  • 每个分片有一个单一的轨道片段(moof)。
  • 视频轨道中存在ColorInformation box和PixelAspectRatio box。
  • 在每个轨道分片中存在一个tfdt box,在MPEG DASH格式中,分片在时间上可能是不连续的。
    因此,DASH要求每个分片(即每个traf box)中都要有tfdt box。
    注意,tfdt box指定了当前分片的解码时间
    (以mvhd时间尺度为单位,当前分片中第1个样本的解码时间,实际上tfdt是分片的一个时间锚点)
  • edit list被限定为仅在媒体跳过时使用。
    在cmfc品牌的基础上,cmf2品牌进一步限定如下:
  • 不应使用edit list。
  • 可以使用负的composition偏移。
  • 样本默认值应在每个轨道分片中重复出现。

视频文件转 FIV

在网络直播与点播场景中,FLV也是一种常见的格式。FLV是Adobe发布的一种可作为直播也可以作为点播的封装格式。
其封装格式非常简单,均以FLVTAG的形式存在,并且每一个TAG都是独立存在的。

FLV文件格式分为两部分:

  • FLV文件头
  • FLV文件内容。

对于整型数据,按小端方式进行存储
FLV文件头
FLV-header

FLV文件内容格式主要为FLVTAG。FLVTAG分为两部分,分别为 Header 部分与 Body 部分

FLV文件TAG排列方式
FLV-TAG

FLVTAG格式
FLV-TAG-format

VideoTag数据格式

如果从FLVTAG的Header中读取到TagType为0x09,则该TAG为视频数据TAG,FLV支持多种视频格式
VideoTag-data-format-1
VideoTag-data-format-2

AudioTag数据格式

从FLVTAG的Header中解析到TagType为0x08,则这个TAG为音频TAG,与视频TAG类似,音频TAG里面可以封装的压缩音频编码也可以有很多种
AudioTag-data-format-1
AudioTag-data-format-2

ScriptData数据格式

当FLVTAG读取的TagType为0x12时,这个数据位表征是ScriptData类型。
ScriptData常见的展现方式为FLV的Metadata,里面存储的一般为AMF数据
ScriptData-format

如果原媒体文件中的音视频编码格式本身就是FLV标准所支持的格式,那么只用转封装(通常称为Remuxing)即可,无须执行转码操作。

MPEG-TS

详情请见

MPEG-TS在MPEG-2第1部分中被标准化 ,最初专门为 数字视频广播(DVB) 应用而设计,
与其对应的MPEG-PS多用于存储媒体,并在DVD中得到应用。
相较而言,MPEG-TS 面向传输 ,它将流 划分为基本流 ,这些流被分割成小块。
同时,系统信息以固定的时间间隔发送,因此接收器可以随时播放流。
此外,该格式使用 前向纠错(Forward Error Correction,FEC)技术 , 允许在 接收器 处纠正传输错误
MPEG-TS格式显然是为在 有损传输通道 上使用而设计的。

从系统层面定义,TS/PS文件可以分成3层:

  • ES层:由单独的音频流(如MP3)、视频流(如H.264)组成基本数据流(Elementary Stream,ES)。
  • PES层:将ES按一定的规则进行封装,例如H.264以访问单元(Access Unit,AU)作为拆分单元,并打上时间戳,
    组成分组的基本数据流(Packetized Elementary Stream,PES)。
  • TS/PS层:将PES包进行切分后再封装成固定大小(通常为188字节)的 传输流(Transport Stream,TS)包 ,
    同时还将一些节目信息也封装成TS包,又称为 片段(section) , 两者共同组成TS层。

MPEG-TS/PS打包流程
MPEG-TS/PS打包流程

每个TS数据包头都带有PID(packet identifier,数据包标识符),PID将TS数据包和TS数据包中的基本流联系起来

MPEG-TS标准的包长度是188字节。
日本通过在标准的188字节的数据包中增加一个4字节的时间码(TimeCode,TC)字段,使之变为192字节的数据包,一般用于数字摄像机、录音机和播放器。
还有一种是204字节的,是在188字节的基础上加上16字节的FEC构成。FFmpeg同时支持这3种格式变种。

MPEG-TS包的基本结构
MPEG-TS包的基本结构

MPEG-TS没有像许多其他文件类型(包括程序流)那样使用全局文件头,而是在 每个数据包前都有一个头部
这个数据包的头部结构设计非常清晰,并且正好占4字节,这使得流式的解析会非常便利。

**MPEG-TS重要的格式头数据
MPEG-TS-important-head
MPEG-TS-important-head-2

MPEG-payload部分见《深入理解ffmpeg》所述

PES结构
PES-struct

MPEG-TS的特性:
由于MPEG-TS是在以太网诞生之前建立的服务于数字无线广播的容器格式,包括失序的数据包检测和远程时间同步等功能。
在当今互联网环境下,TCP协议与设备高精度时钟也能承担该功能。
由于MPEG-TS使用定长的188byte数据包,导致可能会需要额外更多的字节传输一个小数据,极限情况就是仅包含pkg_payload + 1byte载荷
(载荷字段的利用率是 1/170 或 1/184),可以看出,需要花费一倍的带宽来传输原来的数据,有效利用率跌落到了 45% 左右
MPEG-TS格式并未考虑seek问题,没有对应的全局索引,需要各端自行解决(HLS场景下是使用I帧播放列表的方式来解决这个问题的)

视频文件转HLS

HTTP实时流(HTTP Live Streaming, HLS) 基于HTTP的自适应码率流媒体通信协议
HLS类似MPEG-DASH,它的工作方式是将整个流分解为一连串基于HTTP的小文件来下载,每个文件下载一个可能无限制的整体传输流的短块。
同时,它使用扩展的M3U播放列表描述相关的信息,将不同码率编码的可用数据流列表发送给客户端。

HLS的基本架构
HLS-basic-framework

HLS在标准上只支持TS格式的切片

服务器端先对流进行切分(离线预处理或实时生成),生成索引文件(.m3u8)和一连串媒体流的切片文件;
客户端先通过 HTTP 获取索引,再按需通过 HTTP 逐个获取切片文件,经过解码、重组后播放。

HLS使用的m3u8格式基于M3U播放列表扩展而来,主要用于将分片文件以列表的形式描述,即支持直播又支持点播。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
##EXTM3U

##EXT-X-VERSION:3

##EXT-X-TARGETDURATION:4

##EXT-X-MEDIA-SEQUENCE:0

##EXTINF:3.760000,

out0.ts

##EXTINF:1.880000,

out1.ts

##EXTINF:1.760000,

out2.ts

##EXTINF:1.040000,

out3.ts

##EXTINF:1.560000,

out4.ts
  • EXTM3U M3U8格式必须包含的标签,必须在文件的第一行
  • EXT-X-VERSION M3U8文件的版本,常见的是3
  • EXT-X-TARGETDURATION 每一个分片都会有一个自己的duration(时长),这个标签是最大分片浮点数时长四舍五入后的整数值,
    这个值是所有分片时长的整数部分的上限,而较长的分片片段则可能触发播放卡顿或其他错误。
  • EXT-X-MEDIA-SEQUENCE M3U8直播时的直播切片序列,当打开M3U8时,以这个标签的值为参考,播放对应的序列号的切片。
    分片必须是动态改变的,并且序列号不能相同,为递增序。
    当M3U8列表中没有出现EXT-X-ENDLIST标签时,无论这个M3U8列表中有多少分片,播放分片都从倒数第3片开始播放,如果不满3片则不播放。
  • XTINF EXTINF为M3U8列表中每一个分片的duration,在EXTINF标签中除了duration值,还可以包含可选的描述信息,
    主要为标注切片信息,使用逗号分隔开。EXTINF下面的信息为具体的分片信息,分片存储路径可以为相对路径,
    也可以为绝对路径,还可以为互联网的URL链接地址。
  • EXT-X-ENDLIST 表明这个M3U8文件不会再有更多的切片产生,可以理解为这个M3U8已停止更新,并且播放分片到这个标签后结束。
    M3U8 不仅可以作为直播,也可以作为点播形式存在,在M3U8文件中保留所有切片信息,最后使用EXT-X-ENDLIST结尾,这个M3U8即为点播M3U8。

文件转HLS直播
ffmpeg -i input.mp4 -c copy -f hls -bsf:v h264_mp4toannexb output.m3u8

视频文件的音视频流抽取

在某些情况下,除了分析封装数据,我们还需要分析音视频流部分。

除了转封装、转码,FFmpeg还可以提取音频流,例如需要提取音频流并保存到另一个封装中。

提取AAC音频流

1
2
3
4
5
## 输入 input.mp4
## 输出 output.aac
## -vn 不产生视频图像数据
## -acodec 使用音频编解码器
ffmpeg -i input.mp4 -vn -acodec copy output.aac

有时在视频编辑场景中需要提取视频流,或者与另一路视频流进行合并等,此时也可以使用FFmpeg来完成。

提取H.264视频流

1
2
3
4
5
## 输入 input.mp4
## 输出 output.h264
## -an 不产生音频图像数据
## -vcodec 使用视频编解码器
ffmpeg -i input.mp4 -vcodec copy -an output.h264

提取H.265视频流

1
ffmpeg -i input.mp4 -vcodec copy -an -bsf hevc_mp4toannexb -f hevc output.hevc

在使用FFmpeg进行格式转换、编码转换操作时,所占用的系统资源各有不同。
如果使用FFmpeg仅仅转换封装格式而非转换编码,所使用的CPU资源并不多。
使用FFmpeg进行封装转换时并不会占用大量的CPU资源,因为此时主要以读取、写入音视频数据为主,并不涉及复杂的计算。
如果使用FFmpeg进行编码转换,则需要进行大量的计算,从而会占用大量的CPU资源。

媒体容器格式小结
任何编码格式的使用都面临存储、分发、编辑、overhead等挑战,一般而言,我们需要关注容器中数据的组织结构、音视频编码格式、时间戳、元信息、如何支持seek操作,以及是否支持流化和录制等。另外,也需要有合适的工具来分析容器格式异常或者错误。

编码与转码

(codec) encoding & decoding
trans coding

所有在互联网上传播的媒体文件都需要被压缩,以便快速地从一个地方传输到另一个地方。
提供高质量的媒体内容是有成本的,无论是处理、存储还是传输。
这就是编解码器(Codec)发挥作用的地方

Codec在不同场景下表征的意义不大一样,可以视为压缩设备、程序或者标准。但在不同的上下文场景下,我们能很容易地区分。
并不是每个视频编解码器都是基于混合编码方案的,但当前使用最为广泛的视频编解码器都是基于混合方案。

编解码器是一种压缩媒体数据的 设备、程序或者标准 ,以实现更快的传输或者降低存储空间。

codec == enCOde + DECode
一般认为第一个标准化的视频编解码器是H.261,由国际电信联盟(ITU)视频编码专家组于1988年批准,并于1990年公开推出。

迄今为止的每一个主流使用的编解码器都基于混合编码方案,
在 空间域 利用 预测(使用内部预测以及运动补偿),在 变换域 对产生的 残差信号 进行编码。
在实际应用中,最常使用的变换方法是 离散余弦变换(Discrete Cosine Transform,DCT)

HEVC混合编码框架
HEVC-hybride-encoding-framework

视频混合编码主要涉及的流程包含分区、预测、变换、量化、环路滤波、熵编码等关键技术

使用分区的主要原因是精确地处理预测。

  • 一般而言,在移动较多的区域使用较小的块,而在静态背景上使用较大的块。(保持静态区块的大小)
  • 一旦分区完成,就可以在它们之上做出预测。
    主要有两类预测:
    • 一是 帧间预测 ,主要考虑 时间冗余 ,需要发送 运动向量和残差 ;
    • 二是 帧内预测 ,考虑 空间冗余 ,需要发送 预测方向和残差 。
  • 在预测之后,就得到残差块(预测分区与真实分区的差值),然后用某种方式对残差块进行变换,就得到一些结果。
    这样在随后的步骤中,对这些变换后的结果进行分析,就可以知道哪些像素丢弃后依然能保持图像的整体质量了。
    DCT 无疑是最重要的变换方式之一,可以使用它将一张图像转换到 频域 ,这时候大多数能量就会集中到 低频部分 ,
    所以丢掉高频系数能减少描述图像所需的数据量,同时不会牺牲太多的图像质量。
  • 接下来 对系数进行量化 以达到压缩的目的,最后一步则是对量化后的数据执行无损的熵编码,这主要是利用了语法元素间的相关性以进一步压缩,
    这样就产生了适合存储或者传输的码流。

    以上就是编码的基本流程,解码流程反其道而行之即可。

编解码器的发展基本上分为几个“流派”,以解决没有一个编解码器能适合所有使用情况的问题。
下面是几个主要的视频编码标准制定的“流派”:

  • 标准制定组织。ITU-T视频编码专家组(VCEG)和ISO/IEC JTC1运动图像专家组(MPEG)。
  • 基于公司/联盟的组织。典型的如开放媒体联盟(AOMedia)。
  • 国标。典型如AVS系列,包含AVS、AVS+、AVS2、AVS3等。

虽然几派都专注于改善媒体传输,但它们之间的关键区别在于:
ITU-T和ISO/IEC JTC1标准制定组织创造了专利技术,需要为编解码器的部署支付专利费;
开放媒体联盟则是开发开源的编解码器;而AVS系列则着重于自主编码标准和国产化问题。
然而需要注意的是,尽管如此,对于这些编解码器的“开放”程度一直存在一些争议。

软编码H.264

当前网络中常见的视频编码格式要数H.264(AVC)。
持H.264的封装格式很多,如RTMP、FLV、MP4、HLS(M3U8)、MKV、TS等。
FFmpeg本身并 不支持H.264编码器 ,而是采用了 集成第三方模块的方式进行支持 ,如x264和OpenH264。
x264和OpenH264二者各有各的优势,OpenH264开源比较晚,最初主要是为了让RTC等低延迟场景且版权更为宽松一些。
不过目前x264还是最常用的H.264编码器,主要因为其优异的压缩性能和良好的工程实践。

H.264即AVC(Advanced Video Coding),H.265即HEVC(High-Efficiency Video Coding),
它们都有两个名称,主要是因为是这两个编解码器标准都是由MPEG和国际电信联盟(ITU)联合标准化的。
H.266即VVC(Versatile Video Coding),原因相同。

使用x264进行H.264编码时,所支持的像素格式主要包括:
yuv420p、yuvj420p、yuv422p、yuvj422p、yuv444p、yuvj444p、nv12、nv16、nv21、yuv420p10le、yuv422p10le、yuv444p10le、nv20le、gray、gray10le。
通过 ffmpeg -h encoder=libx264 可以查看。

1
2
3
4
5
Encoder libx264 [libx264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10]:
General capabilities: dr1 delay threads
Threading capabilities: other
Supported pixel formats: yuv420p yuvj420p yuv422p yuvj422p yuv444p yuvj444p nv12 nv16 nv21 yuv420p10le yuv422p10le yuv444p10le nv20le gray gray10le
...

FFmpeg推荐使用编码器特定参数的方式向libx264参数进行传参,具体参数可参考 ffmpeg -h encoder=libx264 的输出

1
2
3
4
# skyfall2-trailer.mp4 文件使用 H.264 编码格式压缩为 output.mp4 文件
# ultrafast 最快的压缩(但是质量低)
# -b:v 2000k 将目标码率定为 2000k
ffmpeg -i skyfall2-trailer.mp4 -c:v libx264 -preset ultrafast -b:v 2000k output.mp4
  • 使用 -preset 选项以启用预设
  • 通过指定一个tune进行H.264编码优化

控制场景切换时关键帧的插入
可以通过 -g 参数设置最大帧数间隔GoP的长度,但是当遇到场景切换时,如从一个画面场景突变为另一个画面场景时,
会插入一个关键帧,此时GoP的间隔将会重新开始计算。
以上情况在视频点播中时常会遇到。如果将点播文件进行M3U8切片,或者将点播文件进行串流虚拟直播,GoP的间隔也会有相同的情况。
在有些情况下,我们不希望因为场景变动而产生可变的GoP,这时可以使用 sc_threshold 参数进行调整来控制场景切换时是否插入关键帧。

在固定码率下,GOP 越长,P/B 帧越多,帧间信息丢失(漂移)的风险越大。但如果编码器使用固定质量模式(CRF),GOP 长短对画质的影响会小得多。
I 帧:只做帧内压缩,丢掉的是高频细节(类似 JPEG),但保留了完整的画面结构。
P/B 帧:只记录与参考帧的残差(差异)。如果残差很小,编码器就会用极少的比特去描述它(甚至直接 skip,不传数据)。

编码能够设置VBR、CBR、CRF等码控模式,
其中VBR(Variable Bitrate)为可变码率,
CBR(Constant Bitrate)为恒定码率,
CRF则表示以质量为目标。
尽管现在互联网中所看到的视频以VBR居多,但CBR依然存在,它主要用于广电领域等使用固定传输通道的场景。

FFmpeg中进行H.265编码时,可以采用x265进行编码,H.265编码参数与x264的编码参数相差不多,基本可以通用,所以我们不再单独介绍FFmpeg怎么使用x265来进行编码。

硬件加速

专用视频加速硬件可以使得解码、编码或过滤等操作更快完成且使用更少的其他资源(特别是CPU)。
但也需要注意,其可能会存在额外的限制,而这些限制在仅使用软件Codec时一般不存在。
比如,各种视频加速硬件支持的特性各不相同,所以在使用的时候,建议多阅读相关文档及咨询相应的公司。
对于具有多种不同profile的复杂的Codec,硬件解码器很少能实现全部功能(例如,对于H.264,硬件解码器往往只支持8位的YUV 4:2:0格式)。

通常认为硬件编码器的输出比x264等优秀软件编码器的输出质量 差一些 ,但编码速度则 通常更快 ,且不会占用太多的CPU资源。
也就是说,硬件编码器一般需要更高的码率来达到相同的视觉感知质量,或者说它们在相同码率的情况下以更低的视觉感知质量输出。
具有解码或编码能力的硬件系统还可以提供其他相关过滤器加速功能,比如常见的缩放和去隔行等。是否支持后处理功能取决于不同的硬件系统。

FFmpeg所支持的硬件加速方案,粗略以各OS厂商和芯片厂商特定方案及行业联盟定义的标准来区分可分为以下3类。

  • 以操作系统分:Windows、Linux、macOS/iOS、Android。
  • 以芯片厂商的特定方案分:Intel、AMD、NVIDIA等。
  • 以行业标准或事实标准分:着重OpenMAX与OpenCL、Vulkan、OpenGL及CUDA等。
1
2
3
4
5
# NVIDIA 硬件解码 + 硬件编码
ffmpeg -hwaccel cuda -i input.mp4 -c:v h264_nvenc -preset p4 -b:v 5M output.mp4

# Intel 硬件解码 + 硬件编码 (QSV)
ffmpeg -hwaccel qsv -i input.mp4 -c:v h264_qsv -b:v 5M output.mp4

深入的硬件解码相关内容,见 《深入理解ffmpeg》一书,第五章

FFmpeg对音频的支持

MP3

MPEG-1 Audio Layer III 很多人以为它是MPEG3的缩写,但明显并不是。
MP3在1994年由运动图像专家组(MPEG)创建,是一种有损压缩算法
MP3同时使用了基于心理声学领域的思想。其基本想法是,人耳只能辨别20Hz~20kHz的声音,
所以任何超出这个阈值的数据都可以丢弃,以使文件更小。

整个算法部分可以粗略地分成如下4个主要部分:

  • 将音频信号分成小块,这些被称为帧。然后对输出进行MDCT滤波
  • 将采样传入一个1024点的FFT,然后应用心理声学模型。另一个MDCT滤波器在输出上执行。
  • 对每个采样进行量化和编码。这也被称为噪声/位分配。噪声/位分配会自我调整,以满足码率和声音屏蔽的要求。
  • 对码流进行格式化,称为音频帧。一个音频帧由4部分组成:头部、错误检查、音频数据和辅助数据。

MDCT,即修改后的离散余弦变换(Modified Discrete Cosine Transform),
是一种线性正交拉氏变换,基于时域混叠消除(TDAC)的思想。
它在J.Princen、A.Bradley于1986年发表的论文“Analysis/Synthesis Filter Bank Design Based on Time Domain Aliasing Cancellation”中被首次提出,
随后得到进一步发展。现行的很多音频编码格式都使用了MDCT技术。

MP3编码
MP3-encoding

使用FFmpeg可以解码MP3,同样也可以支持MP3编码。
FFmpeg并未原生支持MP3编码,需要使用第三方库libmp3lame。
不但如此,MP3编码还是低延迟的编码,可以支持的采样率比较多,
包含44100、48000、32000、22050、24000、16000、11025、12000、8000多种采样率,
采样格式也比较多,包含s32p、fltp、s16p多种格式,声道布局方式支持包含mono(单声道模式)、stereo(环绕立体声模式)。

MP3编码参数
MP3-encoding-arg

在FFmpeg中进行MP3编码采用的是第三方库libmp3lame,所以进行MP3编码时,需要设置编码参数acodec为libmp3lame。
ffmpeg -i INPUT -acodec libmp3lame OUTPUT.mp3

MP3 可以设置为 VBR(variable bitrate mode) 可变码率模式,CBR(constant bitrate mode) 恒定码率模式,ABR(Average bitrate mode) 平均码率模式

CBR编码压缩效率并不高,VBR和ABR模式可以为复杂的音乐段落提供更多的比特,为简单的段落节省比特,
而CBR则以相同的码率对每一帧进行编码。CBR只推荐在流媒体情况下使用,在这种情况下必须严格执行最高码率。
通过LAME对MP3格式的比特存储功能的使用,虽然在幕后仍有一些码率的变化,但它比实际的VBR灵活得多。

AAC编码

AAC(Advanced Audio Coding)和MP3都是音频编码的有损压缩技术。
MP3于1993年首次发布,比AAC早4年,现在已经成为流媒体和存储音乐的普遍标准。
AAC被设计为MP3的继承者。它摆脱了MP3的固有缺陷,在码率接近的情况下实现了比MP3更好的音质,特别是在低码率的情况下,
它在ISO/IEC 13818-7及ISO/IEC 14496-3中被标准化

在音视频流媒体中,无论直播与点播,AAC都是目前最常用的一种音频编码格式,
如RTMP直播、HLS直播、RTSP直播、FLV直播、FLV点播、MP4点播文件等,一般都是采用AAC的音频格式。
其原因主要在于与MP3相比,AAC的 编码效率更高,编码音质更好 。
AAC相较于MP3的改进主要包含以下内容:

  • 支持了更多采样率(8kHz~96kHz,而MP3为16kHz~48kHz),更多的声道数(达48个,MP3在MPEG-1模式下为最多双声道,MPEG-2模式下为5.1声道)及任意的码率和可变帧长度。
  • 更高效率的滤波器(AAC使用纯粹的MDCT,MP3则使用较复杂的混和滤波器)。
  • 对平稳的信号有更高的编码效率(AAC使用1024/960点区块长度,MP3则为576点),对暂态变化的信号有更高编码准确度(AAC使用128/120点区块长度,MP3则为192点)。
  • 对于频率在16kHz的声音频号成分有更好的处理。
  • 有额外的模块如噪声移频、后向预测、感知噪声替代等,这些特性能组合成不同的编码规格。

目前有两种常见的AAC版本:AAC-LD(低延迟),也被称为AAC-LC(低复杂度)和AAC-HE(高效率),AAC-LD/AAC-LC用于双向通信,它结合了足够高的音频质量和足够低的延迟,以促进通信;
AAC-HE(或HE-AAC)用于流媒体音频,通常用于数字广播之类的场景。

AAC音频分为LC、HE和HEv2三种

在FFmpeg中可以支持以下两个AAC编码器:

  • 原生AAC编码器:FFmpeg本身的AAC编码实现,实现的特性和支持的Profile相对比较少,好处在于不需要额外的第三方AAC编码库。

  • 集成第三方的 libfdk_aac :第三方的Fraunhofer FDK AAC编解码库,一般认为编码质量好于原生AAC编码库。

  • 编码器延迟是在编码过程中产生的延迟,以产生正确编码的音频数据包。它通常指添加到AAC码流前面的无声媒体样本(priming sample)的数量。

  • 解码器延迟是指在给定的时间指数下重现一个编码的源音频信号所需的pre-roll音频样本的数量。对于AAC来说,这个数字通常是1024,本身与编码算法相关。与编码器延迟相反,后者是由所用的编码器和编码配置决定的。然而,解码器延迟决定了可能的最小编码器延迟(也就是AAC的1024)。

音视频转码与音视频转封装的不同在于音视频转码会占用大量计算资源,而转封装主要是将音频数据或者视频数据取出,
然后封装成另外一种封装格式。转封装主要占用 IO资源 ,而转码主要占用 CPU资源 ,同时转码也会使用更多的内存资源。

码率并非对视频时长的控制,而是编码器为了在“特定画质目标”和“网络传输/存储限制”之间取得平衡,而设定或产生的每秒数据量(带宽需求),因为每秒的媒体数据帧数需要稳定

  • 对于点播(如 MP4 文件):我们往往追求“固定质量(CRF)”,容忍码率波动,因为文件可以下载。
    • 以固定质量为目标,允许短时码率剧烈波动,用缓冲区和文件大小来吸收波动。
    • 为什么会波动?
      • 固定质量保证的是各个媒体帧的数据质量,对于编码而言,就是更少的数据损耗,
        而每个媒体帧之间保持质量后的存储空间(数据大小)差别可以很大/很小,
        那么,为了满足每秒输出帧数的稳定这一硬性需要(保证用户的观看体验),
        又由于每单位时间虽然包含相同帧数,但是每单位时间的数据量不同,每单位时间所需的带宽也不同,导致了可能的数据的剧烈波动
  • 对于直播(如 HLS/TS):我们往往需要“限制码率(ABR/CBR)”,容忍画质波动,因为网络带宽是硬约束,不能断流。
    • 以稳定带宽为约束,允许短时画质波动,用码率阶梯和实时编码控制来保证流不中断。
    • 为什么带宽是硬性约束?而容忍画质波动?
      • 由上文的问题可以知道,若保证质量每单位时间所需的带宽一般不同,并可能产生剧烈抖动,
        对于直播媒体,用户更期望的是连续的媒体流体验,而网络环境中不同的物理链路,不同的网络层之间的数据/报文交换环境下,
        每个用户所分配的带宽是动态的,为了保证媒体流的稳定(包含输出帧率的稳定),需要将每单位时间的数据以此刻的带宽作为传输能力上限进行编码(一般会有不同码率的切片),
        所以每单位时间的媒体流质量不同,也就是画质波动
笔记概念 FFmpeg 内部实现/变量 实战验证命令
分区/宏块 AVCodecContext->mb_decision ffmpeg -h encoder=libx264
帧间/帧内预测 AVFrame->pict_type (I/P/B) ffprobe -show_frames input.mp4
DCT变换/量化 AVCodecContext->qmin/qmax -qp 23 (恒定量化参数)
GOP/关键帧 AVCodecContext->gop_size -g 60
B帧 AVCodecContext->max_b_frames -bf 3
码控模式 AVCodecContext->rc_* -crf 23 / -b:v 2M / -maxrate + -bufsize
硬件加速 AVHWDeviceType / AVCodecContext->hw_device_ctx -hwaccel cuda / -c:v h264_nvenc

编解码小结
libx264是使用最广泛的开源编码器,在业界影响力巨大,也影响了后来一众编码器。
与此同时,H.264编码标准也是使用最为广泛的编码标准。使用好FFmpeg的libx264编码器,对使用好其他编码器有很大的帮助。
另外,随着编码标准复杂度的提升及编码密度和功耗的考虑,硬件加速的编解码屡见不鲜,在很多情况下甚至是唯一的选择。

流媒体技术

流媒体是指以连续的方式从一个源头传递和消费多媒体,其在网络环节(指传输节点和通道)中很少或没有中间存储。
需要注意,流媒体指的是 内容的传输方法,而不是内容本身 。

  • 什么是流式实时传输?

    • 流式传输是人们在互联网上观看视频(包括听音频)时使用的 数据传输方法 。
      这是一种一次从 远程存储 交付 少许媒体数据 的方式,
      通过一次在互联网上传输 少量(如几秒钟) 的媒体数据,客户端设备 不必在开始播放之前等待下载整个媒体文件 。
      实时流式传输是指流媒体视频通过网络实时发送,无须预先进行录制和存储。
      如今,电视广播、视频游戏流和社交媒体视频都可以进行实时流式传输。

      常规流式传输和实时流式传输之间的区别可以类比演员背诵独白和即兴演讲之间的区别。
      前者是预先创建内容,存储下来并转播给观众;后者则是观众在演员创建内容的同时接收内容,就如实时流式传输一样。

    • 术语“实时流式传输”通常是指广播实时流,即同时传给多个用户的一对多连接。
      Skype、FaceTime和Google Hangouts Meet等视频会议技术采用的是 实时通信(RTC)协议 ,
      而不是一对多实时流广播所使用的协议。
  • 在技术层面,实时流式传输如何工作?

    • 以下是实时流式传输幕后发生的主要步骤:
      1. 采集:实时流式传输 始于原始视频数据 ,即摄像机捕捉的视觉信息、麦克风捕捉到听觉信息。
        在摄像机所连接的计算设备中,此视觉信息表示为数字数据(最终表示为1和0)
      2. 编码:对采集到的视频数据进行 压缩 和 编码 。通过删除多余的视觉、统计信息来压缩数据。
        实时流式传输视频数据编码为各种不同设备可以识别的 可解释数字格式 。
        常见的视频编码标准包括MPEG2、H.264、H.265、VP8/9、AV1等。
      3. 分段:视频包含许多数字信息,这就是为什么下载视频文件要比下载简短的PDF或图像耗费更久的时间。
        由于一次将所有视频数据通过Internet发送出去需要消耗的时间较长,因此流式传输时视频会被 分割 成若 干个几秒长的小片段 。
      4. 内容交付网络(CDN)与缓存:实时流一旦完成采集和编码(所有过程仅需几秒甚至几毫秒),就需要提供给成千上万的观众。
        为了在 最小延迟的同时保持高品质 ,并且将流媒体提供给不同位置的多个用户,需要使用CDN进行 分发 。
        CDN是分布式服务器网络,代替源站服务器为用户缓存和提供内容。使用CDN可以实现更快的性能,
        因为用户请求不再需要直接行进到源站服务器,而是可以通过附近的CDN服务器进行处理。以这种方式处理请求和交付内容还可以 减轻源站服务器的工作量(专注于流处理) 。
        由于CDN服务器遍布世界各地,而不是聚集在单个地理区域内,CDN可以高效地向全球用户提供内容。
        CDN还将缓存(临时保存)实时流的各个片段(作为web cache存在),因此大多数用户将 从CDN缓存而不是源站服务器获取实时流 。
        即使缓存数据会延迟一段时间,这实际上可以使实时流 更接近于实时 ,因为它 削减 了来回于源站服务器的往返时间( RTT )。
      5. 解码以及视频播放:实时流传送至所有正在观看流媒体的用户,通过每个用户的观看设备接收、解码分段的视频数据。
        最后,用户设备上的媒体播放器(专门的应用或浏览器内的视频播放器)将数据 解释 为视觉信息,然后播放。

CDN Content Distribution Network, 内容分发网络

录制与发布RTMP流

ffmpeg -h protocol=rtmp

Real Time Messaging Protocol

在流媒体中,RTMP直播为实时直播中最为常见的一种。由于是实时直播,精彩画面错过了就永远不会再出现了。
为了解决这个问题,可以考虑将实时直播的RTMP流录制下来。
RTMP相关协议经过不断演化实际上已经变成了一个 协议族 ,包括RTMP、RTMPS、RTMPE、RTMFP等,
其差别主要在于是否加密、使用隧道,以及是否使用UDP或者TCP来传输等。

协议中的 基本数据单元 被称为 消息(Message) ,
传输的过程中消息会被分割为更小的 消息块(Chunk)单元 ,
最后将分割后的消息块通过 TCP 传输到接收端,接收端再将接收到的消息块恢复成流媒体数据。

需要注意,RTMP的协议格式与FLV容器格式有千丝万缕的联系。

RTMP主要有以下几个优点:

  • 专为流媒体开发的协议。
  • 最初和FLV的生态相得益彰(虽然现在FLV相关技术已经日薄西山,但当时它的影响力巨大)。
  • RTMP的延迟相对较低,一般延时为1~3秒,对于延迟不是特别敏感的场景,其延迟是可以接受的。

当然RTMP并非尽善尽美,它也有不足的地方:

  1. 一方面是它基于TCP传输,导致链路抖动时并不能很好地使用带宽,且使用非公共端口,可能会被防火墙阻拦;
  2. 另一方面是它是Adobe私有协议,对于浏览器生态并不友好。
    目前业界一直在探索各种方向以替换该协议,主要的原因是Adobe拥有该协议的版权,但又放弃了该协议的发展,
    在对新Codec及其他特性的支持上也停滞不前。
    • 在下行分发领域,RTMP面临着HLS、MPEG-DASH等基于HTTP传输协议的竞争,
    • 在上行领域也面临一些新的技术方案比如DASH-IF Live Media Ingest Protocol、WebRTC-HTTP Ingestion Protocol(WHIP)等协议的竞争。

      不过即便这样,从市场占有率来说,RTMP依旧是值得研究的技术之一,它也是第一个被广泛使用的流媒体协议。

RTMP URL基本格式及意义
RTMP-URL-struct

FFmpeg拉取RTMP直播流可以使用的参考参数:
RTMP-args-1
RTMP-args-2

录制并发布RTSP流

Real Time Streaming Protocol
ffmpeg -h demuxer=RTSP

  • 信令(Signaling):RTSP 负责 发号施令 。它定义了客户端和服务器之间 如何沟通 ,比如:
    • DESCRIBE:客户端问服务器:“这个流里有什么?编码是 H.264 还是 H.265?分辨率多少?”
    • SETUP:客户端说:“我要建立连接了,用 RTP 传输,端口号是多少?”
    • PLAY:客户端说:“开始播放!”
    • PAUSE:客户端说:“暂停。”
    • TEARDOWN:客户端说:“再见,断开连接。”
  • 传输(Transport):RTSP 不负责 搬运 具体的音视频数据(比如 H.264 的 NALU 单元)。它只负责“控制”,不负责“搬砖”。

RTP 专门负责在网络上实时传输音视频数据。是“搬运工”:它
它给每个数据包打上时间戳(Timestamp)和序列号(Sequence Number),这样接收端才能按顺序、同步地还原出视频和音频。

是一种信令协议,是曾经最常见的直播方式,目前常用于 安防等领域
FFmpeg 目前仅支持 RTSP1.0,目前协议已发展至2.0版本
RTSP本身定义了信令,其传输协议并未确定。在当前的实现中,大部分情况下都使用 RTP 来传输数据,
但实际上,仍然有Real Data Transport(RDT)这样的私有传输协议被使用。
RTSP是一个典型的CS架构,其基本交互流程如图:
RTSP-basic-interactive

RTSP是以demuxer实现的,而RTMP是以protocol实现的。
RTSP-demuxer-1
RTSP-demuxer-2

FFmpeg默认使用的拉取RTSP流方式为 UDP 传输方式,为了避免丢包导致的花屏、绿屏、灰屏、马赛克等问题,可以考虑将UDP改为TCP方式。

RSTP demuxer可以支持UDP或者TCP传输数据,当通过UDP接收数据时,解封装器会尝试对收到的数据包重新排序(因为它们可能不按顺序到达,或者数据包完全丢失)。
这可以通过将最大的解封装延迟设置为0来禁用该功能,这样可以控制RTSP demuxer带来的延迟(通过设置AVFormatContext的max_delay字段)。

录制HTTP流

ffmpeg -h protocol=http

在流媒体服务当中,HTTP服务最为常见,尤其是点播。当然,直播也支持HTTP服务,
例如使用HTTP传输FLV、TS直播流,或者使用HTTP传输使用M3U8及TS文件的HLS格式等。
FFmpeg的HTTP既可以作为客户端使用,又可以作为服务端使用,但作为客户端使用的场景更多

录制与发布UDP/TCP流

ffmpeg -h protocol=udp
ffmpeg -h protocol=tcp

FFmpeg不仅支持RTMP、HTTP这类高层协议,同样支持UDP、TCP这类较为底层的协议,而且可以支持UDP、TCP流媒体的录制与发布。

多路流输出

早期FFmpeg在转码后输出直播流时并不支持一次编码后同时输出多路直播流,需要使用管道方式输出。
而在新版本的FFmpeg中已经支持tee文件封装及协议输出,可以使用tee进行多路流输出。

管道方式

1
2
3
# 将输出发送至 标准输出
# 产生三个输出流 output%d
ffmpeg -i input -acodec aac -vcodec libx264 -f flv - | ffmpeg -f mpegts -i - -c copy output1 -c copy output2 -c copy output3

tee封装格式

关于 tee 请详见 man tee

1
2
3
4
ffmpeg -re -i input.mp4 -vcodec libx264 -acodec aac -map 0 -f tee "[f=flv]rtmp://publish.chinaffmpeg.com/live/stream1 | [f=flv]rtmp:// publish.chinaffmpeg.com/live/stream2"

# FFmpeg 3.1 后
ffmpeg -re -i input.mp4 -vcodec libx264 -acodec aac -f flv "tee:rtmp://publish.chinaffmpeg.com/live/stream1|rtmp://publish.chinaffmpeg.com/live/stream2"

DASH 流输出

ffmpeg -h muxer=dash

MPEG-DASH是一种流式传输方法,DASH代表“基于HTTP的动态自适应流式传输”。
由于其基于HTTP,任何源服务器都可以配置提供MPEG-DASH流式传输。MPEG-DASH类似于HLS,后者是另一种流式传输协议,
MPEG-DASH将视频 分解成更小的片段 ,并以 不同的质量级别 对这些片段进行编码。
这使得它可以流式传输 不同质量级别的视频 ,并可以从一种质量级别切换到另一种质量级别。

类似HLS,DASH的工作分为以下几步:

  1. 编码和分割:源服务器将视频文件分割成几秒时长的小片段。
    服务器还会创建一个索引文件,就像视频片段的目录。然后对这些片段进行编码,即以多种设备可以解析的方式进行格式化。
    MPEG-DASH允许使用任何编码标准,这是相对于HLS的一个优势。
  2. 交付:当用户开始观看流媒体时,已编码的视频片段被通过网络推送到客户端设备。
    在几乎所有情况下,内容分发网络(CDN)都能更高效地分发流媒体。
  3. 解码和播放:当用户的设备接收到流数据时,它会解码并播放视频。
    视频播放器会自动切换到较低或较高质量的图像以适应网络条件。
    例如,当用户当前的带宽极低时,播放器将播放较少带宽、较低质量级别的视频。

HDS 流输出

ffmpeg -h muxer=hds

HDS(HTTP Dynamic Streaming)协议目前处于一个萎缩的状态,但其基本原理和HLS、MPEG-DASH等接近,使用FFmpeg可以生成HDS切片。


详细的流媒体参数介绍请见《深入理解ffmpeg》第6章


bitstream过滤器

Bitstream(比特流)就是编码器输出的、压缩后的原始媒体数据流。
bitstream filter(比特流过滤器)是 FFmpeg 中一个在不进行解码的前提下,对已编码的音视频码流(Packet)进行格式修正与适配的中间层组件
位于 libavcodec 库内,作用于 AVPacket

为什么需要这一层?
之所以需要这层过滤器,是因为codec输出的原始bitstream格式,与muxer/protocol所期望的格式,往往是两套不同的“方言”。

在使用FFmpeg处理音视频流的时候,通常有一套 介于编解码器(codec)输出与封装(muxer)或传输协议(trans protocol)之间 的 数据和信息的封装约定 ,
这类数据和信息的处理通常 不需要消耗太多计算空间和时间 ,但是又被编解码器与封装或传输协议所需要,这类内容通常被称为bitstream。

比特流过滤器是解决编码器输出格式与封装/传输协议需求之间不匹配的“适配器”。
它让你可以在不重新编码(不损失画质、不消耗大量 CPU)的前提下,自由地在不同容器之间转换码流。实质上是数据格式重新整理的中间层,不会改变内部数据

解析器 比特流过滤器 音视频滤镜

实质上是分出了: 媒体数据流 、 媒体编码流 、 媒体封装流 ,这三个视角

FFmpeg内部有以下三个容易引起误解的概念

  • libavcodec 内部的 parser
    • 在官方的定义中,parser 接收一串输入数据并将其分割成完整的压缩帧,而不丢弃任何数据或增加任何数据(重新组装和分帧)
      (理想状态下;是为了将数据进行分区辅助提取,实质上就是解析 bitstream 并确定 bitstream 中数据包的边界)
  • libavcodec 内部的 bitstream filter
    • bitstream filter 被允许 修改 数据(并非所有bitstream filter都会修改数据),对数据间部分格式元信息进行整理,为之后的流操作做适配
    • 不能动纯媒体流数据
  • libavfilter 内部的各种Audio、Video滤镜。
    • 它们的输入是未压缩的视频或音频数据,即大部分情况下,滤镜作用在原始未压缩的YUV或者PCM数据之上。
    • 实质上是在数据上进行修饰
    • 是唯一操作原始帧的地方

bitstream例子:

AAC 音频依据流式传输或者存储的需求存在多种格式:

  • ADTS(Audio Data Transport Stream)
    • ADTS通常应用于直播传输流,文件的每一帧前面都包含ADTS头信息;
  • ASC(Audio Specific Config)
    • 而ASC通常存储在MP4格式中,在全局头部有一个配置,所以比ADTS更节省空间。

由于这两种应用领域所需要的具体格式不同,在转换过程中需要一个中间层进行数据流格式的转换,
这就是 bitstream filter 的作用,不修改纯媒体数据的部分,而是在数据流视角下进行格式转换

1
2
3
# 使用了 -bsf:v h264_mp4toannexb 这个比特流过滤器
# 将一个本地存储格式的视频文件的编码流转换为可以网络传输的编码流
ffmpeg -re -i "input.mp4" -c copy -bsf:v h264_mp4toannexb -f mpegts udp://127.0.0.1:8000

bitstream filter小结:
FFmpeg的bitstream过滤器是一组强大的工具集合,特别是在需要解决编码出来的流和容器格式之间的流的编辑工作这类问题的时候,
它使得我们可以灵活地对bitstream进行各种操作。

滤镜使用

在FFmpeg中除了具有强大的封装解封装、编解码、缩放功能以外,还有一个非常强大的组件—— 滤镜(AVFilter)
AVFilter组件经常被用来进行多媒体处理与编辑,FFmpeg中包括多种滤镜。

FFmpeg通过 libavutil/eval.h 实现了对算术表达式的支持,这使得FFmpeg的滤镜在使用上更为灵活,具备了初步的“可编程”能力,
可以视为一个简单的领域特定语言(domain-specific language),但需要注意其并非图灵完备。
滤镜的表达式中包含了常量、一元、二元和函数表达式,

FFmpeg 的表达式可以由多个表达式通过分号组合成一个新的表达式: expr1;expr2 ,新的表达式将会分别对expr1、expr2求值,
并将expr2的结果作为新表达式的结果返回。
FFmpeg的表达式常用于滤镜中,实现 时间控制 、 动态调整 等。

滤镜描述格式

  • 基本排列方式
    • [输入流或标记名]滤镜参数[临时标记名];[输入流或标记名]滤镜参数[临时标记名];...
    • 在使用Filter时,不免会遇到根据时间轴进行操作的需求。在使用FFmpeg的Filter时可以使用与时间相关的内置变量
      FFmpeg-filter-time-var

视频水印操作

在视频中增加文字水印的要求比较多,需要有文字的字库处理相关文件,
在编译FFmpeg时需要支持FreeType、FontConfig、iconv,系统中要有需要的字库。
在FFmpeg中增加纯字母水印可以使用drawtext滤镜进行支持

FFmpeg-text-filter-arg

添加文字水印

1
2
3
4
5
6
7
ffmpeg -i input.mp4 -vf "drawtext=fontsize=100:fontfile=FreeSerif.ttf:text='hello world':x=20:y=20" output.mp4

# 让水印每三秒出现一次
ffmpeg -re -i input.mp4 -vf "drawtext=fontsize=60:fontfile=FreeSerif.ttf:text='test':fontcolor=green:box=1:boxcolor=yellow:enable=lt(mod(t,3),1)" output.mp4

# 中文水印,需要中文字体支持
ffmpeg -re -i input.mp4 -vf "drawtext=fontsize=50:fontfile=/Library/Fonts/Songti.ttc:text='文字水印测试':fontcolor=green:box=1:boxcolor=yellow" output.mp4

添加图片水印
可以使用movie滤镜参数
FFmpeg-img-filter-arg

画中画操作

在 FFmpeg 的滤镜中,可以将多个视频流、多个多媒体采集设备、多个视频文件合并到一个界面中,生成画中画的效果,
这可以通过overlay进行操作。

FFmpeg-filter-overlay-arg

视频多宫格处理

1
2
3
4
5
6
7
8
9
10
ffmpeg -i 1.avi -i 2.avi -i 3.avi -i 4.avi -filter_complex "nullsrc=size=640x480 [base]; \
[0:v] setpts=PTS-STARTPTS, scale=320x240 [upperleft]; \
[1:v]setpts=PTS-STARTPTS, scale=320x240 [upperright]; \
[2:v] setpts=PTS-STARTPTS, scale=320x240 [lowerleft]; \
[3:v]setpts=PTS-STARTPTS, scale=320x240 [lowerright]; \
[base][upperleft]overlay=shortest=1 [tmp1]; \
[tmp1][upperright]overlay=shortest=1:x=320 [tmp2]; \
[tmp2][lowerleft]overlay=shortest=1:y=240 [tmp3]; \
[tmp3][lowerright]overlay=shortest=1:x=320:y=240" \
-c:v libx264 output.flv

视频字幕操作

为视频添加字幕的方式大概可以分为两种:

  • 将字幕 编码进视频流 作为图像信息的一部分
  • 在封装容器中加入 字幕流 作为视频媒体数据信息的一部分
    将字幕编码进视频流的方式与为视频增加水印的方式基本相似,而在封装容器中加入字幕流的方式则需要封装容器中支持加入字幕流。

ASS字幕流
使用FFmpeg可以将字幕写入视频流,通过 ASS滤镜 即可。首先需要将视频流进行解码,再将ASS字幕写入视频流,然后编码压缩再进行容器封装。

详情请查阅相应资料

视频3D化处理

详情请查阅相应资料

视频截图

详情请查阅 vframe参数与fps滤镜

音频滤镜操作

除了操作视频,FFmpeg还可以对音频进行操作,例如拆分声道、合并多声道为单声道、调整声道布局及调整音频采样率等。在FFmpeg中,可以通过amix、amerge、pan、channelsplit、volume、volumedetect等滤镜进行常用的音频操作。

音频音量探测

滤镜volumedetect
showwavespic滤镜

生成测试元数据

通过lavfi设备虚拟音视频源数据
可以通过lavfi虚拟音频源的abuffer、aevalsrc、anullsrc、flite、anoisesrc、sine滤镜并生成音频流

音频倍速处理

atempo与setpts 滤镜


详细滤镜操作请见 《深入理解ffmpeg》 第8章 滤镜的使用


采集设备操作

在使用FFmpeg作为编码器时,可以使用FFmpeg采集本地音视频采集设备的数据,然后进行编码、封装、传输等操作。
例如我们可以采集摄像头的图像作为视频,采集麦克风的数据作为音频,然后对采集到的音视频数据进行编码,最后将编码后的数据封装成多媒体文件或作为音视频流媒体发送到服务器上。

详见相关文档

ffmpeg c api

FFmpeg目录包含FFmpeg库代码目录、构建工程目录、自测子系统目录等。
具体内容如下:

  • libavcodec:主要包含编码、解码的框架与子模块代码。
  • libavdevice:主要包含输入、输出外设框架与设备模块代码。
  • libavfilter:主要包含滤镜模块与视频、音频、字幕的特效处理模块代码。
  • libavformat:主要包含封装、解封装、传输协议的框架与子模块代码。
  • libavutil:主要包含 FFmpeg 提供的基础组件,比如加密解密算法、内存管理代码。
  • libswresample:主要包含音频的采样与重采样处理相关的代码。
  • libswscale:主要包含视频图像缩放与色彩转换等处理相关的代码。
  • libpostproc:视频后处理库。
  • fftools:主要包含ffmpeg、ffprobe、ffplay应用程序的代码。
  • tests:主要包含FFmpeg项目的自动化自测子系统。
  • ffbuild、compat:用以做FFmpeg工程构建的目录。
  • doc:主要包含FFmpeg的通用框架的参数、各模块参数的文档,API说明文档以及提供给API用户作为API使用用例的参考代码。

FFmpeg-turn-code-and-play


Q&A

Q: 为什么RIFF有被MPEG容器格式取代的趋势?
A: RIFF 是 PC 本地播放时代的容器设计,而 MPEG 系容器是网络流媒体、移动设备和标准化生态时代的容器设计

对比项 RIFF 系(AVI/WAV) MPEG 系(MP4/MPEG-TS/fMP4)
基本单元 Chunk:FourCC + size + data,小端 Box/Atom:size + type + data,大端
嵌套方式 RIFF 可嵌套 LIST,但结构较松散 严格的层级 Box 树,如 moov > trak > mdia > minf > stbl
版本机制 基本没有统一版本机制 FullBox 有 version + flags,可扩展、可向后兼容
标准化 微软/IBM 主导,扩展混乱 ISO/IEC 14496-12 等国际标准,持续更新