Audio Video Basic
生活是连续的,数据是离散的,我们通过数学将他们串联
音视频基础知识
FFmpeg相关材料: about-ffmpeg
Multi Media Basics
Color & Picture
现实生活中的物体靠 吸收 与 反射 光展现其颜色
常用的有两种色彩空间
- RGB
- R Red 红
- G Green 绿
- B Blue 蓝
- 是 加色系统 ,用于 发光体
- CMYK
- C Cvan 青
- M Magenta 洋红
- Y Yellow 黄
- K blacK 黑
- 是 减色系统 ,用于 印刷制品 (现实生活中难以获取纯色,为了与期望的颜色接近,需要在颜色中加入黑色)
在数字显示世界中,处理音视频,一般使用 RGB 色彩空间
计算机中,图像的存储一般使用 位图(Bitmap) ,其中每个点称为 像素(Pixel)
对于 RGB 色彩空间,每个颜色分量称为一个 通道(Channel)
通常,每个像素的每种颜色分量用 1字节(1Byte = 8bit) 表示,存储一个像素的色彩就需要 24位
也称为 24位真彩色 ,一共可表示 2^24 种颜色
为了描述 透明 的图像,在每个像素上再增加一个表示 透明度 的分量,称为 Alpha通道
表示 2^8 种透明度,产生 RGBA 色彩空间,一个像素就需要 4Byte 的空间进行存储,正好可以通过 32位 整数表示
由此,通常使用整数来对图像进行计算
由于计算机在不同架构下其字节序也可能不同,产生数据存储的 大小端* 问题
因此出现了多种不同的存储方式 (RGBA ABGR BGRA ARGB 等)
对于 灰度图 一般使用1Byte进行存储
对于 单色图 一般使用1bit进行存储
Film TV & Video
视觉暂留:即,余晖效应,
人眼在观察景物时,光信号传入大脑神经需经过一段短暂的时间,而光的作用结束后视觉形象并不立即消失,这种残留的视觉称为 后像 ,视觉的这一现象则被称为“视觉暂留”。
人们看到的电影其实是快速闪过的、一帧一帧的不连续的图像
CRT, Cathode Ray Tube 阴极射线管,扫描显示一幅图像称为 1场
LCD, Liquid Crystal Display 液晶显示器,液晶本身不发光,需要使用背光源
OLED, Organic Light-Emitting Diode 有机发光二极管,可以自发光,不需要使用背光源
*帧率 FPS(Frames Per Second)**: 每秒闪过的图像数量
隔行扫描: 也称,交错扫描,一场扫描奇数行另一场再扫描偶数行(受早期CRT技术的限制)
对于LCD,也是一行一行地刷新显示,屏幕的分辨率一般采用 宽*长 来表示
如,1080p(19201080)、720p(1280720),其中 p 指的是 逐行扫描 ,若是 1080i 则 i 表示的是 隔行扫描
对于扫描完整的 1帧 图像,主要是由图像的高度决定,即行数决定,所以常常将 1920*1080 称为 1080p
若一块屏幕的分辨率达到 300ppi 以上,我们称之为 视网膜屏。
ppi (Pixel Per Inch, 每英寸像素数,也称 dpi Dots Per Inch) 是描述最高分辨能力的单位
视力为1.0的人观看离双眼10~12英寸(约25~30厘米)的手机屏时,最高能分辨300ppi。只有当图像与显示器的分辨率匹配时,才能达到最好的显示效果。
目前,视频一般都在 25fps 以上,若要传输一帧为 1080p 的图像,并采用 8位色深的 RGB 格式存储,
产生的数据量是 25 * (1920 * 1080) * 3byte = 155’520’000byte 约为 150MB
视频传输速率一般以 bit/s (Bits Per Second) 来计算,则需要至少 1’244’160’000bit/s 约为 1200Mbit/s 的带宽作为支撑
为降低存储空间以及传输带宽占用,需要采用视频压缩(视频编码)技术
常用的视频压缩原理是 运动估计和运动补偿
主要原因有两点:
- 人眼并不是对所有颜色都敏感,因而可以去掉一些颜色,对图像进行压缩,这称为有损压缩,也是一些典型图像如JPEG的主要压缩原理
- 一般来说,两帧图像间的差异其实不大,可以根据这个特性,只存储或传输图像间的差异信息,而不是整帧图像。
由此,我们也可以知道,实际占用的带宽与视频的复杂度(画面细节、运动快慢程度等)和帧率、分辨率都是正相关的
在音视频应用中,视频在传输到对端后要进行 解码 ,即将压缩过的视频再转换成一帧一帧的图像,才能送到显示器上显示
整个过程合起来称为 编解码
需要 编解码 的视频图像一般不使用RGB色彩空间,而是使用一种称为 YUV 的色彩空间,
两者之间有直接的对应关系,但由于转换过程涉及浮点运算,转换是有损的,但对人眼来说几乎无法分辨,因而是完全可以接受的
YUV也是一种颜色编码方法,Y 表示 明度 ,U 和 V 则分别表示 色度 和 浓度 。
不同于RGB图像一般按像素存储(如RGB’RGB’RGB’RGB),YUV图像一般按 平面 存储,
即将所有的Y放到一起,所有的U放到一起,所有的V放在一起(如YYYYUUUUVVVV),其中每一部分称为一个平面。
这种存储方式的一个好处就是,在广播电视中,当接收到一帧图像时,黑白电视机只需要播放Y平面(黑白图像),而忽略代表颜色的U和V平面。
当然,彩色电视机则需要播放所有平面的数据。
| 分量 | 含义 | 说明 |
|---|---|---|
| Y | 亮度/明度 | 表示灰度、明暗 |
| U | 蓝色色差,约等于 Cb | 参与表示色度 |
| V | 红色色差,约等于 Cr | 参与表示色度 |
| U+V | 色度 | 共同表示色调和饱和度 |
| 彩度 | 饱和度 | 是色度的一部分,不等于 V |
一般所说的 YUV 指的都是 YCbCr
而Y来自RGB的加权和,根据人眼的感光能力得到
Y = 0.299R + 0.587G + 0.114B
U = B - Y (蓝色色差)
V = R - Y (红色色差)
Y是黑白底色,表示像素的明亮程度,U/V表示应该向B/R偏移多少,若某个像素的色差为0,则它没有偏色,只表现出原RGB对应的黑白灰色
如,纯红色在YUV色彩空间中表示为
1 | R = 255, G = 0, B = 0 |
YUV和Y’UV通常用来编码电视的模拟信号。Y’表示经过了gamma矫正
YCbCr 则用来描述数字影像信号,适合数字化的视频与图片压缩及传输,如MPEG、JPEG
数字化的 YUV 使用得更加广泛
YUV中UV分量数值分布平面图
RGB转YUV平面
GoP Group of Picture: 分组后的图像,主要是为了解决视频图像编码后的前向依赖问题导致的解码时,若出现前向编码中的某些帧丢失,导致的花屏现象
I帧: 可单独解码的图像帧,不依赖前后图像,作为 GoP 的 第一帧 也称为 关键帧 Key Frame (GoP每隔一定数量的图像就会对一幅完整的图像进行编码)
关键帧 Key Frame: 在H.264中一般称为 IDR帧 Instantaneous Decoding Refresh 即,立即刷新图像
I帧: Intra-coded picture ,与IDR帧有所区别,IDR帧是I帧的子集
每个GoP里的第1个I帧是IDR帧,后续的I帧虽然能独立解码,但它前/后面的P/B帧可能会参考I帧后/前面的帧,但GoP内的帧参考不会跨越IDR帧
P帧: 前向预测编码图像的帧
B帧: 双向预测编码图像的帧,压缩率更高
由于B帧需要参考后面的帧,收到B帧后不能立即解码,在实时音视频应用中会带来延迟,因而在实时通信中一般不使用B帧
I P B 帧之间的关系
The Audio
声音由振动产生,为了将现实世界中的音频(连续的)放到数字世界(离散的)中,
需要执行一个 模数转换 Analog-Digital Conversion,ADC操作
DAC 数模转换 <=> ADC 模数转换
执行的是模拟信号与数字信号之间的相互转换
波,由 相位 频率 振幅 构成
可以通过 傅里叶变换 FTT 将任何波形都分解为有限/无限个正弦波的组合
声音大小的变化不是线性的,声音的刺激与人耳听到的感觉并不是线性的,而是呈 对数关系
通过采样、量化和编码3个步骤,可以将模拟信号转换为数字信号
采样: 在时域中按一定时间间隔(T)对信号进行抽样,得到离散值
将采样得到的离散值通过量化与编码过程转化为数字信号
单位时间内的抽样次数称为 采样率
采样率越高,单位时间内采样点越密,得到的离散信号就与原信号越接近
抽样定理 (采样定理或奈奎斯特·香农定理):
当抽样频率是模拟信号频率带宽(最高频率与最低频率的差值)的 两倍 时,就能够完全还原原来的模拟信号
数模转换通常使用 PCM Pulse Code Modulation 脉冲编码调制 方法
颜色所使用的位数就称为颜色的 位深
*FourCC Four Character Code 四字符编码,一个32位无符号整数,使用大端序编码4个ASCII字符序列
数字 YCbCr 中,通常会给色差加上 128 偏移
- Cb = 128 表示没有蓝色色差
- Cr = 128 表示没有红色色差
| 色差 | 大于中性值 | 小于中性值 |
|---|---|---|
| Cb / U | 偏蓝 | 偏黄 |
| Cr / V | 偏红 | 偏青 |
实际的数字YUV计算为,其中的RGB值是经过gamma矫正后的:
- Y = 0.299R + 0.587G + 0.114*B
- U = -0.169R - 0.331G + 0.5*B + 128
- V = 0.5R - 0.419G - 0.081*B + 128
gamma矫正 是一种针对图像或视频帧的预失真校正。
CRT显示器所产生的信号强度不是输入电压的线性函数,相反,它与信号幅度的功率成正比,也简称为伽玛。
另外,人眼对光的强度的感知程度也不是光的强度的线性函数,人眼在黑暗环境下的辨识能力要强于明亮环境,因此也需要对颜色进行校正。
相对于Y来说,人眼对UV不大敏感,
因此,可以在图像存储时 降低UV分量的分辨率(采样率) ,以节省存储空间,
而这种降采样后的图像看起来与原图像没有多大差别。
YUV的像素存储格式一般采用 A:B:C 表示法(表示采样的方式),根据采样和降采样的程度不同,以及像素排列格式的不同,有很多不同的表示
像素图像编号示意图![]()
Y 亮度信号尽量保持全分辨率,U/V(Cb/Cr)色度信号按不同比例降采样
表示色度相对于亮度在水平、垂直方向被压缩了多少。
总体原则:
- Y:每个像素都保留,不降采样
- U/V:成对出现,一个“色度样本”包含一组 Cb、Cr
- 采样格式:描述的是每多少个 Y 像素共享一组 Cb/Cr
Y图层始终保持全尺寸,而U/V图层可能变小
- YUV444
FourCC: 有YUYV、YVYU、UYVY、VYUY等
水平,每4个像素中,Y取4个,U取4个,V取4个
Y平面:
Y11 Y12 Y13 Y14
Y21 Y22 Y23 Y24
Y31 Y32 Y33 Y34
Y41 Y42 Y43 Y44
U平面:
U11 U12 U13 U14
U21 U22 U23 U24
U31 U32 U33 U34
U41 U42 U43 U44
V平面:
V11 V12 V13 V14
V21 V22 V23 V24
V31 V32 V33 V34
V41 V42 V43 V44
- YUV422
FourCC: Y422
Y平面:
Y11 Y12 Y13 Y14
Y21 Y22 Y23 Y24
Y31 Y32 Y33 Y34
Y41 Y42 Y43 Y44
U平面:
U11 ___ U13 ___
U21 ___ U23 ___
U31 ___ U33 ___
U41 ___ U43 ___
V平面:
V11 ___ V13 ___
V21 ___ V23 ___
V31 ___ V33 ___
V41 ___ V43 ___
- YUV411
FourCC: Y411
Y平面:
Y11 Y12 Y13 Y14
Y21 Y22 Y23 Y24
Y31 Y32 Y33 Y34
Y41 Y42 Y43 Y44
U平面:
U11 ___ ___ ___
U21 ___ ___ ___
U31 ___ ___ ___
U41 ___ ___ ___
V平面:
V11 ___ ___ ___
V21 ___ ___ ___
V31 ___ ___ ___
V41 ___ ___ ___
- YUV420
实质上是包括了 4:2:0 + 4:0:2 两种情况
实际采样邻近4像素的左上角部分
Y平面:
Y11 Y12 Y13 Y14
Y21 Y22 Y23 Y24
Y31 Y32 Y33 Y34
Y41 Y42 Y43 Y44
U平面:
U11 ___ U13 ___
___ ___ ___ ___
U31 ___ U33 ___
___ ___ ___ ___
V平面:
V11 ___ V13 ___
___ ___ ___ ___
V31 ___ V33 ___
___ ___ ___ ___

| 格式 | Y 平面 | U/V 平面 | 共享方式 | 平均每像素色度样本 |
|---|---|---|---|---|
| 4:4:4 | 宽 * 高 | 宽 * 高 | 每个 Y 独立 U/V | 1 个 U + 1 个 V |
| 4:2:2 | 宽 * 高 | 宽/2 * 高 | 水平每 2 个 Y 共享 | 0.5 个 U + 0.5 个 V |
| 4:1:1 | 宽 * 高 | 宽/4 * 高 | 水平每 4 个 Y 共享 | 0.25 个 U + 0.25 个 V |
| 4:2:0 | 宽 * 高 | 宽/2 * 高/2 | 每 2*2 个 Y 共享 | 0.25 个 U + 0.25 个 V |
RGB颜色模型的主要用途是在电子系统中检测、表示和显示图像,
其原理是利用 大脑强制视觉生理模糊化(失焦) ,将红、绿、蓝三原色子像素合成一个色彩像素,产生感知色彩
(其实此真彩色并非加色法所产生的合成色彩,因为该三原色光 从来没有重叠 在一起,只是人类为了“想”看到色彩,大脑强制眼睛失焦而形成的)
RGB是一种 依赖于设备 的颜色空间,不同设备对特定RGB值的检测和展现不一样,不同设备的每像素的RGB排列方式不同
三原色的原理不是由物理原因,而是由生理原因造成的,人的眼睛内有3种辨别颜色(黄绿、绿和蓝紫)的锥形感光细胞
三原色并不足以重现所有的色彩,只有那些在三原色的色度所定义的颜色三角内的颜色,才可以利用三原色的光以非负量相加混合得到
所以,人眼看到红光与绿光混合出黄光,仅仅是对视锥细胞的一种等效
全值域色彩空间:每个原色都能取到 0-255
RGB也通常被映射到 [0, 1] 之间
由于gamma矫正的非线性影响,每个原色的256个级别不能表示同等间隔的强度
数字视频的RGB不是全值域的。视频RGB使用有比例和偏移量的约定,即(16,16,16)是黑色,(235,235,235)是白色。
gamma矫正示意图
在CRT显示器中,色彩的亮度跟输入电压的关系不是线性的,而是呈指数关系,这个 指数 就称为gamma
伽玛是一个经验值,而不是用数学公式计算出来的
一般gamma = 2.5 或 2.2,业界通常使用 2.2
照相机的感光器件是线性的,得到的是线性的RGB图像
经过伽玛校正后的图像所使用的RGB空间是非线性的,称为sRGB(Standard RGB)
矫正后的值 = 矫正前的值^0.45 (0.45 = 1/2.2, 此处值域为[0,1])
实际的图像都是使用非线性的sRGB空间(包括使用调色板选择颜色时),而在做图像计算和处理(比如将亮度加倍)时,则使用线性RGB空间更方便
HSL 与 HSV 色彩表示
RGB色彩空间对人来说并不直观,所以引入HSL/HSV模型来表示色彩,更适合人类感知
- H Hue 色相
- 色彩的基本属性,即颜色名称
- S Saturation 饱和度
- 色彩的纯度,越高色越纯,越低越灰
- L Lightness 亮度
- 最大通道和最小通道的平均
- 更接近人眼的视觉
- V Value 明度 / Brightness
- 最亮通道的亮度
- 只表示该颜色离黑色有多远
HSV也称HSB
HSV更偏向于画家调色 1.选纯色 2.加白S 3.加黑V
HSL是从明暗角度设计的 L是整体明暗
HSL和HSV二者都把颜色描述为圆柱坐标系内的点,
这个圆柱的中心轴取值范围为自底部的黑色到顶部的白色,而在它们中间的是灰色,
绕这个轴的 角度 对应 色相 ,
到这个轴的 距离 对应 饱和度 ,
而沿着这个轴的 高度 对应 *亮度 色调 或 明度
这两种表示的目的类似,但在方法上有所区别。
二者在数学上都是圆柱,但 HSV 在概念上可以被认为是颜色的 倒圆锥体 (黑色在下顶点,白色在上底面圆心);
而 HSL 在概念上表示一个 双圆锥体和圆球体 (白色在上顶点,黑色在下顶点,最大横切面的圆心是灰色)。
注意,尽管在HSL和HSV中“色相”指相同的性质,但它们的 饱和度 的定义是明显不同的。
HSL 与 HSV
HSV
HSV色轮
因为HSL和HSV是 设备依赖的RGB的简单变换 ,
(h, s, l)或 (h, s, v)三元组定义的颜色依赖于所使用的特定红色、绿色和蓝色“加法原色”。
HSV更常用
每个独特的RGB设备都伴随着一个 独特的HSL和HSV空间。但是 (h, s, l)或 (h, s, v)三元组在被约束于特定RGB空间比如sRGB的时候就更明确了。
在互联网上的实时音视频应用中,当网络条件不好时(拥塞、丢包),
通信双方会协商降低码率,相应地可能会降低分辨率和帧率,降低分辨率会导致模糊,降低帧率会导致画面跳跃(卡顿), 但总比花屏或长时间卡住要好。
这种 非恒定的 码率 和 帧率 就称为
- 可变码率(Variable Bit Rate,VBR)
- 可变帧率(Variable Frame Rate,VFR)
在视频编码时,每帧被编码的图像都有一个 时间戳 ,以便在播放时能正确地显示时间。
时间戳可以是真正的钟表时间(一般使用相对时间),在帧率恒定的情况下也可以直接使用1、2、3、4……这样的连续时间戳,
这个时间戳就称为 PTS Presentation Time Stamp ,即 播放时间
有些视频编码(如H.264和H.265)中有B帧。
解码器在收到B帧后不能直接解码,而是要等到收到它后面的与之相关的P、B帧后才能解码,
也就是说,如果解码器收到帧的顺序是IBBP,实际的解码顺序是IPBB,但播放顺序仍是IBBP,
这就是播放时间和解码时间不一致的现象。每帧图像也有一个 独立的解码时间戳 ,即 DTS(Decode Time Stamp) 。
在没有B帧的情况下,PTS和DTS可以是相同的。
像素密度的数值高,图片和视频的清晰度就高。
在提到显示分辨率的时候,人们常常会提到宽高比,即 DAR(Display Aspect Ratio)
当人们日常看电视和计算机屏幕中或打印机打印出来的视频图像的时候,同一张图像会有颜色差异,甚至不同的计算机屏幕、不同的电视看到的视频图像有时也会存在颜色差异。
之所以会出现这样的差异,主要是受到了 色彩空间参数 的影响。
这里说的色彩空间也叫 色域 ,就是指某种表色模式所能表达的颜色的范围区域,也指具体设备,如显示器、打印机等印刷和复制所能表现的颜色范围。
声道 Sound Channel 是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号,
声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。
采样率 使用 Hz 表示
比特率(码率) 使用 bps 表示
在数字音频领域,常用的采样率如下。
- 8000Hz:电话所用的采样率,对于人说话的声音已经足够。
- 11 025Hz:AM调幅广播所用的采样率。
- 22 050和24 000Hz:无线电广播(FM调频广播)所用的采样率。
- 32 000Hz:MiniDV数码视频Camcorder、DAT(LP模式)所用的采样率。
- 44 100Hz:音频CD所用的采样率,也常用于MPEG-1音频(VCD、SVCD、MP3)。
- 47 250Hz:Nippon Columbia(Denon)开发的世界上第一款商用PCM录音机所用的采样率。
- 48 000Hz:MiniDV、数字电视、DVD、DAT、电影和专业音频所用的数字声音采样率。
- 50 000Hz:20世纪70年代后期出现的由3M和Soundstream开发的第一款商用数字录音机所用的采样率。
- 50 400Hz:三菱X-80数字录音机所用的采样率。
- 96 000或192 000Hz:DVD-Audio、一些LPCM DVD音轨、蓝光光盘音轨和HD-DVD(高清晰度DVD)音轨所用的采样率。
- 2.8224MHz:SACD、索尼和飞利浦联合开发的,被称为Direct Stream Digital的1位Sigma-Delta调制过程所用的采样率。
44100 == 2^2 * 3^2 * 5^2 * 7^2
采样位深: 每个采样点用多少位来表示
存储空间 == 声道数 * 采样率 * 采样位深 * 时长
带宽 == 存储空间 / 60s
要注意,在一些人工智能应用中需要用到语音识别时,尽量不要重采样或使用有损压缩,那样会影响识别的准确率。
所有的概念和原理都来源于人们的生产和生活,而数字化则是对现实世界的抽象和映射。在从现实到抽象的过程中,不可避免地会“丢失”一些信息,但同时也给人们带来了标准化和规范化,以及更多的想象空间。通过数字世界的存储,人们可以“看”到历史上世界的样子;通过远程音视频的传输,人们可以实时地看到远处的世界,并可以与世界各个角落的人实时互动交流。打破时间和空间的限制,这就是音视频数字化最大的意义。