多媒体开发(14):媒体格式的概念

释放双眼,带上耳机,听听看~!

之前讲了一些音视频的录制操作,还有声音采集的概念。采集只是多媒体操作流程中的一个环节,更多的环节可以看看这个图:
多媒体开发(14):媒体格式的概念

声音或视频采集后,就是编码、写文件或推流。不管是编码还是写“文件”,你都能找到相应的程序(比如FFmpeg)来完成,一般加上自己的业务代码就能实现自己的功能需求。那就没有东西好说的了?

没东西说怎么行,怎么骗到粉丝?于是,我决定说一些概念上的东西,虽然它很枯燥,但对于你理解大局或吹牛都很实用,希望你继续看完这篇文章,再留言对小程讽刺一翻。

本文介绍音视频常见的编码格式与容器格式。

声音或图像在采集后需要进行编码压缩,这个格式叫作编码格式,或压缩格式。压缩后的数据一般需要保存到文件,或者以文件的组织(比如一些tag或box)形式来传输,这就好像把编码后的数据放到一个容器中一样,所以这个叫容器格式或封装格式。

编码的目的是为了节省体积或带宽

一般一首歌曲4分钟,如果不对它进行压缩,以pcm格式采集后就保存起来,那这个文件占多大体积呢?

以44100的采样率、双声道跟16位采样精度(2字节)来计算:44100*2*2*(4*60) = 40.37MB。

也就是说,如果没有编码压缩,一个一般的音频文件就占了40m,那“磁盘容量不足”极有可能成为突出问题;如果在网络上传输,那带宽成本就会成为问题。

那如果经过编码,可以节省多少体积呢?以常见的mp3编码格式来看,按mp3的十分之一的压缩率,可以把40m的大小变成4m大小,节省的体积十分明显,空间不足的警报解除了。而压缩率可以大概计算出来(以128kbps来算):44100*2*2/(128000/8*1) = 11。此外,从压缩的角度,压缩算法决定码率与质量;从传输角度来看,码率表示我1秒钟要表达这么多bit,如果你网络在1秒钟内不能传输这么多bit(比如要下1秒才能传递完),那播放就一定会卡顿(没有缓存处理的情况下),而能不能传输这么多bit,跟带宽直接相关。

多媒体开发(14):媒体格式的概念

所以,减肥是有必要的。那么,有哪些减肥(编码)格式呢?

(1)pcm

多媒体开发(14):媒体格式的概念
pcm(脉冲编码调制)是特殊的编码格式,因为它没有压缩数据,没有减肥效果,它是釆集声音时表示电平值的一种格式,也是其它编码格式的原始数据。如果再深入一点,你会发现这一堆pcm值反映了能量的大小与变化的规律,这是另一个话题。

(2)mp3

mp3是mpeg制定的压缩标准。

mpeg,动态图像专家组,从属于ISO标准化组织,主要工作是制定视音频压缩编码标准。还有一个jpeg,是静态图像专家组。你不要小看标准,得标准者得天下,为什么要争5G标准?

mpeg标准的版本有:mpeg1/2/4/7/21,但是,没有mpeg3,而mpeg2.5是非官方版本,是mpeg2的扩展。

我们经常说的mp3,在它之前,还有mp1与mp2。

mp1/mp2/mp3,一般都指mpeg-1 audio layer1/2/3,都是基于mepg1标准。layer1/2/3的区别是编码的复杂度不一样,由低到高,layer3的复杂度最高,使得它编解码时会更耗时耗力,但它编码时可以用更小的体积来达到相同的质量。

注意,mp3并不是指mpeg3标准,实际上不存在mpeg3标准,而mp3是基于mpeg1标准,一般来说mp1与mp2也是基于mpeg1标准。mp3全称是:mpeg-1 audio layer3。

mp3的压缩,大概来说,就是把时域波形转换成频率数据,再把高频段与低频段加大压缩力度(特别是高频段),对不同频段使用不同的压缩比例,为有损压缩,压缩率达1:10或更高。

(3)aac

多媒体开发(14):媒体格式的概念

Advanced Audio Coding,目标是取代mp3,而且似乎真的做到了,现在aac编码格式得到广泛使用(h264搭配aac到处可见),你唯一要担心的是aac编码的授权费的问题。

aac在mpeg-2与mpeg-4标准中都有涉及。从编码的角度,lc-aac(低复杂度的aac)使用最为广泛,此外还有he-aac(高性能的aac)、main-aac、ssr-aac之类规格的编码格式。

(4)ac3

ac3, 全称是Audio Coding version 3,是杜比(Dolby)实验室制定的有损音频编码格式。

ac3广泛应用于5.1声道(前左右、后左右、中低音),也是电影院专属编码格式。

(5)ape/flac

多媒体开发(14):媒体格式的概念

ape与flac都是无损压缩,也就是能还原出原始的pcm数据。

ape,全称就是ape,猿的意思,所以也叫Monkey。

flac,Free Lossless Audio Codec(无损音频压缩编码)。

想听高品质的音频,ape与flac是很好的选择。

(6)wma

wma,Windows Media Audio,是微软力推的一种音频格式。wma是有损压缩,压缩率可达1:18,比mp3更高,但未必音质就更好。

(7)amr

amr,Adaptive Multi-Rate,由欧洲通信标准化委员会提出,在移动通信系统中广泛使用的语音标准。

amr(分wb或nb)编码时,支持的参数是有限制的,比如nb最高的采样为8000,比特率最高为12200,声道数为1。

amr最大的特别就是体积小,音质差。在语音通话中(直播或本地存储)经常使用到。

多媒体开发(14):媒体格式的概念

以上,小程介绍了编码格式,接下来介绍容器格式

容器格式也叫封装格式,因为把编码数据给封装起来了。一个封装格式往往可以支持多个编码格式。

(1) mkv

mk,是matroska的缩写。matroska封装格式,是CoreCodec公司制定的格式,俗称“万能的容器”,基本上支持所有编码格式。

mkv,是视频容器,一般也包括音频与字幕,是matroska格式中应用最广泛的一种。

mka,只包括音频的matroska格式,可以包括多个音轨,比如国粤英三个音轨。

mks,只包括字幕流的matroska格式。

(2)mp4

mp4,是动态图像专家组(mpeg,从属于ISO)制定的封装格式。

mp4对编码格式有要求,只支持基于mpeg4的编码格式,比如视频的h264,音频的aac。对于其它编码格式,并非官方支持,比如ac3、mp3等。如果硬把非官方支持的编码格式塞到mp4容器,难以保证一定能被播放。

mp4对编码格式要求明确,是它能广泛应用的一个原因,特别在移动平台,比如ios系统上。

mp4如果只有音频,则文件有可能以m4a作为后缀,这是苹果公司起的名字,用来区分带有视频的一般的mp4。所以m4a文件也是mp4文件,从容器的角度。一般m4a里面的音频是aac压缩格式,但不排除塞了mp3、applelossless等格式的数据。

(3)ts

ts,transport stream的缩写,即传输流,从名字就知道它可以用于网络播放。

ts,全称是mpeg2-ts,早期广泛应用于数字电视,视频编码格式为mpeg2。

苹果公司制定的hls协议,使用ts作为数据的封装格式,同时也简化了ts的设计,让这种格式广泛应用于在线直播。简化后的ts,视频编码格式为h264,音频为aac或mp3。

每个ts包,能单独解码与播放。

(4)flv

flv,FlashVideo的缩写,是Macromedia公司(2005年被Adobe收购)制定的视频封装格式。

flv被广泛应用于网络视频播放。flash插件播放器的出现,使得在浏览器上可以轻松观看在线视频,免去安装本地播放器的麻烦。而flash播放器使用flv容器。

直播的兴起,也影响了flv的使用,比如rtmp流协议,使用的是flv封装格式。

(5)avi

avi,Audio Video Interleaved,即音视频交错格式,微软在1992年发布的封装格式,基于riff文件格式。

历史久远,但简单的开发接口与windows平台的影响,还有不少忠实粉丝。

好了,差不多了。

为什么有如此多的封装格式或编码格式呢?一来不同的应用场景的确需要不同的格式,二来同样的场景,大公司都会制定自己的标准并成为专利(抢先成为行业标准),不会屈服于别家的规则,这是标准啊!

总结一下,没什么好说的,通篇都是编码格式与封装格式的概念知识。

多媒体开发(14):媒体格式的概念

给TA打赏
共{{data.count}}人
人已打赏
随笔日记

Vue组件化开发

2020-11-9 5:16:26

随笔日记

康得新又一笔资金打水漂 这次原因在二股东?

2020-11-9 5:16:28

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索