AV1生态现状概览
AV1(Alliance for Open Media Video 1)是 2018 年6月由AOM联盟(Alliance for Open Media,开放媒体联盟)发布的新一代视频编码标准。到今天为止,AOM联盟共有45家会员加入,其中13名理事会成员(Board Members),或称为创始成员(Founding Members),以及32名Promoter会员。
截止到2020年10月,AOM联盟成员
AOM于2015年下半年成立,汇集了世界拥有顶尖技术的高科技公司,致力于联合开发制定开放、免除版税、跨平台的多媒体编码和传输标准和工具。AOM成员的共同理想是提供更加高效、低成本、高质量的标准方案,以服务不同市场领域、各类平台的音视频需求。
AV1的零号版本,是由VP9的开源编解码代码库libvpx衍生而来,还吸纳了Google VP10、Mozilla Daala以及Cisco Thor三款开源编码项目中的研发成果。至2018年6月AV1封稿,AV1相比其前身VP9,一共推出了100多个崭新的编码工具。比如,AV1打破了之前编码标准中传统的二维运动矢量模型的限制,第一次引入了仿射变换运动模型,不仅可以描述平移运动,同时可以更好的表述如旋转、缩放等更加复杂的运动,有效的提升了视频编码效率。再比如,传统编码标准中对于图像帧的宏块分割,只允许正方形或长方形的分割形状,而AV1第一次引入了基于Wedge的楔形分割,允许运动估计在更丰富的分割形状区域中完成,从而更接近不同运动物体的真实形状,对运动估计更加精准,同样有助于显著提升编码效率。AV1也是第一款将屏幕内容编码(Screen Content Coding, SCC)工具,以及Film Grain在编码标准主体中推出的视频编码标准。因此,任一AV1标准解码器,均需要支持SCC以及Film Grain。
无论是多先进的标准,都需要一个完整的、可持续的生态体系来支撑。AOM会员涵盖了视频从采集制作、传输分享到播放消费的完整生态系统,其中包括视频内容服务商:如谷歌(YouTube)、Netflix、亚马逊(Amazon Prime Video)、Facebook、Hulu、爱奇艺等;浏览器提供商:如谷歌(Chrome)、苹果(Safari)、微软(Edge)以及Mozilla(Firefox);硬件制造商:如Intel、AMD、NVIDIA、ARM、SAMSUNG、Xilinx以及Broadcom等;云服务商:如北美的亚马逊(AWS)、微软(Azure)、谷歌(GCP)、IBM,以及中国的阿里(阿里云)、腾讯(腾讯云)、金山云等;同时包括思科等网络与系统提供商。AV1具备着天然的生态优势。
AV1标准距2018年6月发布,已有2年多时间。AV1新推出的众多编码工具,使得AV1不仅仅是一款开源、免版税的新标准,同时也代表了业界最新的编码技术。这些工具使得AV1相对之前推出的视频编码标准,对于同样的视频内容可以更加有效的表达,即利用更低的码率、更低的带宽,可以传达相同甚至更高质量的视频信息。这些新工具的使用,也给AV1编解码器带来了复杂度优化上的挑战,如何面对不同实用场景,满足相应计算复杂度的要求,同时保持AV1编码标准的优势,是AV1编解码器实现的首要目标。
从编码器来说,AOM及其会员,基于AV1标准先后推出了多款开源软件编解码器,其中包括:
1、libaom:是AV1标准制定过程中的主要开源编解码代码库,由AOM联合打造、维护,是目前AV1工具实现最完整的一款开源软件编解码器。包括编码器aomenc和解码器aomdec。
2、SVT-AV1:由Intel、Netflix主导的AV1开源编解码器,致力于AV1编码器在服务端的高速实现,尤其是其多线程并发能力,适用于服务端的点播、直播转码,目前已被AOM 软件实践专家组(Software Implementation Work Group, SIWG)确定为基本代码库,致力于开发可落地实用场景的AV1软件编解码器,以提升AOM整体社区影响力,带动AV1生态的迅速拓展。
3、rav1e:起始由Mozilla主导,现在主要由VideoLan接管的AV1开源编码器,尤其致力于AV1编码的简捷实现,以对硬件友好的操作去实现编码优化为主要准则。
AV1编码算法一直在不断优化中。以libaom为例,从2019年1月至2020年5月,libaom编码速度实现了数倍的增长。与此同时编码效率从标准衡量角度,实现了10%以上的提升。2020年上半年,libaom还同时推出了RT(real-time)实时档,直接促成了AV1在谷歌实时视频通话产品DUO中的采用。虽然AV1在DUO中的应用,目前还只是基于小分辨率、低码率场景,AV1在DUO中的示范落地,彰显了AV1在不同场景中的实用潜力。2020年5月起,AV1进入了2.0时代。
微帧科技也打造了自己的AV1编码器 —— Aurora,并获得业界最具影响力的MSU(Moscow State University,莫斯科国立大学)视频编码器评测2019年高清类慢速档主观冠军、4K类慢速档全部客观指标(SSIM/PSNR/VMAF)冠军,最新结果在2020年3月MSU网站上公开发布。对比开源编码器,Aurora在编码速度及压缩率上体现出比较大的优势,目前已经具备在直播、点播以及RTC领域服务端、PC客户端及手机终端上的商用落地条件。
从解码器来看,目前已知的AV1开源软件解码器有4个,除去由AOM会员联合打造的libaom/aomdec外,还有另外三款致力于实用场景落地的AV1开源解码器:
1、由Intel和Netflix主导的SVT-AV1(既包含编码器也包含解码器);
2、由VideoLan、FFmpeg主导、AOM资助的dav1d,目前也是业内公认的性能优秀的AV1开源软件解码方案,已被包括Chrome在内的多个平台集成采用;
3、由谷歌主导的libgav1开源解码器,特别适用于Android平台使用。
任何一款视频编码标准,均以其硬件编码器的推出和广泛推广为其生态建立的标志。2020年以来,业界最关心的AV1硬解生态得到显著突破,业界头部的硬件厂商,包括Intel、AMD、NVIDIA、MediaTek、SAMSUNG等纷纷加入AV1硬件解码器支持行列。有了硬件支持,AV1编码才算真正拥有广泛应用的基础。
2020年下半年发布的AV1硬解设备支持情况
Qualcomm虽未宣布对AV1的支持,不过据业界相关人士透露,2018年起,Qualcomm一直在关注AV1的发展动态。与此同时MediaTek 1000 Dimensity芯片系列的推出,以及被中国市场多家OEM的采用,对Qualcomm支持AV1是绝对的督促作用。另一方面,苹果是AOM理事会成员,到目前为止,苹果的MacOS、iOS平台,以及苹果Safari浏览器,尚未支持AV1解码及播放。回想起来,苹果在2018年初宣布加入AOM,在业界的震动不小。苹果一般从不提前宣布自己新产品的细节,直到产品发布会当天,一般不会有苹果新产品的官方讯息。不过据业界相关人士透露,相比AV1标准,苹果对刚刚开始的AOM/AV2最新标准的制定的专注度有大幅提升。
在硬件生态之外,目前业界已有多个视频播放软件和平台宣布支持AV1视频播放,包括Mozilla的Firefox浏览器,Chromium浏览器内核,微软Windows10平台,以及Android Q系统。FFmpeg也早已支持AV1。视频内容方面,YouTube、Netflix、以及国内的爱奇艺等,都在积极的增加AV1视频的内容量,其中YouTube几乎所有的热门视频,分辨率至高清1080p,甚至有些内容支持超高清2K/4K,都有AV1格式的版本。爱奇艺也于今年4月,在电脑浏览器端、安卓移动端上线AV1视频编码格式,成为国内首家应用AV1的视频网站。
对于“Geek”工程师们来说,可以尝试一个有趣的实验,在使用相对高端的PC或者在手机端用Chrome浏览器观看YouTube视频时,用鼠标右键打开视频统计信息("Stats for nerds"),查看当前视频内容的编码格式。我们可以通过观察视频是否显示为AV1("av01")编码,来判断当前视频是否热门。概率上讲,仅从观看次数(views)作判断,没有AV1标识讯息来得精准,因为观看次数是累计结果,有些视频观看次数累计多,但可能已过气,而有些热门视频发布时间不久,累计次数可能还并不惊人。
NGCodec前创始人Oliver Gunasekara曾在2019年8月LiveVideoStack北京音视频技术大会上做了主题为“Recent Trends In Live Cloud Video Transcoding” (实时云端视频转码最新趋势)的演讲。在演讲中给出了近年来流媒体市场视频编码标准占有率的统计数据以及未来三年的预测数据。
无论现在还是可以预见的未来,多编码标准共存、群雄逐鹿的发展态势在所难免。2020是非常特殊的一年。对于AV1编解码器生态来讲,可以说是起步和发展的一年。到目前为止,Oliver的预测基本准确。AV1软件编码器的开发和持续优化、AV1的硬件解码器的密集发布、多个视频播放软件和平台对AV1的支持,在一定程度上预示着AV1的生态正在逐步建立。