AV1,实时编码READY

AV1,实时编码READY点击上方“LiveVideoStack”关注我们一款编码器的成功,不仅需要大量的金钱,还需要耐心。AV1定稿三年后,是时候为它庆祝了。文|包研不知不觉,距离AV1完成定稿已经过去了三年…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

AV1,实时编码READY

点击上方“LiveVideoStack”关注我们

一款编码器的成功,不仅需要大量的金钱,还需要耐心。AV1定稿三年后,是时候为它庆祝了。

文 | 包研

不知不觉,距离AV1完成定稿已经过去了三年多,这个新的视频编码标准已经获得了工业界认可,换句话说:AV1成功了。

 

AV1,实时编码READY

 

截止到2021年8月27日的AOMedia成员名单(图片来自AOMedia官网)

 

2018年3月28日,AOMedia(简称AOM)在其官网上发布消息,AV1完成定稿,并开放了相关规格和参考代码。一个时代开始了。在过去三年间,AOMedia不断迎来新会员加入,其中不乏重量级的国内企业;AV1算法不断优化,大幅度降低了计算复杂度,包括点播场景和实时场景都可在生产环境中应用,我们也看到如Netflix、Facebook、Google、微软等巨头不断在内部部署AV1;一年一度的MSU视频编码大赛从在2017年开始也引入了AV1标准,MSU编码大赛被认为是最权威的视频编码器评测机构。种种迹象表明,AV1已经成为重要的编码器之一。

 

AV1的成功,要得益于HEVC混乱的专利授权机制,并且很好的抓住了VVC成熟之前的时间窗口。相比于HEVC,AV1打出了开源、免专利费的杀手锏。尽管存在一定的专利争议,比如Sisvel就宣布建立了AV1专利池并开始收费。但在Google和众多巨头组成的AOMedia拥有越来越强的谈判筹码,目前没有因AV1专利引起的诉讼的公开报道。LiveVideoStack曾经询问过关于AV1专利的争议,一名Google多媒体组的工程师告诉LiveVideoStack:所有与专利相关的询问都将由法务团队回复。

     突破

相对于单纯的提升编码效率(压缩率),提供低延时、高压缩率的编码能力要困难的多。回顾AV1的发展历史,最先应用AV1的是在点播场景下的视频压缩,Netflix和Intel在2019年共同宣布了SVT-AV1计划,通过在服务端大量并行的CPU来加速AV1编码,Netflix也被认为是最早的应用AV1的长视频平台,他们在2016年就宣布拥抱AV1,并在2020年再Android平台上部署AV1。YouTube、Facebook、Vimeo、爱奇艺先后宣布支持AV1。Twitch计划在2022年或2023年让最火爆的视频支持AV1,全面支持AV1将于2024-2025年实现。

AV1,实时编码READY

YouTube AV1视频的观看时长趋势(图片来自Matt Frost在AOM Summit 2021上的分享)

 

云平台方面,阿里云、腾讯云、AWS等云平台先后在2019年至2020年推出了AV1的视频转码方案,当然这些服务都仅能实现离线转码服务,不能用于实时视频应用。

 

第一则关于AV1实时编码成果来自思科,2019年6月举行的Big Apple Video大会上,Cisco演示了通过AV1编码的Webex视频会议,可以实现720p@30fps和1080p@30fps。但根据Cisco的另一篇博客显示,直到2021年早些时候AV1才会部署在生产环境中。这凸显了一款新的视频编码器冷启动的难度。

 

同时,商用编码器也在取得突破,“微帧团队在2019年推出了全自研 Aurora AV1 编码器”,微帧科技联合创始人&首席科学家Zoe Liu告诉LiveVideoStack。

 

2021年5月,NETINT发布了一款用于数据中心的AV1编码实时加速卡。NETINT采用了ASIC芯片方案,这从一个侧面印证了AV1的成熟度与市场前景。

AV1,实时编码READY

图:在码率为30kbps情况下,左图是AV1编解码技术处理效果,右图是Duo目前所使用的编解码技术的处理效果(图片来自Google产品博客)

 

首次将AV1用于实时编码大规模生产环境的是Google的 Duo,Duo是一款实时视频通话产品。在2020年4月21日,Google产品博客公布了这一消息。

 巨人的肩膀

AV1生态的繁荣离不开背后巨头的投入,libaom AV1是其中最重要的项目,主要由Google来维护。从AV1定稿以来,保持了每年一个大版本更新。尤其在2021年,libaom AV1的3.0版更新格外频繁。Google将Duo上实时AV1编码能力通过libaom AV1开放给社区,并在不断优化中。“过去半年我们的主要工作方向在提高实时编码器运行速度,提高压缩性能,特别是主观压缩质量方向。同时我们也是2-4线程下的实时编码器算法进行优化,提高多线程效率。这些工作方向在未来的一段时间还会继续展开”,Google Senior Staff Engineer韩敬宁告诉LiveVideoStack。

 

dav1d是最成熟的AV1开源解码器,2018年由VideoLAN、VLC和FFmpeg共同开发,由AOMedia提供资助。VideoLAN的president,Jean-Baptiste Kempf在博客上透露:“most of the work for the optimizations are done”,尽管未来dav1d还会做一些优化工作,但主要的工作已经完成。

 

libaom AV1 + dav1d让AV1的生态达成了非常理想的状态,尤其是用于终端的硬件解码器还未普及的情况下,软件方案也可以很好的享受AV1带来的收益。

 WebRTC加速器

今年1月20日,IETF RTCWEB草案最终都成为标准并获得了一个RFC编号,一周后WebRTC 1.0版发布。尽管此前WebRTC已经广泛应用各种浏览器、Android客户端中。毫无疑问,WebRTC定稿将更好的促进各种浏览器和系统之间兼容与协作。1月21日,Google宣布在Chrome中支持AV1 SVC实时编码。SVC提供了从单个编码器在单个比特流中生成多层次分辨率的能力。换言之,SVC是对服务器端转码和ABR的替代方案。在提供海量视频通信的场景下,SVC能够节省巨大的服务器算力开销。

 

借助WebRTC,AV1驶入了RTC的快车道。

 

“近几年, AV1编解码器的开发已经有了长足的进步。很快,各家都会推出AV1实时编码的产品或者基于AV1的RTC产品”,拍乐云创始人&CEO赵加雨告诉LiveVideoStack,“Google的Duo及Cisco的Webex都已经成功将AV1应用于RTC产品,增加了产业界的信心。”本月,拍乐云发布了Pano Venus,一款基于AV1的实时视频通话引擎,也是一套实时视频SDK服务Solution。赵加雨透露,Venus支持视频会议、社交娱乐、云游戏、泛教育等各行业实时场景,未来也将会服务于4K/8K、全景、VR等下一代实时视频通信产品形态,一些头部教育客户已经找到我们体验产品。

 

“开源的AOM Encoder已经可以在性能好的终端上实时运行,此外开源的AV1解码器dav1d的进展也非常迅速,它早就支持在PC或者移动终端的实时解码”,拍乐云首席科学家&合伙人章琦表示,“目前主流的i5/i7的CPU上均可以支持Pano Venus,主流的iOS和Android手机上也可以支持Pano Venus,支持的最大分辨率为1080p@30fps。”

 

“从我们在iPhone 12 Pro的测试情况看,在720p@30fps和相同的主观质量条件下,运行 AV1 SDK设备的温度比运行H.264 SDK增加2摄氏度,  电量消耗增加电池容量的1%,内存和CPU消耗相近”,章琦对AV1充满了信心。

     未来

 

“对于开发商和制造商来说,使用新的视频编解码器是一场既费时又费钱的博弈”,Matt Frost(Chair of the board, AOMedia)在演讲中直言不讳的表示。在AV1渐入佳境之时,AOMedia已经启动了AV2的开发工作。AV1不仅要面临来自HEVC、VVC的挑战,还要和AV2同场竞技。

 

“我认为AV1的核心压缩能力还有很大的空间没有发挥出来。更好的核心压缩能力也会带来新的速度和性能的平衡点。所以我个人预期AV1在未来的一年内会带来更高的压缩性能,同时运算复杂度会进一步降低,”韩敬宁告诉LiveVideoStack,“AOM也在推进AV2的研发工作。目前的主要工作重心依然是在压缩性能方向。”

 

据了解,AV2将在标准层面,针对实时编码场景做优化。包括声网在内的企业正在参与相关工作。

 

在采访最后,韩敬宁强调:libaom是一个面向全球的开源项目,我们欢迎更多的同行加入我们,一同提升AV1的性能,服务全球的生态系统

 

“Venus的发布是拍乐云音视频技术上一个非常重要的里程碑,代表着AV1在实时通信领域的应用走向成熟。我们希望可以为AV1生态的进一步发展添砖加瓦,尽一份心力”,赵加雨表示。他还透露,拍乐云有计划加入AOMedia。

 

HEVC被认为是被专利毁掉的标准,相比而言,VVC的专利池清晰了许多。“HEVC由于其高昂且不明晰的专利政策,在其定稿后的多年,都未得到真正大规模应用,特别是在RTC领域。VVC作为业界最新标准,拥有较高的编码效率和较高的编码复杂度,在RTC领域,还有一段路要走,特别是RTC生态的建立。如果其能打破知识产权方面的壁垒,或许未来可期,”谈到HEVC与VVC的前景,赵加雨表示。

 

谈到Pano Venus的未来,章琦表示:“首先,提升主观质量。第二,增加覆盖到的设备种类, 在尽可能多的设备上支持运行AV1的编码和解码。”据了解,当Pano Venus发现设备无法支持AV1编解码的情况下,系统将自动切换到H.264视频流。Cisco Webex也采用了相似的策略。


参考

腾讯云直播+点播全线产品支持AV1,带来极致视频体验 

许耀武:有趣有挑战的二十年

AOM联盟:AV1完成1.0版定稿

Sisvel宣布成立AV1专利池 1050项专利许可面临收费

9家专利拥有者退出MPEG LA HEVC 华为加入HEVC Advance

Netflix与英特尔共同发布开源编解码器SVT-AV1

Netflix在安卓移动启用AV1格式 较VP9编码效率提升20%

W3C与IETF共同定义WebRTC未来6大应用方向

实时AV1 SVC——释放WebRTC的真正力量

AV1和开放媒体联盟(AOM)的发展、成果与未来

AV1的实时模式

重新定义实时视频时代,拍乐云发布国内首个 AV1 编码引擎 Pano Venus

阿里云视频云正式支持AV1编码格式 为视频编码服务降本提效 

https://developer.aliyun.com/article/738081

AV1 在 RTC 应用实践中的现状与展望 

https://www.infoq.cn/article/2x8BYoYzoeuBk9K21suY

https://en.wikipedia.org/wiki/AV1

https://www.chromestatus.com/feature/6206321818861568

https://trac.ffmpeg.org/wiki/Encode/AV1

The AV1 video codec comes to Webex!

https://www.blog.google/products/duo/4-new-google-duo-features-help-you-stay-connected/

https://aomedia.googlesource.com/aom/

Real-Time AV1 (in #WebRTC) is now Production ready!

https://blogs.cisco.com/collaboration/cisco-leap-frogs-h-264-video-collaboration-with-real-time-av1-codec

The AV1 video codec comes to Webex!

http://www.compression.ru/index_en.htm

https://aws.amazon.com/cn/about-aws/whats-new/2020/03/av1-encoding-now-available-with-aws-elemental-mediaconvert/

https://caniuse.com/?search=av1

https://code.videolan.org/videolan/dav1d

http://www.jbkempf.com/blog/post/2021/dav1d-0.9.1-a-ton-of-asm

https://www.prnewswire.com/news-releases/netint-announces-the-worlds-first-commercially-available-hardware-av1-video-encoder-for-the-data-center-301247855.html


扫描图中二维码或点击阅读原文

了解大会更多信息

AV1,实时编码READY

喜欢我们的内容就点个“在看”吧!

AV1,实时编码READY

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/194131.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 开启QQ登录保护仍被盗号——QQ安全机制全面分析[通俗易懂]

    开启QQ登录保护仍被盗号——QQ安全机制全面分析[通俗易懂]1、前言周围总是有些同学QQ被盗号,攻击者盗取账号后会继续去欺骗列表里的好友,形成链式反应。危害比较大。腾讯QQ安全中心提供了登录保护机制,如图:  这是腾讯为QQ添加第二层保护,在开启登录保护后,盗号者偷走密码的情况下QQ仍然安全。即使你的账号密码不小心泄露了,盗号者仍旧无法登录你的QQ。  但是,有位同学在开启QQ登录保护的情况下依然被盗号者登录成功了。QQ登录保护的安全机制:当我们开启了“登录保护”,盗号者登录QQ输入正确的密码,即使更换IP骗过了安全检测系统,会发现仍然需要

  • 理解self,this,parent

    理解self,this,parent

  • 向量与矩阵范数_矩阵范数与谱半径的关系

    向量与矩阵范数_矩阵范数与谱半径的关系范数(norm),是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,范函是一个函数,其为矢量空间内的所有矢量赋予非零的正长度或大小。半范数反而可以为非零的矢量赋予零长度。举一个简单的例子,在二维的欧氏几何空间R就可定义欧氏范数。在这个矢量空间中的元素常常在笛卡儿坐标系统中被画成一个从原点出发的带有箭头的有向线段。每一个矢量的欧氏范数就是有向线段的长度。其中定义范数的矢量空间就是赋范矢

  • HTML中的定位(php跳转到指定网页)

    1、通过地址定位:先页面定位位置:<aname=”name”/>然后通过js地址跳转:location.href=”#name”;或直接点击的html<ahref=”#name”>2、基于H5标准语法跳转先页面定位位置:<aid=”name”/>document.querySelector(“#name”).sc…

  • 网盘lua调用失败(dumb down)

    前阵子在弄一个dump程序的时候遇到这样一个问题.
    dump程序在被dump程序debug情况下一切正常,release版本下调用了minidumpwritedump函数进行dump,但是minidumpwritedump函数调用失败,GetLastError()获得到的是一个不正常的大数.
    在网络上久寻未果,遇到同样问题的人都没有提出最后的解决方案,也尝试过修改项目设置等一系列方法,没有解决.
     
    有一天想重新研究这个问题,看这个帖子http://app

  • H3C交换机常用命令汇总

    H3C交换机常用命令汇总H3C交换机常用命令1.查看Linux下查看端口状态 root@root:~# netstat -an|grep -E “6002|6003″2.H3C交换机显示当前配置 [H3C]display current-configuration3.H3C交换机显示arp信息 [H3C]dis arp4.H3C交换机显示mac列表信息 [H3C]dis mac-address5.H3C交换机显示端口信息

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号