2017年8月30日
By 1月时特约编辑
专题文章

AV1:状态更新

当我们接近IBC时, 我们认为是时候更新一下开放媒体联盟(AOM)推动AV1编解码器向前发展的努力了. 在文章截稿前几天，AOM召开了一次董事会会议，讨论编解码器的发布日期. 自然, 考虑到这个决定的重要性, 在董事会做出决定之前，没有任何成员愿意透露有关时间安排或预期性能问题的细节. 而不是, 会议结束后, 我与一位董事会成员(他希望保持匿名)进行了简短的简报，以填补这些空白.

通常，在这样的简报之后，你会对(至少)短期的未来有一个清晰的认识. Your contact ties up all questions into a tight little bow, 导致一个令人信服的, informative article that your editor praises and your readers cherish, 微博, 喜欢, 或者分享他们的赞誉.

叹息. It was not one of those briefings, this won't be one of those 文章. 相反，我得到的答案让我想起了那些名人 Orson Welles Paul Masson wine commercial from the 1970s他说:“在时机成熟之前，我们不卖酒." No criticism of my source (or other board members) is intended; sometimes, the article you get isn't always the article you thought it would be. 不管怎样，这是我们所知道的.

AV1是什么鬼?

很高兴你问了. 点击在这里关于AV1的背景资料.

AV1编解码器何时上市?

It looks like the bitstream will freeze around December 31, 2017, which has been the consistent target for the last three or four months.

这取决于什么?

这是保罗·马森的部分. AOM不会发布编解码器，直到计划在短期内使用它的关键内容成员——youtube和netflix——同意它是可用的. 这意味着它在“本质上”优于VP9或HEVC，并且可以在相当数量的现代计算机上播放.

我问大卫·隆卡, Netflix的编码技术总监, 如果他能分享Netflix认为的“素材”.他回答道, “当我们在不同的内容中进行测量时，我们会对比HEVC提高20%的效率感到满意，并认为计算复杂性增加3-5倍是合理的." I was not able to get similar encoding-related data from YouTube, or 信息 regarding an acceptable level of decode complexity from either company.

So, if we assume that Netflix's encoding requirements work for YouTube as well, 我们有质量和编码时间的数字. 我们不知道Netflix和YouTube能接受多大程度的解码复杂度.

除了, t在这里's also a development risk for any software product. 根据其他消息来源, 编解码器工作组将在8月31日之前停止对代码库的改进, after which the group will focus on integration and optimization. 董事会认为, 这就留下了足够的时间来完成代码, 但意想不到的问题总是会出现. 除了, even if the code comes together smoothly and efficiently, if codec performance doesn't meet the requirements of YouTube and Netflix, AOM将继续发展，直到实现这一目标.

AV1在质量方面如何与现有编解码器进行比较?

从Netflix的评论来看，AV1似乎不会上市，除非它的效率比HEVC高20%. AV1达到这个阈值的可能性有多大? 这很难说，原因有很多.

首先是AV1的开发流程, which was best defined in a blog post by AOM member Bitmovin when they 宣布AV1编码服务. 这里有一个片段:

下面的程序解释了如何将实验添加到AV1编解码器的高级过程:
Coding tools are added as experiments into the AV1 codebase. 它们在构建时由标志(如.g., –enable-experimental –enable-).
硬件团队(AOMedia内部的一组硬件成员)审查实验，以确保它可以在硬件中实现.
Each experiment needs to pass an IP review to ensure no IPs are violated.
Once reviews are passed the experiment can be enabled by default.

So AV1 is comprised of a code base supplemented with experiments, 默认情况下可以启用或禁用哪些. 作为一个开源的编解码器, 任何公司都可以编译自己的编解码器, choosing which experiments to enable and setting their own default configurations. 所以,像 H.264, H.265, VP9AV1编解码器不会只有一个，而是会有很多.

到目前为止，我们在质量方面看到了什么? 在逮捕, Netflix视频算法总监安妮·亚伦报告称，AV1的效率比VP9高20%左右, which Netflix found compelling at that stage of the development cycle. 同样在NAB, 马特·弗罗斯特, 战略和伙伴关系主管, Chrome Web Media, 在谷歌, 他补充说，在他们的测试中，AV1的效率比VP9高30-35%(弗罗斯特和亚伦在一个小组会议上发言，你可以在go2sm上观看.com/algorithms).

对于一个演讲我将Bitmovin AV1编解码器的质量与vp9x进行了比较.265, MainConcept，和x.264 (图1). 就整体平均而言, Bitmovin AV1编解码器是最好的, though I saw nothing like 35% or even 20% reported by Aaron and Frost. To dig into the 演讲 and all encoding configurations and assumptions, vist my 流媒体学习中心网站.

av1-1

图1. Bitmovin 4K编解码器与其他编解码器在2017年流媒体东部会议上的演示.

也就是说, 早在四月, 当Bitmovin对这些片段进行编码时, t在这里 were 77 experiments included in the AV1 code base, 其中只有8个是启用的. 一方面，这往往表明可能存在显著的性能提升空间. 另一方面, 整合和优化这些实验的性能似乎是一项艰巨的任务.

编码和解码要求是什么?

不仅仅是质量, 编码/解码性能取决于代码优化，直到AOM编解码器工作组停止接受额外的实验后才会进行优化. 因为那要到八月底才会发生, we can't predict w在这里 encode and decode complexity will end up, though if encoding complexity is more than 5x greater than HEVC, Netflix可能会推迟发布，直到它确定.

我们知道什么?? 在逮捕, Bitmovin showed real time encoding of a single stream of 1080p video into AV1 format, 这需要多达200个核心. 然而, Bitmovin首席技术官Christopher Mueller预测，这些要求将降至8-32核, "迟早".“考虑到我们从Bitmovin看到的情况, Netflix的评论, expect encoding times to increase substantially over HEVC and VP9.

Assuming the Bitstream 免费的zes on December 31, How Does AV1 Roll Out From T在这里?

根据我的AOM联系人, Chrome和Firefox都将在比特流冻结后的几天(如果不是几小时)内启用播放支持. 在生产方面, 他希望YouTube在播放功能可用后立即开始部署AV1比特流. Netflix也是如此. 在逮捕, Netflix的安妮·亚伦评论道, "we had to integrate AV1 into our encoding pipeline to run our initial tests. 随着代码的发展，我们将不断更新代码, once playback is available with Chrome or other browsers, we'll be able to incorporate AV1 into our production workflows."

硬件支持不可避免地需要更长的时间. 当比特流冻结时, 谷歌将把硬件设计交给芯片供应商，使他们能够开始设计过程. 这是On2和谷歌自2007年收购Hantro Products y以来一直奉行的战略.

我采访了Mukund Srinivasan, AOM成员Ittiam的首席商务官, about how long it would take for chips to arrive after that, the design-in cycle for products based on those chips. 他表示，比特流冻结后需要12-18个月的时间才能获得芯片, another 6 months for products based on those chips to hit the market. 如果比特流在1月1日冻结, 2018, this means mid-to-late 2019 before products with hardware AV1 decode become available.

在短期内, Srinivasan also shared that software decode optimizations, 意大利特产, 应在六个月内出现编解码器冻结. 这些优化将使软件解码在一系列消费者和移动平台上更受欢迎.

什么替代AV1即将到来?

The Internet Engineering Task Force (ITEF) is working on the 互联网视频编解码器, 它声称哪一种“与目前广泛使用的视频编解码器具有竞争力(在具有相当或更好的性能的意义上)?, 是否针对交互式web应用程序进行了优化, 并被视为拥有知识产权许可条款，可以广泛实施和部署.根据维基百科, the AV1 codec is "the primary contender for standardization by the NetVC working group." So, the 互联网视频编解码器 isn't a competitor to AV1—it will likely be AV1.

2017年1月, MPEG和ISO标准机构发布了一份“初步联合呼吁，要求提供超越HEVC功能的视频压缩证据”.根据文件，证据将探索“各种各样的视频源内容，”他说.g. 相机视图内容, 屏幕内容, VR/360视频和高动态范围视频，用于广播等应用(直播或预创作内容), 实时视频会议和视频聊天, 按需观看, 基于存储的媒体回放, 消费者生成的内容, 还有固定或移动摄像头的监控." It's unclear how long it would take for this codec to see the light of day, 尽管HEVC的工作始于2004年, 该编解码器在2013年获得了第一阶段的批准. 所以，还需要一段时间.

IP状态有新消息吗?

No. 对于一个n interesting summary of the legal issues surrounding AV1, 请查看Stout咨询公司的白皮书, "The Alliance for Open Media, the Latest Challenge to Patent Pools，资深分析师乔丹·萨林斯(Jordan Salins)说.

这一切对你意味着什么?

嗯，这取决于你是谁. 我们所有人都希望AV1何时上市，以及AV1上市后的表现如何，都能有更多的确定性. 不过我敢打赌，到今年年底，AV1将达到Netflix的基本要求, we won't know until AOM announces that the bitstream is frozen. 即使在那时, 在硬件解码可用之前，播放复杂性绝对是短期部署的关键, won't know w在这里 that is until AV1 implementations start to ship.

当然, even if AV1 meets Netflix's and YouTube's requirements, 这并不意味着它会满足你的需求. 具体地说, Netflix的理念是忽略编码的复杂性，以产生最有效的比特流, which makes sense when your content gets millions of views. 很少有网站能接近这个数字, which could make a 5x increase in encoding cost unpalatable, 即使它提供了一个小20%的文件.

The big question is whether AV1 is a competitor to VP9 and HEVC, or the next generation? For very large OTT companies, it's a potential competitor. For most other 网站s, it's looking more and more like the next generation.