视频杂志（视频类杂志）

编者按：本文来自Zoe Liu对OTTVerse的投稿，详解2023年及未来的全球视频编码领域的趋势。感谢Zoe Liu对中文版的审校。

原文

文 / Zoe Liu

译 / 核子可乐

在这篇评论文章中，微帧科技(Visionular)公司联合创始人兼CTO Zoe Liu分享了她对于2023年及之后编码领域的发展态势预测，具体包括低能耗视频转码、HEVC与AV1的发展前景、实时转码、AI在转码中的作用等议题。

高能效视频转码

预计在2023年，HEVC/H.265等软件编码解决方案的能效优化将成为新的关注重点。

除了传统的BD-Rate性能标准（主要侧重于以较低码率提供更高视觉质量）之外，“能效”指标在软件转码技术选型中的意义也将愈发凸显。

这主要归结于以下两类视频内容的快速增长：

UGC（用户生成内容）；PUGC（专业UGC），例如Vimeo平台托管的视频内容。

印度社交平台ShareChat公布的数据显示，该平台每月内容上传量已达惊人的7500万次！

如此庞大的视频上传量，必然带来更高的转码成本（对应算力资源与能耗）。因此，能效的提升有望显著降低计算成本，同时仍保持良好的转码效率。

可行方案之一是升级到新一代标准下的编解码器。然而，新一代视频编码标准采用了比上一代更复杂的编码算法，反而拉低了转码的能效。

于是我们再次陷入经典的两难取舍：

如果新的编解码器能效不高，那视频解决方案供应商就不会轻易使用。但如果供应商继续使用旧有标准的编解码器，就会错失最新编码工具及算法带来的可能收益，而继续消耗高昂的网络带宽成本，尤其对于UGC及PUGC这样巨大体量的视频场景，将产生巨额分发成本。

面对市场需求，新的编码工具需要考虑能效优化，力求在以下多个编码器优化指标之间获取理想的平衡点：

视觉质量码率消耗CPU使用率编码速度处理延迟

架构支持：x86、ARM与M1

我们认为软件与硬件编解码器方案将继续共存，凭借各自优势应用于不同的使用场景。一般来说，软件编解码器能提供更好的编码效率，即：在实现更佳视觉质量的同时将码率压得更低（节约传输带宽）。

另外，软件编解码器也更加灵活，可以在多种平台和设备上灵活部署。

软件编解码器需要考虑同时支持x86和ARM架构。随着苹果M1设备、边缘计算、移动设备和ARM架构服务器的广泛采用，对ARM处理器的支持需求将同步激增。

ARM处理器（例如Amazon EC2提供的AWS Graviton处理器）的功耗和定价，明显优于x86架构的同类处理器。

我们初步评估，Graviton 2 ARM处理器的性能可能比x86同类处理器低30%，但明显具备价格优势。

新一代编解码器和改进方向

预计新一代视频编码标准将继续发展，具体包括：

由AOMedia开发的AV2，将提供超越AV1的新的编码工具。通过ITU-T和MPEG之间的协同努力，新开发的编码工具已经在增强压缩模型（ECM）中体现出了对VVC在压缩性能上的显著超越。对AI在视频编解码器中应用的进一步探索，打破传统2D变换运动补偿框架的约束。

除了转码之外，新技术还有望将视频处理和编码更加有效的结合起来。举例来讲，采用超分辨率技术实现更加有效的视频传输，已在工业界获取了更多认可。

Per-title ABR技术，仍持续它的领先地位，继续支持多种网络条件下的多分辨率、多码率视频的共享和分发。

AI在转码中的应用

我们与全球多所大学合作，共同撰写了题为《基于深度神经网络的视频压缩系统研究进展:综述与案例研究》（Advances in Video Compression System Using Deep Neural Network: A Review and Case Studies）的论文，已发表在2021年9月的《PROCEEDINGS OF THE IEEE》期刊论文集中。这也是最早的在此期刊中发表的关于AI技术在视频转码中应用的综述性论文之一。

另外值得一提的是，2023年的WACV（IEEE/CVF计算机视觉应用冬季大会，IEEE/CVF Winter Conference on Applications of Computer Vision）将最佳算法论文奖，授予了一篇探讨AI在转码中应用的论文[2]。

AI确实展示出了广阔的应用前景，但仍须持续研发行之有效的实现方法，才能最终在视频编解码真实场景中落地。

**参考文献 **

[1] Dandan Ding, Zhan Ma, Di Chen, Qingshuang Chen, Zoe Liu及Fengqing Zhu, 《基于深度神经网络的视频压缩系统研究进展:综述与案例研究》，“Advances in Video Compression System Using Deep Neural Network: A Review and Case Studies,” IEEE论文集第109期第9篇，2021年9月，第1494至1520页。[arXiv.org Online]

[2] Zhihao Duan, Ming Lu, Zhan Ma及Fengqing Zhu, 《使用量化分层VAE进行有损图像压缩》，“Lossy Image Compression with Quantized Hierarchical VAEs”。[WACV 2023获奖论文] [arxiv.org online link]

视频杂志（视频类杂志）

相关推荐