根据思科公司发布的视觉网络指数[1],2022年视频数据将占据全球网络流量的82%以上;2023年4K分辨率的家用电视机比例预计将达到三分之二,而这些更高分辨率的电视需要更高质量的视频内容才能发挥其全部潜力。产业发展需要新标准的支持。为了提高视频压缩效率、支持新应用,2020年7月联合视频专家组JVET发布新一代视频压缩标准——多功能视频编码H.266/VVC(Versatile Video Coding)。
什么是H.266/VVC
视频信号的数据量很大,如果不进行压缩就无法实现网络传输和存储。以一部时长100分钟、分辨率1920*1080、帧率30fps的电影为例,该电影的大小为1920*1080*30*12*100*60=521GB,这么庞大的数据量还仅仅只是视频数据,不包含音频数据。新一代视频编码技术及标准应运而生。
最新的视频编码标准H.266/VVC是当前最先进的视频压缩技术,较之于上一代标准H.265/HEVC,H.266/VVC的解码效率提高了50%。也就是说,传输同样一部90分钟的电影,H.265/HEVC需要10GB的数据,而H.266/VVC只需要5GB,节省了50%的带宽和存储空间,带来了巨大的带宽资源节省、传输和编解码效率优势。
除了提高效率,H.266/VVC的另一个亮点在于“多功能”,其可以在很多应用上发挥作用。2003年H.264/AVC发布时,主要的应用是高清视频,包括720p、1080p以及DVD大小的视频。到了2013年H.265/HEVC发布时,主要的应用除了高清,还有4K视频和立体3D视频。2022年视频行业已经面向8K时代迈进,用户对屏幕分辨率、帧率、流畅度的要求越来越高。但是H.264/AVC、H.265/HEVC对8K的支持是非常困难的,在4K的支持上又存在瓶颈,原因是需要的带宽太多了,存储及传输能力支持不了。而H.266/VVC则具有高度的通用性,能够满足当前和新兴的主流媒体需求。其中包括具有SDR的超标清和高清视频,包括8K、16K、HDR、WCG等更高分辨率的视频;云游戏;用于沉浸式和增强现实的360°视频;以及需要超低延迟的应用,例如无线显示和在线游戏。
面向8K,助力元宇宙
2022年12月1日,中国电子信息产业发展研究院电子信息研究所首次发布《超高清视频产业发展白皮书(2022年)》。白皮书显示,2021年我国4K电视出货量达2729万台,渗透率达71.1%;截至今年8月,我国千兆宽带用户数达7055万户,百兆以上宽带用户占比达93.8%。白皮书预计,2022年我国超高清视频产业整体规模将超过3万亿元。[2]随着视频技术从高清到超高清演进、4K、360度全向视频激增,芯片、内容制作、显示、传输等产业链各环节都开始加快升级步伐,广播电视、教育医疗、流媒体等以视频业务为核心的行业也在力求转型。
H.266/VVC的出现为已有和新兴的视频应用提供了更加强大的压缩性能以及更加灵活易用的功能,其产品型态将广泛触及视频产业链的各个环节,包括视频制作、视频会议、直播、点播、HDR视频、全向视频,监控视频等,在设备上可以广泛覆盖手机、电脑、摄像头、机顶盒、电视、头戴式设备等多种终端设备。
H.266/VVC通过提高压缩效率,可以降低用户及中间各环节中厂家的存储及带宽成本,大幅度降低海量数据处理、数据分发成本以及网络数据传输压力,并大幅改善了数据延迟问题。
这些技术优势都将有力推动包括如流媒体、云视频等相关产业的应用发展。比如,未来AR/VR等沉浸式媒体应用需要有高分辨率、低延时和高质量视频的支持,这些应用将广泛的分布在虚拟游戏、广告、元宇宙等行业中;更完善的超高清产业链将进一步培养用户的消费习惯,当前的直播电商在未来可能还会有更多的想象空间,比如更真实的试装换装体验;不仅如此,远程医疗、移动手术台也可能大规模推行,帮助解决医疗挤兑问题。H.266/VVC为这些新型应用打下了实现基础。
标准制定,从追随到引导
国际主流的视频编码标准基本是由国际电信联盟ITU,以及国际化标准组织ISO和国际电工委员会IEC联合成立的专家组MPEG提出的。从20世纪90年代的第一代视频编码标准H.261/MPEG-1到最新标准H.266/VVC,已经过去三十多年。
在标准制定过程中,全球企业、单位都可以通过提交技术提案方式来贡献自己的创新技术方案,技术方案可能涉及到视频编解码实现过程的方方面面。全球参与标准制定的视频领域专家对技术提案中技术方案的包括实现复杂度、压缩性能、硬件实现等方面综合评估,评估通过后技术才会被采纳到标准当中。进入21世纪后,中国互联网视频行业高速发展,中国企业有足够的动力加入到标准的开发工作中。
首先参与到标准制定工作的中国企业是作为全球通信方案解决商和国内最大的视频会议研发机构——华为。
2010年,华为、高通、三星开始牵头开展H.265/HEVC的制定工作。据统计,H.265/HEVC专利的主要权利人集中在欧美、韩国和日本等国家,排名第一的是三星,占比11%,第二是高通,占比8%,第五是华为,占比5%。[3]2013年6月,在H.265/HEVC标准正式公布后两个月,优酷土豆发布声明称将与高通合作开发H.265/HEVC技术,让用户在移动设备上看更高质量的视频内容。到了H.265/HEVC时代,无论是标准的开发,还是商业化产品的研发,我国企业都开始慢慢走向上游。
近年来,H.265/HEVC编解码器市场容量日趋增长。据报道,截至2020年12月,在超高清论坛发布的UHD服务追踪器中确定的几乎所有超高清电视服务都在使用H.265/HEVC。在网站上明确确定了编码格式的60个此类服务中,有58个使用的是H.265/HEVC。[4]一方面,4K频道的建设,同时刺激各地有线网络以及IPTV频道落地接收运营;另一方面,头部互联网视频企业对于超高清版权赛事、大型综艺活动等超高清直播运营的需求日益增长,全面助力H.265/HEVC编解码产品市场的扩大。[5]随着 H.265/HEVC的商业化落地,视频产业正式进入超高清时代。
每一代视频编码标准的制定周期约为8-10年,作为H.265/HEVC的继任者,2017年10月,H.266/VVC标准化工作正式开始,JVET发布了提案征集(call for proposal, CFP);2018年4月,JVET发布了H.266/VVC的第一版工作草案。根据H.264/AVC以及H.265/HEVC的市场渗透情况,未来H.266/VVC的应用推广将是非常明确的趋势。因此在H.266/VVC第一版草案发布之前,各国企业就开始尽可能的申请专利,以期在不久后拥有一项或多项标准必要专利。
根据2022年12月Managing IP发布的业界首个H.266/VVC专利数据统计报告,H.266/VVC专利的领头申请者包括华为、高通、LG和字节跳动等创新公司。就H.266/VVC相关专利数量而言,华为专利占比17.31%排名第一,LG占比12.39%排名第二,高通占比10.9%排名第三,字节跳动、腾讯分别排名第四、第七。[6]
事实上从2015年开始,华为及国内其他互联网厂商字节跳动、腾讯、阿里巴巴、快手等就已经积极参与到H.266/VVC的标准化制定过程中并做出了巨大贡献,标准制定期间提交并被采纳了大量H.266/VVC技术提案,推动了H.266/VVC标准化进程。以华为为例,华为H.266/VVC提案贡献率排名第二,累计提交技术提案426件[8],其中126项技术被采纳。其提出了包括:仿射运动补偿技术(JVET-K0184)[9];几何划分模式(JVET-Q0059)[10]等技术工具。字节跳动也提出了如“基于历史的运动矢量预测(JVET-K0104)[11]”等技术工具。上述提案都是被H.266/VVC标准采纳的核心技术方案,有助于大大提高视频编解码效率和视频质量。
不仅如此,中国企业在标准制定组织中的话语权也有了显著的提升。华为在H.266/VVC标准会议中获得标准编辑、核心实验组组长等多个重要职位,腾讯、阿里巴巴的专家也在标准组织中担任重要席位。
从标准专利权利人及专利占比数据上看,高通、LG等企业专利占比一直位列前茅,华为、字节跳动、腾讯、阿里巴巴、快手也逐步成为新一代标准制定的主导者。多年来,以华为为代表的我国企业在不断地进行视频编码技术研究,抓住时机去参与和制定符合产业兑现知识产权价值的策略和规则,努力地扩大国内企业在国际标准制定和在标准实施推广过程中的影响力。从H.264到H.266,我国企业的身份开始从“追随”向“引导”进阶,从单纯的实施者转变成为新标准制定的重要贡献者,成为影响行业未来发展的创新者。
三流企业卖产品,二流企业卖品牌,一流企业卖标准。引领产业发展最重要的因素是确保世界各国日新月异的技术和设备能够相互联通的行业技术标准,谁的标准被认同,谁就是游戏规则的制定者。20世纪以来,视频编码技术在社会需求的催生下获得快速发展,中国企业从后端逐渐走向前端,除华为外,字节跳动、腾讯、阿里等公司也开始加入到标准制定工作中,中国企业开始主导新一代标准制定和发展的方向。华为公司无线技术知识产权部部长汪昕曾表示:“视频编解码是ICT行业的基础性平台技术,华为积极参与视频编解码标准制定和推动视频产业进步和升级,对视频标准技术的研发创新和知识产权保护在全球处于领先地位。”
2020年,我国超高清视频产业总规模达1.8万亿元,其中超高清视频核心环节直接销售收入超过8100亿元,行业应用规模超过9800亿元,其硬件直接销售收入约900亿元,解决、集成方案等超过8900亿元。超高清时代即将全面来临,下一代视频行业的竞争刚刚拉开序幕,值得欣慰的是,中国企业已经在最开始就做好了准备。
注释:
1.https://www.cisco.com/c/en/us/solutions/collateral/executive-perspectives/annual-internet-report/white-paper-c11-741490.html
2.http://www.stcn.com/article/detail/746419.html
3.https://www.ipwatchdog.com/2018/07/11/high-efficiency-video-coding-video-ecosystem-evolving/id=99094/
4.“Deployment status of the HEVC standard”,Document: JVET-AB0020-v1
5. 《中国超高清视频产业发展白皮书(2021 年)》
6.https://www.managingip.com/article/2b0daxa7pfkbvl9up8ruo/sponsored-content/the-versatile-video-coding-standard-is-now-open-for-business
7.https://www.iam-media.com/article/who-leading-the-vvc-technology-race
8.https://jvet-experts.org/
9.https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0184-v1.zip
10.https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0059-v8.zip
11.https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0104-v5.zip
(本文仅代表作者个人观点,不代表知产财经立场)