解密张国荣《热·情》演唱会超清修复版背后的技术密码-品玩

解密张国荣《热·情》演唱会超清修复版背后的技术密码-品玩

解密张国荣《热·情》演唱会超清修复版背后的技术密码

22小时前

19年前的愚人节,张国荣悄然离去,和全世界开了一个真实的玩笑。之后的每年此日,全球各地荣迷都会自发举行各类纪念活动缅怀哥哥。

《热·情》演唱会在不少荣迷心中都堪称经典,其母带也一直被封存至今。得益于智能影像修复技术的加持,这个被尘封21余年的“时代符号”被首度解锁。

2022年4月1日晚上8点,由腾讯云多媒体实验室领先算法团队修复、腾讯音乐娱乐集团携手环球音乐旗下厂牌宝丽金,并联合腾讯云、微信视频号、腾讯视频等多个团队联合呈现的“张国荣2000年《热·情》演唱会超清修复版”全球首播。

《热·情》演唱会倾注了张国荣对华语乐坛的满腔热忱,整场演唱会从舞美到灯光、从服装到编排,无不体现着走心的细节。

而借助腾讯云多媒体实验室智能影像修复技术,仿佛让每一位荣迷都进入了穿越时光的隧道,瞬间回到22年前的舞台中央,近距离感受哥哥的迷离眼神,重温舞台之上的绝代风采。

超清沉浸感修复引擎,解开“时光之钥”的技术密码

谈起《热·情》演唱会,再多的溢美之词都不足为过。有人提到它是张国荣曲折且传奇一生的倾情演绎,为所有现场观众带来了一场前卫、华丽、优雅的视听盛宴。

但受限于彼时拍摄器材及视频素材的存储介质,宝丽金珍藏21年母带及网络上流传的《热·情》演唱会版本,画质普遍欠佳。而借助数字技术让经典再现,成为宝丽金团队及众多荣迷们的共同期待。

藉由此,腾讯音乐娱乐集团于今年年初联系到环球音乐,双方一拍即合决定通过多媒体实验室修复技术,开启尘封21年的《热·情》演唱会母带修复工作。

腾讯云多媒体实验室是全球领先的多媒体通信和处理研发团队,在多媒体数据传输与压缩、智慧融合媒体、互动沉浸式媒体等领域都积累了完整的解决方案,在老片修复领域也有很深的技术积累,拥有多项业界领先的自研老片修复技术。

修复历史影像作品甚至残损影像,对于经验丰富的多媒体实验室来说挑战并不大,此前他们深度参与了包括《康熙王朝》、《天下人家》等多部经典影视剧高清修复工作。

“但接到张国荣《热·情》演唱会的修复需求时,我内心还是比较忐忑的。”多媒体实验室专家研究员夏珍表示。

他提到,“借助实验室的修复引擎等技术积累可以极大限度地还原演唱会视频的清晰度,但对于演唱会视频中的色彩、画面切换很快,外加视频素材清晰度不高等问题,如何做到修旧如旧,能够给观众带来融入其中的沉浸感体验,对于团队来说是一个不小的挑战。”

经过多次研判和技术验证,夏珍和他的团队给这项修复工作制定了一个硬标准,即修复后的影像能够给荣迷带来“现场感”的观影体验。

而解开这一“时光之钥”的技术密码,正是多媒体实验室的超清沉浸感修复引擎。

“超清沉浸感修复引擎”是面向老片修复场景专门推出的技术解决方案,它沉淀了腾讯云多媒体实验室多年的多媒体通信和处理研发经验,包含多项业界领先的老片修复技术,涵盖四大模块:智能分析、画质修复、画质增强和智能编码。

首先,利用多种智能评估算法的智能分析模块会对视频内容进行全方位、多维度分析,主要为了评估视频的运动和纹理复杂度、压缩失真程度等。

得到不同维度的分析结果后,画质修复模块就能利用多种智能算法,有的放矢地修复各类破坏画质的主要因素,包括但不限于划痕、竖线、雪花点、噪声、压缩失真、抖动等问题。

“这其中的算法基本都是腾讯自研。譬如划痕算法,实话说在公开服务中还没遇到过。”

夏珍解释道,划痕与雪花点的面积和数量与观看体验成反比关系。面积越大体验越差、反之亦然。

与此同时,划痕修复也存在诸多难点。一方面划痕修复不可逆且成本高昂;另一方面目前缺少庞大的划痕公开数据库,算法难以调优,建设成本也非常昂贵。

为此,实验室专门设计了针对性的多方向数据增广方案。方案包括划痕的裁切及合并、随机尺寸、随机模糊程度、局部及全局随机亮度调整、随机透明度调整等。

紧接着,画质增强模块便会选择最佳视频增强算法,对画面进行多维度画质提升,在空间和时间上提升视频的分辨率和帧率,在空域上提升细节清晰度、色彩丰富度。

夏珍需要更好地驾驭和平衡CNN(卷积神经网络)和GAN(生成对抗网络)两种智能算法。

其中,CNN是经过大量图像数据训练而成的熟练工",它修复的结果比较真实,但有时细节会不够丰富;而GAN经过自我博弈成长而来,它修复的结果更为丰富细腻,但有时会显得不太真实。

在完成视频修复及画质增强后,智能编码模块可以通过自适应编码在减少输出文件大小、视频传输成本的同时,保证视频的主观质量不受影响,实现最佳的画面效果。

“人工修复比较依赖修复者的经验和其对于画面的理解度,不同人修复的同一个画面可能会存在较大差别。”据夏珍介绍,超清沉浸感修复引擎则可以很好地规避这个问题,在尊重历史和原版的基础上,保证画质的提升。

于该引擎系统来说,能够做到这一点的最大前提便是拥有强大的数据储备。夏珍解释道,技术解决方案对场景的要求非常强,系统核心能力体现在算法,而算法的优劣则体现于数据的多寡。

一直以来,腾讯都在以算法为翼探索各个场景。在多媒体领域,依靠腾讯视频等渠道,已经积累了海量优质数据,算法可用性相比业界大为提升。

对于修复效果的把握,实验室团队更是精益求精。针对整体效果和特殊场景进行了十多次的算法升级和优化,为技术应用提供了稳定性和鲁棒性更强、跟踪速度更快的技术支撑。

夏珍截取了一帧张国荣在舞台中央的静态画面,放大后仿佛可以透过哥哥闪烁的眼眸看到舞台折射的影像轮廓。而这样的修复效果,在演唱会修复版直播过程中,也引发了不少荣迷们的共鸣。

图注:超清修复后的版本,张国荣的脸部、舞台等细节清晰可见。

音乐带来温暖,视频号“音悦会”生态正繁荣。去年12月,西城男孩(Westlife)全球首场线上直播演唱会现身视频号,吸引超2700万人围观,强势破圈。在2022年伊始,微信视频号与共青团中央共同举办了“追光”大型直播,其中的“追光”音乐会也在新的一年初始便给众多观众带来力量和温暖。

此外,陈鸿宇华等音乐人也相继在视频号平台开展“线上演唱会”,加上众多中长尾的音乐创作者持续发布短视频作品及开展直播,优质的音乐内容正不断呈现给广大的视频号用户。在疫情背景下,即使很久没有看过演唱会,但“打开视频号就能听live、看演唱会”正变成越来越多人的日常。

将超高清视频搬上视频号直播平台,是一项超级工程

本次修复版演唱会得以高质、流畅地现场直播,背后还有一项超能技术不得不提:视频编解码。

如果说自研算法是视频修复的引擎,那么“视频编解码”可以说是如期达成4月1日全球直播的重要保障。

这是一项容易被忽视的技术,但却是引领和驱动音视频技术发展的关键技术。它所解决的问题可以用一句话总结:在不改变视频主观质量的前提下,压缩视频的大小,以更顺畅、高质地在各个平台播放。

超高清技术的发展极大提升了视频的清晰度,但同时也让文件大小成倍增长。压缩之前的原视频极占存储空间,虽然分辨率是480p的,但码率高达50M/s,如果修复后的4K高清版本按高码率输出,将占据300GB的存储空间。

谈及至此,不得不提实验室的一项“王牌技术”:新一代国际编解码标准。它在业内广受关注。

该标准于2020年7月正式发布,成为视频产业跨时代的里程碑,相比上一代标准,其压缩性能显著提高,可在视频主观质量不变的条件下减少50%的数据大小,大大减少视频传输带来的流量、带宽成本,推动整个视频产业进化。

腾讯云多媒体实验室正是这项标准制定的主要贡献者之一,提交的技术提案被国际和国内标准采纳,数量全球领先。同时,实验室专家们还在标准组织中担任包括新一代国际编解码标准联合主编、参考软件联席主席等重要席位。腾讯是中国最早参与并致力于开发视频信息压缩和解码标准的公司之一,现已在视频编解码技术上处于全球领先的地位。

在2021 MSU世界视频编码器大赛中,首次参赛的腾讯自研最新一代266编码器即在竞争最激烈的高清离线赛道中夺得Y-VMAF、Y-PSNR第一名的成绩。

与此同时,腾讯云音视频转码及相关媒体处理应用已于2021年7月全线支持新一代国际编解码标准,这是该标准首次在云上商用,填补了全球云厂商在该领域的空白。

此外,腾讯云多媒体实验室在标准截稿仅三个月后,发布了新一代国际编解码播放器,解码速度较标准参考软件快了约 20 倍,能对 UHD 影像进行实时解码,其性能在全球处于领先地位。

腾讯杰出科学家、腾讯云多媒体实验室总经理刘杉博士也是全球音视频领域的顶尖技术带头人。

刘杉博士是国际著名多媒体专家,腾讯首位女性杰出科学家,IEEE Fellow, APSIPA杰出工业领袖,2020年入选福布斯中国科技女性50人,拥有500+已授权专利,发表100+学术论文和一部专著,本科毕业于清华大学电子工程系,硕士和博士毕业于美国南加州大学,研究方向包括音视频、沉浸式和新兴多媒体VR/XR等的压缩、处理、传输、系统和智能化应用。深耕多媒体数据压缩、传输协议和系统、无线网络、IoT等行业标准领域,曾多次担任国际标准专家组主席和联席主席,现任IEEE数据压缩标准委员会副主席。

自2017年加入腾讯以来,刘杉博士带领团队研发和交付多项多媒体核心技术,并深度参与了国际国内行业标准制定工作。

超高清视频修复市场需求巨大,腾讯已形成完整技术矩阵

近年来,随着5G、人工智能等数字技术的发展,超高清视频技术成为推动我国超高清视频产业迅猛发展的重要动力。工信部、国家广播电视总局、中央广播电视总台联合印发的《超高清视频产业发展行动计划》明确提出,到2022年超高清视频产业总规模要超4万亿元,超高清内容制作每年要超3万小时。

然而,在超高清内容生产端,则存在着超高清内容制作、经典老片及视频转高清的成本高、效率低等痛点,成为制约产业发展的关键因素。

夏珍表示,全球有非常多的诸如演唱会、电视剧、电影、纪录片等经典影像,腾讯云多媒体实验室目前已经形成了较为完整的智能老片修复技术矩阵,未来希望通过超清沉浸感修复引擎,帮助更多的时代经典高质、高效地重现于观众面前。

未来,腾讯云多媒体实验室将在多媒体技术领域中持续深耕,推动多媒体技术在多个产业领域中落地应用的同时,践行腾讯可持续社会价值创新,助力经典文化的传承。

借助数字化技术助力传统文化和经典作品传承,也是腾讯技术价值外溢、科技向善的又一体现。