3

4K修复重现经典,字节跳动秀技术献情怀

 2 years ago
source link: https://new.qq.com/omn/20211111/20211111A0B6GY00.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

4K修复重现经典,字节跳动秀技术献情怀

1000

大闹天宫、斩妖除魔的齐天大圣孙悟空;手拿火尖枪、脚踏风火轮、身绕混天绫的小哪吒;眼睛瞪得像铜铃、耳朵竖得像天线,时刻保卫森林安全的黑猫警长;各显神通、风吹雨打都不怕的葫芦兄弟……总有那么一部经典动画是你逃不过的“回忆杀”。它们跨越时光长河,承载着中国传统艺术与人文精神历久弥新。

然而,受到拍摄条件和胶片保存、使用过程中的损伤等因素影响,老片普遍存在不同程度的画质问题,比如清晰度低、流畅度低、色彩失真、有瑕疵等,犹如明珠蒙尘,令人惋惜。今天,伴随超高清产业的蓬勃发展,越来越多的互联网科技公司把目光投向了4K修复,探索着让“明珠”重现光芒的方法,字节跳动就是其中的一员。

近日,字节跳动旗下西瓜视频联合火山引擎宣布将在未来一年内共同修复《舒克与贝塔》《西游记》等100部经典动画。截至目前,《哪吒传奇》《葫芦兄弟》《黑猫警长》等六部经典动画作品的4K修复版已在平台上线。

4K修复究竟难在哪儿?

“4K修复技术是采用一系列的音视频修复和增强技术,把标清或高清视频画质从物理分辨率、视频帧率、色深、色域、高动态范围等各个方面提升至超高清视频标准,同时把音频也升级为环绕声的一种技术。” AI修复视频技术专家李根介绍道。这听上去似乎不难,但背后隐藏着技术、成本、人才支持等诸多问题,要完成修复还要修复的好,其实难度非常高。

现阶段,影片修复主要包括物理修复、数字修复、艺术修复三大环节。物理修复主要是对老片进行接补、清洗,是最基础的环节。重头戏是数字修复,即将老片转化为数字化视频内容,再通过各种数字技术逐帧进行视频降噪、消除抖动刮痕、提高清晰度、协调音效、还原色彩、声画合成等各个方面的处理。艺术修复是“修旧如旧”的关键,既要恢复影像原貌,又不能把旧片修成新的,不仅要有技术支撑,还要有相当程度的艺术造诣。

中国电影资料馆修复师王峥表示,涉及夜戏、雨雾戏、特效戏等镜头的修复难度较高,需要更审慎修复。不过更常见的问题则是物理损伤,霉斑、油污、划痕、变形等困难经常让修复师欲哭无泪。多位修复师坦言,一部老片的修复难度、复杂度不亚于制作一部新片。尽管AI技术支撑,一定程度上缓解了电影修复的难度,但现阶段,仍有大量需要人工修复的地方,需要修复师一帧一帧地去处理。尤其是艺术修复,修复师需要在充分理解影片场景的基础上,协调声音、画面、色彩、光影变化等各方面因素,最大程度还原其艺术价值,甚至需要进行二次创作,对修复师要求极高。

然而,难题远远不仅如此。从事8年修复工作的修复师甄珍指出,4K修复迟迟难以完全普及还要一个重要原因是成本。普通的2K修复(分辨率2048×1556)完全依靠人工修复大概在两个星期左右能完成一部影片的修复,花费大概在30万元左右;而4K修复(分辨率4096×3112)工作量是2K修复的4倍,起码在两三个月、甚至半年之久才能完成一部影片的修复,成本起码在200万元以上。

此外,专业人才短缺也是一道不容忽视的“门槛”,中国电影资料馆收集整理部、公共事业部主任林思玮认为:“尤其是缺乏做画面精致修复与艺术修复的核心人才”。“修复是很累的活,最主要的是枯燥。”上海电影技术厂数字修复部门主管胡勍勍表示,“这行特别考验年轻人的耐心和毅力,没耐心真的做不下去。”

火山引擎的“出场秀”

受限于修复技术的难度,我国影片修复起步较晚,直至近几年越来越多社会力量参与其中,才开始逐渐进入公众视野。字节跳动此次以火山引擎为技术平台、以西瓜视频为播放平台,切入4K修复市场,引发广泛关注。

火山引擎智能处理产品经理张婉莹介绍称,火山引擎的4K修复技术在功能上支持画质全链路方案,能够覆盖检测、评分、增强、自适应转码、分发播放、运营数据回收等视频处理全部环节;其AI云端处理能力的全面性也已经达到行业领先水平,目前已经集成了20余种AI云端处理能力,核心能力包括高清低码、超分辨率、智能插帧、HDR、精彩剪辑、视频DNA等。

以智能超分技术为例,老片普遍存在模糊、清晰度差、分辨率低的问题,需要通过智能超分提升其清晰度和分辨率。火山引擎会针对老片场景的模糊退化专门建模以优化清晰度,还会对内容自适应处理,根据不同区域分片处理,保持原有画风。在修复《葫芦兄弟》的过程中,水墨画区域需要保持朦胧感,剪纸区域则需提升清晰度,火山引擎通过智能超分技术实现了预期效果。

与此同时,受益于抖音、西瓜视频等实战业务场景的打磨,火山引擎4K修复技术的性能指标也有不错表现。例如,智能高清低码使针对片源的压缩率可达20%至35%,能够帮助客户有效降低内容分发和存储的成本;SDR to HDR (指将“标准动态范围图像”转化“高动态范围图像”,让视频具备更高的色深、更广的动态范围和更强的色彩表现力)处于业界先进水平,在第一届全国人工智能大赛相关项目的参赛企业中综合排名最高;效果精度方面,可提供发丝级高精度处理,在MSU 2020(国际权威奖项)评选中,火山引擎多媒体实验室在17个参赛项目中全部获得评分冠军,尤其对道具、特效、游戏、动画场景有深度技术沉淀。

此外,火山引擎的视频云内部服务数十条业务线,这为4K修复技术提供了丰富的业务场景实践经验,有助于在效果与成本上把握最佳平衡点。“由于我们的视频池存量足够大,算法模型相对成熟,将机器成本、人工成本等分摊下来,单个视频处理的成本就可以降到一个相对较低的水平,从而形成了批量的、规模化生产能力。” 张婉莹表示。

火山引擎自从作为字节跳动面向B端企业用户的技术输出平台公开亮相以来,就备受业界瞩目。此次百部影片4K修复计划被视为火山引擎的一次“出场秀”,“秀”的不仅仅是其4K修复技术的水平,更是火山引擎的视频技术领域的综合实力。

有技术,也有情怀

近年来,一股经典影片复映潮在全球范围内兴起。戛纳、柏林、威尼斯等国际各大著名影展,纷纷增设旧片修复展映单元,国内上海国际电影节、北京国际电影节、长春电影节等也都设置了展映单元,鼓励经典老片的重现。

从修复作品的类型来看,市面上的4K修复影片大体包含两类,一类是具有里程碑意义的经典作品,如《开国大典》、《上甘岭》等;另一类是本身市场呼声高、具备商业价值的影片,如《美丽人生》《海上钢琴师》等。

从市场反馈情况来看,4K修复3D版《哈利·波特与魔法石》在中国内地重映,助推该片成为哈利·波特系列里第二部全球票房突破10亿美元的影片。《海上钢琴师》4K修复版上映8天票房就突破了亿元大关。不难看出,不少观众愿意为情怀买单。这也给电影市场释放了一个信号:4K修复背后拥有一片市场蓝海。

据张婉莹透露,此次西瓜视频与火山引擎联合启动的4K经典修复计划不仅受到用户欢迎,也已收到一些版权方修复经典老片的合作意向。“字节跳动此举一方面是出于打磨技术的考量,为向企业用户提供更高水平的视频处理技术积累经验;另一方面,也是情怀的导向,这些具有时代印记的老动画是中国动画界的结晶,修复过后的二次传播也是一种对传统文化的传承。”业内人士评论称。作为一家年轻的互联网科技公司,字节跳动有的不止是技术,还有情怀与温度。

免责声明:本文来自腾讯新闻客户端自媒体,不代表腾讯网的观点和立场。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK