16

AI 修复民国北京街景视频,火遍全网带你穿越

 4 years ago
source link: http://mp.weixin.qq.com/s?__biz=MzU3NTQ2NDIyOQ%3D%3D&%3Bmid=2247492817&%3Bidx=1&%3Bsn=6c73fa0cf9fdc29ca71baa7c5be876d0
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

By 超神经

内容概要:微博博主@大谷Spitzer 5 月 8 日上传了一段视频,在全网都掀起了转发热潮。他将一段加拿大摄影师于 1920-1929 年拍摄的民国年间的北京街景黑白视频,通过 AI 完成了上色、修复帧率和超分辨率,带网友们穿越回百年前,感受昔日繁华。

关键词:视频AI 智能上色 超分辨率 

微博博主@大谷Spitzer 5 月 8 日上传了一段视频,在全网都掀起了转发热潮。

IBviyia.gif

他将一段加拿大摄影师于 1920-1929 年拍摄的民国年间的北京街景黑白视频 ,通过 AI 完成了上色、修复帧率和超分辨率,带网友们穿越回百年前,感受昔日繁华。

穿越回民国:AI 还原百年前北京街景

原视频来自《人民日报》四年前发布的一段资料影像,由加拿大摄影师在 1920~1929 年间拍摄,至今正好是一百年整。

目前这段原片收藏于加拿大国家电影局。

整段视频时长 10:12,带领大家穿越回百年前的北京

公历 1920 年也就是民国九年,正是中华民国的北洋政府时代。

VFBFzeN.gif

片段截图:北京街景

这段时间中,中国也相继发生了「废除二十一条运动」、「孙中山逝世」、「段祺瑞宣告成立临时政府」等重要的历史事件。

QBNJRfA.gif

片段截图:北京人见面打招呼

正值第一次世界大战结束,中国获得了短暂的喘息,也正是这几年里,国内的早期工业获得了不错的增长机会。

90 后的独立游戏开发者 @ 大谷Spitzer

该项目的作者,是一位 90 后的独立游戏开发者胡文谷,出生于北京,本科毕业于中国人民大学的艺术学、研究生毕业于纽约视觉艺术学院,目前在纽约从事独立游戏开发的工作。

n6vaQnA.jpg!web

胡文谷 (微博:@大谷Spitzer)作为艺术家,音乐家,程序员和游戏设计师,他从事游戏开发和音乐工作已超过10年。

代表作:《漫展模拟器》《Eddy紫》等,Eddy Violet 是他的 50 多个游戏作品之一,在中国获得了 10 万次下载。

FNjaQv2.png!web

作品集:http://dgspitzer.my-style.in/gameportfolio/

这段视频通过 AI 完成了上色、修复帧率、超分辨率的部分。

音效来自网络,背景曲目北京民乐大师的作品,其中道教音乐来自北京白龙观的录音影像。技术管线参考自 Denis Shiryae 的影像修复教程。

32eYVnR.gif

视频截图:作者提出的修复前后对比

作者在  帧率修复  部分使用的是由上海交大博士 Bao Wenbo 开源的 DAIN 插帧算法 (项目地址:https://github.com/baowenbo/DAIN)

rayQBjU.png!web

DAIN 的架构示意图

给定两个时刻的输入帧,先估计光流和深度图,然后使用建议的深度感知流投影层生成中间流。

 分辨率增强  部分使用了 ESRGAN ,一个基于 GAN 的增强超分辨率方法。

 视频上色  部分使用了 DeOldify ,这是一个是用于着色和恢复旧图像及视频的深度学习项目。由一位加州的艺术家工程师在 Github 上进行开源 (项目地址:https://github.com/jantic/DeOldify)

DeOldify 采用了 NoGAN 这样一种新型的、高效的图像到图像的 GAN 训练方法。细节处理效果更好,渲染也更逼真。

ve2Ebir.gif

还用 VirtualDub 软件对视频进行了老电影降噪部分的处理。

最后,这样一段时长十分钟的视频,就这样通过开源算法和软件的完美结合,呈现到了我们眼前,带领网友们穿越回民国,感受了一回北京的繁华街景。

—— 完 ——

iInuEbZ.jpg!web

扫描二维码,加入讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解更多

更多精彩内容(点击图片阅读)

eUVFnuJ.jpg!web

u2aq6fv.jpg!web

i2AFJrQ.jpg!web

auUZzye.gif


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK