4

一张自拍变6种风格漫画,视频也支持,全程稳定不"掉线",这个AI不到一天狂...

 2 years ago
source link: https://www.qbitai.com/2022/01/32347.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

一张自拍变6种风格漫画,视频也支持,全程稳定不“掉线”,这个AI不到一天狂揽1800赞

head.jpg丰色 2022-01-30 12:35:02 来源:量子位

网友:不如叫WaifuNet

把自拍变漫画:

f85cffaf8728412b8888a22a3bc5e423~tplv-tt-shrink:640:0.image

不止支持一种面部风格:

7591b8b5aba54776b29d479c8b0131ba~tplv-tt-shrink:640:0.image

任凭小姐姐怎么“全身大比划”,效果都能保持稳定,全程“不掉线”:

b17b02838faf4a8a90b8011a9db436b3~tplv-tt-shrink:640:0.image
72903d1d5f05430a8ce7241840eea4a0~tplv-tt-shrink:640:0.image

不止人脸,连全身和背景也都全部照顾到了。

这,就是最近在Reddit上大火的一个自拍变漫画AI,不到一天就收获了1800+赞。

2da91321dd0e43df9f2d9af72d6ceea7~tplv-tt-shrink:640:0.image

什么来头?

自拍变漫画,人脸、全身、背景都照顾到

这个AI叫WebtoonMe,基于深度学习技术将图像翻译成漫画风格。

熟悉的朋友可能知道,Webtoon,web+cartoon,也就是“网页版漫画”,是漫画的一种呈现形式,出自韩国。

这个自拍变身漫画AI的技术团队也来自韩国。

一开始,他们只做了人脸转换,后来打算把背景也包括进去。

610381800c494a83908ce0c7b2955b3d~tplv-tt-shrink:640:0.image

不过问题就来了:照片中的各种物体(如面部、身体部位、衣服、背景等)的风格属性都不太一样,如何输出统一的结果呢?

作者采访了几位webtoon的创作者后了解到,webtoon的“前景”和“背景”是用不同工具制作的,为了让两者更自然地融合,后期也添加了不少修饰。

因此,他们将这个AI分为面部转换和背景转换两部分,即一个背景生成器+一个面部生成器,把人脸裁切出来和背景分别处理。

cde64d00db114a578f79776e7d5674f5~tplv-tt-shrink:640:0.image

具体来说,他们先构建了一个webtoon数据集,这个数据集由人脸、身体部位、物体和自然背景等不同部分组成。

然后创建了各种深度学习模型,用来减少前景和背景元素之间的风格差异。

最后又模仿了不同webtoon创作者的修饰技术,通过几种后处理算法,让生成的结果更自然、质量更高。

20a80d3b41e342188dba338e370a29ed~tplv-tt-shrink:640:0.image

具体的技术细节我们还未可知,目前也还没有开放试用链接。

不过看起来让很多心动的背后,一些细心的网友仅通过几张示例就发现了一些问题。

眼睛的效果还需改进

就比如这个眼睛,很多网友表示有点恐怖啊,一直直视前方,眼球动也不动。

085130fe25724179bdfec41ed4f171a2~tplv-tt-shrink:640:0.image

如果能模仿眼球转动、眨眼睛、眯眼等眼部动作,效果肯定会更好。

8a0d687b3b3d4443acba529669bc0db6~tplv-tt-shrink:640:0.image

此外,抛去这一点,脸部和背景处理得都还不错,就是这个身体部位风格化得不够彻底,还是有点像真人

4b4c9a0d31314b71a9fbab6a66e3d258~tplv-tt-shrink:640:0.image
6c1cd773aebc48399cbcd947b203bbd8~tplv-tt-shrink:640:0.image

倒是这个AI的稳定性值得让人夸赞。

89aaf8b9e0494972b1bc67088062e2ea~tplv-tt-shrink:640:0.image

哦,还有一点美中不足,有网友“惋惜”:

要是这个AI还没取名字就好了,不然就可以叫WaifuNet了……[旺柴]

e8b8fef7e4254b219525603de9572a70~tplv-tt-shrink:640:0.image

One More Thing

要说这人物变动漫的AI,一直都层出不穷。

就比如前不久的AnimeGAN2,采用神经风格迁移+GAN,由湖北工业大学的三位学生和老师开发,也是大火,一度需要网友排几小时大队才能看一眼自己在动漫里的样子。

b324a609210c4d489053afc05281e85c~tplv-tt-shrink:640:0.image

AnimeGAN2的风格和今天的这个WebtoonMe不太一样,变换重点也只包括人脸,所以眼部跟踪做的挺好。

不过面对不够高清的人脸时,效果一般。

两者各有所长吧,你喜欢哪一种呢?

参考链接:
[1]https://webtoon.github.io/WebtoonMe/en

[2]https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK