9

浙大小姐姐搞出秃头生成器登CVPR,完美保留五官脸型,这就去给我的简历加加分

 2 years ago
source link: https://www.qbitai.com/2022/04/33970.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

浙大小姐姐搞出秃头生成器登CVPR,完美保留五官脸型,这就去给我的简历加加分

head.jpg萧箫 2022-04-10 13:18:41 来源:量子位

气质从实习提升到主管

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

还在为找工作去理发店剃秃头吗?试试这个生成器!

只要输入一张照片,输出的就是完美无瑕的光头,气质立刻从实习提升到主管(手动狗头)

ba7bf6128f974e3b8ca4042f5f09bf51~tplv-tt-shrink:640:0.image

无论你是年轻的程序员小哥,还是长发飘飘的程序媛,都可以通过这个方法“变得更强”:

393083baff4f4e80ae1820abe917c8e8~tplv-tt-shrink:640:0.image

有了这个名叫HairMapper的“光头神器”,P头发就是分分钟的事情,五官却完全不受影响:

2680086bd8cf4f0fa458aeee7b54f43d~tplv-tt-shrink:640:0.image

嗯,以后有了想做的发型,直接P一个……

要实现这么好的效果,得用三个GAN合力才行。

所有人都能用的“光头神器”

具体来说,HairMapper的原理一共分为三步,生成秃头→保留五官→合并头像。

003cd1e52bf6446bb2a7850ece01a15f~tplv-tt-shrink:640:0.image

首先,作者们利用StyleGAN,做出一个与原头型相近的秃头效果:

6b1ba42297864acd8999fd6ad8983804~tplv-tt-shrink:640:0.image

这时候我们看到,StyleGAN没办法做到精准地控制五官生成,因此脸型稍微有所变化。

那么接下来,就是利用InterFaceGAN,抠出一个头发以外的脸型和五官形象,同时也保留四周的风景:

5e102ac9266b48a0807f97dc53ccc151~tplv-tt-shrink:640:0.image

最后,将前两步生成的效果合成,就做出了一个完美的“光头”:

58cb8d4d278d44549eab9d18fc729bc6~tplv-tt-shrink:640:0.image

不过值得一提的是,由于长发、女性光头数据集少等原因,因此作者们额外为女版“光头神器”多加了一个步骤。

在这其中,女性照片要先通过StyleFlow转换成男性照片,再重复上述步骤,最终同样得到一个光头:

ff7cdd47034543d7bda576e02bf12ac9~tplv-tt-shrink:640:0.image

这样的效果还是不错的,在数据集中测试显示,即使是发量惊人的女生也能一键脱发(doge)

b007d8efb5f04d2682166105cb7b96fa~tplv-tt-shrink:640:0.image

作者们将HairMapper与其他的秃头生成器做了个对比。

还做成了6000+秃头数据集

事实上,之前并不是没有人做过秃头生成器,只是效果并不太理想。

例如Adobe之前推出过的这个叫StyleFlow的生成器,就能让马斯克变秃:

ec398b3f7733499999e864cbf7cc6be9~tplv-tt-shrink:640:0.image

但一个是头发没脱干净,另一个是五官也给GAN成了“另外一个人”。除了StyleFlow以外,其他类型的“秃头生成器”也面临这样的问题:

9211c4a8c44b451091d20594693bd2d4~tplv-tt-shrink:640:0.image

这次的HairMapper在GAN脱发的基础上,保留了原本的五官,使得还原出来的人脸非常真实。

无论男女老少或圆扁尖头:

44b8d5035116411e84a5eb9d757869a0~tplv-tt-shrink:640:0.image

还是各种不同肤色乃至不同肤质:

139da592daba4bb8a500dbc6152b9d0f~tplv-tt-shrink:640:0.image

甚至是侧脸乃至有阴影,都能在HairMapper的作用下get丝滑的光头特效:

23f733cc17e7467089ac66a9644dbfd9~tplv-tt-shrink:640:0.image

目前作者们已经利用这个算法,将Flickr-Faces-HQ(FFHQ)数据集中的6000张人像变成了光头。

以后无论是P头发、还是变身男装/女装大佬,都能用这个开源数据集来训练了:

3e67cb9792064607a3765ec96b0f60b1~tplv-tt-shrink:640:0.image
234c8a3e39d847d1b6c32a8390dfc451~tplv-tt-shrink:640:0.image

一作Yiqian Wu,来自浙江大学计算机辅助设计与图形学(CAD&CG)实验室,目前在读博士生,兴趣是计算机视觉和人像编辑等。

d8c8ba60e9304bb5abfc64fefab2d13e~tplv-tt-shrink:640:0.image

二作Yong-Liang Yang,巴斯大学助理教授,本硕博毕业于清华大学,曾师从胡事民教授,研究方向是计算机图形学、几何建模、VR/AR等。

32851cbe50c54440a1a41b84ba7db7d5~tplv-tt-shrink:640:0.image

通讯作者金小刚,浙大CAD&CG实验室教授,研究方向包括电影特效模拟、自动驾驶仿真、创造性建模等。

是不是迫不及待想要一试“光头神器”了?

据作者表示,目前HairMapper的预训练代码还在加急制作中,马上就会放出来,而数据集已经可以用了~

项目地址:
https://github.com/oneThousand1000/non-hair-FFHQ

论文地址:
http://www.cad.zju.edu.cn/home/jin/cvpr2022/HairMapper.pdf

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK