1

如何把这个男人变成狗狗?我来教你

 11 months ago
source link: https://www.36kr.com/p/2333841579378185
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

如何把这个男人变成狗狗?我来教你

果壳·2023-07-07 09:30
AIGC,正在修改真实与虚幻的边界。

从让人“san 值狂掉”的扭曲画面,到让人赞叹不已的作品,AI 生成图像实现这种跨越,就用了一年左右的时间。

艺术家 Boris Eldagsen 说,除了纪实,大部分摄影都可以被 AI 取代。但当大量模拟纪实照片的 AI 图像铺到面前,你也会觉得真实和虚幻从未像现在这样难以分辨。

v2_84a84c663d88432fb0affbfd242b0cb3@000000_oswg73293oswg1080oswg720_img_000

Boris Eldagsen 和他获 2023 年索尼世界摄影奖的作品,但作品为 AI 生成,当时评委没看出这并非摄影作品|网络

不过,今天我们不着重讨论 AIGC 的效果,而是要来介绍 AI 生成图像中最有趣,也最关键的能力——局部擦除、修改(inpainting),以及无限扩展图像(outpainting)。

v2_f436f9bd8a15450e967a2eb0f89659e5@000000_img_000

Inpainting 就是涂抹掉图片中的局部,然后通过 AI 重新生成该部分的内容丨https://www.assemblyai.com/blog/stable-diffusion-in-keras-a-simple-tutorial/

v2_4da2c713c17b40639891decaccea7c82@000000_img_000

Outpainting 就是依据提示词用 AI 扩展现有的画面丨https://bootcamp.uxdesign.cc/midjourney-v5-2-is-out-with-mind-blowing-features-fd91115319c1

别看这两种功能简单,我们不仅可以用来编辑图片,也能在前者基础上“进阶”生成视频,玩法无穷,就看你的创意了。

这功能不新鲜,但好用了才能火啊!

最近更新的 Photoshop (beta),也新增了 inpainting 和 outpainting 这两种功能。而最新版的 Midjourney 也因为 outpainting 功能(官方称之为“Zoom Out”)再一次出圈。

其实,这些功能并非它们“首发”,去年夏天 OpenAI 的 DALL·E 2 就已经展示过这些特色功能,后来开源的 Stable Diffusion 也内置了,但都因为用起来不够方便,没掀起多大水花。直到知名生产力工具 Photoshop 搭载,才真正火爆了起来。

这篇文章中展示的作品,所用工具大多数都是 Photoshop。一是它的 AI 编辑功能效果最好,二是它还本身就具备完整的基础图片编辑功能,很多工作都可以一站式处理。

v2_7b856d47fd9c49f58aca63a6ce4021b6@000000_oswg252384oswg1080oswg566_img_000

其实,早在去年就有人把 Stable Diffusion 的 inpainting 功能制成 Photoshop 可用的插件。今年,Adobe 终于缓过神来了,把这些功能全都整合了进去。

局部重绘怎么玩?

你用新增了 AI 功能的 Photoshop,可以毫无痕迹地拼合、修改画面里的任何东西,轻轻松松就能模糊现实和虚幻的边界。

它刚一推出,就有人把网络上那些病毒式传播的梗图组合到一个场景里:

把原本不存在于同一空间的事物,无痕拼接起来,是 inpainting 的拿手好戏。

我想到了塔罗牌——由 22 张大阿卡纳和 56 张小阿卡纳组成,那 22 张主牌每张都代表着某种品德或经验,我们唯有结合这些这些才能完全认识自己,成为一趟叫“愚人之旅”的成长。

v2_a23cd8bba74d4a7ca3b5312b469884dc@000000_oswg531155oswg1080oswg225_img_000

我把这些牌面用 AI 无痕拼接起来后,这个成长故事在视觉上就连贯起来了。

能处理图片,自然也能处理视频,因为视频本质就是一系列图片(序列帧)的集合。

那么,如何用 inpainting 制作有创意的视频呢?我先拿我制作的“量子花”作示范:

整体思路就是修改画面里的局部元素,然后用 AI 补帧功能把多张图片链接起来。

我先是在 Photoshop 修改了实景画面中鲜花的品种,重复了 30 多次后,我拿到了 50 张图片,从中挑选我满意的。

v2_7fd3713624404f2f8497b36e6ec67401@000000_oswg280627oswg1080oswg748_img_000

接下来,我用 Runway 的 AI 补帧功能来制作视频。到 runwayml.com 上找到【frame interpolation】——这个补帧功能可以自动补充你上传图片和图片之间的过渡动画。这样我们就能得到不同鲜花之间连贯的变形动画。具体操作也很简单,只需要你上传图片,然后一键补帧即可。

v2_87e74a0dc0f2460ebc96688899c20887@000000_oswg200633oswg1080oswg525_img_000

你看,这鲜花在不断变化着品种!我将它称为量子花。

对于这次 AIGC 带来的变革,很多人焦虑,甚至恐惧,但我们也应该看到新工具带来的能发挥无穷创意的可能性,就像这朵不断变化形状的鲜花一样。

除了制作上面这种“变形动画”,我们还可以使用类似方法,来制作“生长动画”。这里还是用鲜花举例,通过一点点修改花束的边缘,来实现花束向上展开的效果。这里还是使用 Photoshop (beta) 和 Runway 两个工具。

除了植物的生长动画,还有国外设计师用它制作了建筑的生长动画,效果更加有趣、壮观,十分适合拿来重建烂尾楼!

图片拓展怎么玩?

Outpainting 一张图片,我们就能看到主体突破了画面的边界,看到意想不到的世界。

现在很多工具都可以 outpainting,最近很火的 Midjourney 甚至还专门推出一个能“定向拓展”的功能。可惜的是,目前 Midjourney 还不支持上传任意图片进行扩展,只能用平台生成的图。

我测试了目前市面上带 outpainting 功能的产品,如果你想了解它们的功能和优劣势,可以看以下表格:

v2_308ac3de10ba413887bdc9acd0718d39@000000_oswg90169oswg1080oswg397_img_000

目前图片拓展最常见的玩法,就是直接用 Midjourney 重复拓展照片,然后把多张图片连起来,制作成“主体不断缩小,外景持续入镜”的视频。目前网上已有非常多的教程,这里就不展开来讲了。

以上玩法主要还是以画面中心点向四周扩展,今天我们讲讲定向拓展——可以尝试向上、下、左、右的方向扩展画面。通过定向扩展,你会得到一张非常长的画面:

v2_831c0449d3724ba4ba68e8e8bd64b5b5@000000_oswg53236oswg1080oswg432_img_000

比如,这张图的尺寸是 6144 × 768,Midjourney 并没有限制图像的大小,我还可以继续拓展下来。拿到这张图后,用 AE 就能做成简单的动画了:

我录制了一段地铁的视频,然后还是通过 Runway 的删除背景功能把窗户抠掉,然后把这段实景视频以及用 Midjourney 做的定向动画,放在 AE 里结合一下,就成了这种窗外是异次元的视频动画了,你还可以把窗外的场景换成末世废土场景、赛博朋克城市、火星和月球……

v2_940e867b97eb4fb59e497655c130452d@000000_oswg382459oswg1080oswg524_img_000

除了这种定向延展的视频,在大家常见的“中心无限放大”这个思路上还有哪些有趣玩法呢?

我们还可以结合实景视频来做无限拓展,这样融合了真实和虚幻的效果,会更有带入感。

下面这个例子我用的是 Photoshop,思路很简单:架起稳定支架拍摄一段视频,保证视频无抖动并且画面周围一定要是静止的,只有中间部分是动态。

第二步就是把这个视频的第一帧导出成图片,再把这张图片通过 Photoshop的 AI 拓展几次。我这里是将画面固定在 1920 × 1080 这个大小,每次把图片长宽缩小 50%,然后用 AI 补充剩下的部分。这样反复十几次。

v2_cece3cb6f8c64ab3b33e6bbc056880ac@000000_oswg908151oswg1080oswg743_img_000

如图,虚线的部分是 AI 填充的。

在 AE 里,备好一个实拍的视频,实拍视频的第一帧图片,以及用 Photoshop AI 拓展生成的 12 张图:

v2_13752eb20c0941208fc34afe55803c3d@000000_oswg232911oswg884oswg890_img_000

统统把它们放到 AE 里处理,就生成了以下这个视频:

这个俯拍视频,从工作室一直放大到建筑、城市、大陆和星球。制作完了之后我才发现,这个视角特别像是《三体》里智子监控人类的视角。

感谢 AIGC,让这种几乎不可能存在的视角轻轻松松就实现了。

上面我们提到了两种 outpainting 的创意用法。一种是重复扩展图片,然后把图片拓展的过程做成动画,另一种是用实拍视频融合 AI 扩展图片,这个做法模糊了真实和生成的边界,冲击力更强。

但玩法远不止这些,Twitter 用户 @paultrill 做了这么一个尝试:

用 AI 让图片和视频自然地衔接和过渡,用来做转场素材非常合适丨@paultrill

AIGC 将会如何改变图像、影视后期

如果说去年的重点都在文生图上,那么今年的焦点则是 AIGC 与视频。生成图片效果已经足够惊艳后,我们看到越来越多的新技术都开始服务于视频、动画。

如果非要预测的话,未来一年必定会有针对细分视频工作流的产品出现,国外目前做的最好的是 Runway,国内各大短视频的公司都在开始研发相关的产品了。

这将是一个人人都可以轻松用 AIGC 实现自己的创意和想法的时代:真实与虚幻的边界也会越来越模糊,创作空间在扩宽;每个想法都能快速变成作品,创作门槛在降低。这对于创意者来说,无疑是一个从未有过的好时代。

文章中配图和视频如无特别说明,来源均为作者

本文来自微信公众号“果壳”(ID:Guokr42),作者:逗砂,编辑:biu,36氪经授权发布。

该文观点仅代表作者本人,36氪平台仅提供信息存储空间服务。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK