5

AIGC教程:如何使用Midjourney节省70%时间,制作3D游戏角色

 1 year ago
source link: http://www.gamelook.com.cn/2023/03/513232
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

AIGC教程:如何使用Midjourney节省70%时间,制作3D游戏角色

2023-03-27 • 游戏美术

【GameLook专稿,未经授权不得转载!】

GameLook报道/随着AI技术变得越来越强大,业内对于通过AI制作游戏或提升游戏研发效率的兴趣也与日俱增,不断有开发者尝试将生成型AI模型融入到游戏研发当中。

最近,一位从业20多年的独立开发者分享了自己使用AI对人物角色和机器人角色进行的尝试。他在分享博客中提到,AI在角色概念设计方面带来的结果并不令人满意,比如不同的纹理映射在网格上并不匹配,做出想要的风格仍然需要多次尝试和手动调整。

不过,按照他的预计,AI在人物角色的建模设计中,至少节约了两天的工作量,在场景创造上节省了三天的时间,而通过AI实际使用的时间为18个小时,按照每天8小时计算,AI帮他省掉了40个小时,约等于70%的时间。

随后,这位开发者还设计了一名女性机器人角色,并且将六个多小时的建模过程压缩成了几分钟的操作视频。据他透露,这些尝试将被做成一款2.5D点击冒险游戏《Echoes of Somewhere》,它由一组业内资深人士通过业余时间研发,期间将重度依赖AI生成内容,并且将研发过程做成博客分享,游戏里的每个章节将持续1-4个小时,且美术风格各异,完成后将逐章免费发布。

以下是Gamelook编译的研发博客内容:

人类角色建模实验

作为一个有趣的小创意原型,我想知道使用AI为一款2.5D点击式游戏创造尽可能多的艺术作品会有多大的工作量。

我认为背景是已经确定的,因为游戏几乎是2D的、只是角色更复杂。我需要一个快如闪电般的管线,一个允许我使用动态捕捉数据的管线,这样创作动画就不会成为瓶颈。我需要一种方法来将AI生成的美术转化为可以接受动作捕捉的格式。

最好的方式似乎是用AI生成角色概念,并且把它们做成3D模型。

我从事游戏行业已经超过20年了,其中很大一部分时间都是在做角色建模和背景创作,所以,了解AI如何让我工作更快,是比较有趣的,更重要的是,能够有多快?

我计划只在广角镜头中使用角色,所以低品质或者混乱的细节就可能不那么重要,但AI技术已经取得了长足的进步,美术风格的连贯性比几个月之前要好得多。

指令打造

我是通过命令AI(这里用的是Midjourney,但我用Stable Diffusion更多)做一个带有三视图的模型图纸,类似于在一个动画工作室做的那样,这将会是个很好的开始。

lazy.png

第一个结果看起来很有希望,但对我来说还不够好,因为是黑白的图片,但模型图纸通常都是如此。我试图不使用任何艺术家作为参照,但对于AI来说,想要不受到一系列艺术家的影响是不可能的,我只是希望做的更混乱一些,而且不能直接看出来参照任何人。

lazy.png

第二次尝试也不够好,但至少是往对的方向走了一步。

经过了一些调整之后,我得到了一个指令,可以制作能够被我用做3D步骤基础的东西:

lazy.png

对于不同角度,这些图片的协调性令人惊讶,这些非常适合用于建模和纹理映射。不过,有一个主要的问题是:这些图像的视角发生了变化,而且是从很奇怪的角度。不过,我对于如何克服这些问题有些想法。

由于这些图片是被AI创作的,它的版权不属于任何人,现在你使用AI的时候,就等于自动签署了这样的“合同”。它们可以被任何人免费使用,复制这些图片是非常琐碎的事情,至少我对AI是这么看的。

建模

我选择了AI创作的一张前面和侧面看起来都不错的图片,但背面看的效果有些问题。只是为了解决这个问题,并且看它是如何影响其他事情的、是否能从最终模式中提取纹理?

lazy.png

我开始用的是侧面和前面视角,以得到一个能够在Modo里用的角色草稿,一旦角色完成,可以很清楚地看到,不同的纹理映射在网格上是不匹配的。

lazy.png

为解决这个问题,我给每个映射做了morph map,确保网格上的前面、侧面和背面三个视角尽可能好。

lazy.png

接下来我需要在网格上做旧式的UV展开,这很耗时间而且比较乏味,但必须做好,这样在Photoshop里混合纹理才能更容易。UV做好之后,是时候用morph map将所有不同的图片映射到UV上。

lazy.png

现在模型已经完成而且可以用来做绑定,这一步我用了Mixamo。过去我没有使用过任何自动绑定工具,但为了提高效率,我想知道是否有一种方式让它尽可能快速的完成。Mixamo在给角色做绑定方面非常出色,但我需要在此之上做些事情,尤其是胡须。

lazy.png

背景图片

背景图片简单了很多,因为它可以被用作一张2D图片,而不是一个3D模型。

lazy.png

尽管图片是2D的,它仍然需要一些工作来很漂亮的将3D角色融合进去。首先,我们需要从图片获得摄像头数据,我用了一个叫做fSpy的免费工具来逆向(reverse-engineer)摄像头。

lazy.png

fSpy为Blender组了一个重要的附件,所以很容易让图片和摄像头在其中建模,以便做出这个地点的粗略呈现。

3D版本的场景需要与角色视角转换匹配,以便让角色能够在物体之下通过,这对于在3D空间中设置灯光以及从角色上的位置获取阴影也很有用。

Blender也有一个优秀的工具用来从摄像头映射生成UV,所以它在这一步是非常完美的工具,只不过我需要从头开始学习,因为这个软件我并不熟悉。

将所有东西组合在一起

做了所有这一切之后,只需要把它们组合在一起就行了,我使用了Unity引擎,我为角色的移动创建了一个简单的动画,放大3D场景以便与角色匹配,并设置一些灯光以匹配场景照明,这样角色就不会那么突出。

结论

我用了18个小时做3D资源和这个创意原型的Unity脚本。12个小时用在角色模型、UV、morph、纹理、绑定,3小时用在了本地摄像头和网格,其余时间用在了游戏脚本上,不包括任何AI指令的时间。

按照我的估算,AI在这个角色上至少为我节约了两天时间,在场景上省下了三天时间。

最终结果从任何方面来说都不是完美的,角色近景并不理想,场景很难做出艺术方向而且很容易随机化。但是,如果你能够接受AI的短板,并解决它们,那么使用AI作为助手来打造一个完整的游戏是完全可能的,它让因为预算或时间限制无法制作的游戏研发成为了可能。

女机器人角色建模

对于“用户面对”的角色,我希望做一个比较高的女性机器人,一个可以取代服务员、职员和所有服务职业的人。

lazy.png

指令

这个旋转角色,是我在尝试用AI制作同一个角色不同角度连贯图片的时候创作的。在指令文本中,甚至有拼写错误,但我做了一些事情使得它留了下来。我选择了一个没有背面视角的图片,主要是因为我需要这样一个专门的及其他,AI不会画一个带背面视角的。而且这也是个很好的测试,来看看没有背面视角的角色会是如何影响作品的。

lazy.png

3D建模

这一次增加的建模和最终纹理映射挑战,来自于角色本身没有背面视角,我在Photoshop里手绘了缺失的表面。

lazy.png

建模过程并不困难。由于有正面视角,遵循这个概念很容易。三视图不太匹配,但我总是选择添加我最喜欢的细节,这个角色有很多相当模糊的细节,其中很多都需要我来解读。很多时候,我只是非常自由地建模,而不用太担心这个概念。我喜欢光滑、圆形和棱角分明的对比。花了一些时间,让圆形变得格外圆润、使尖锐的形状变得格外锋利。

我只做了角色一半的建模,然后镜像出了结果,节省了一些时间。

我从开始到结尾捕捉了整个过程,但观看这些录像之后,我觉得看起来很枯燥,只是一个奇怪形状的放大视角,相机就像疯了一样左右摆动。但为了读者的观看乐趣:这里将六个半小时的建模和Photoshop处理压缩到了几分钟内!

完成的模型看起来是这样的:

lazy.png

UV纹理

为了让纹理一如既往地烘焙到UV上,我用了同样的技巧:为网格创作了morph map,使角色变形以完美地适合AI生成的图像,并将图像的基色渲染到UV贴图上。该模型的UV展开也非常枯燥,因为该模型有许多重叠的形状和相当多的细节。我还将模型保持为一个连续的形状,以便Mixamo自动绑定尽可能好地工作。

lazy.png

我在不同的表面上使用了这两种映射的最佳部分,再次将这些映射组合成一张贴图。由于背面视图完全缺失,这一个需要大量的复绘,整个角色的背面也缺失了。

我还从漫反射通道数据中导出了自发光贴图、粗糙度贴图和法线贴图。创作这些贴图是为了分解原本较低的多边形曲面上的灯光,以增加细节的错觉。

最终UV贴图:

lazy.png

绑定

我在Mixamo绑定方面是新手,但它非常简单而且似乎很容易被接受。这个工具为标准的人形角色节约了大量的时间,Mixamo对于预览角色在不同动画中的外观也很好用。当我为之前角色做绑定的时候,就使用了我从其他角色复制的一个Mixamo绑定作为基础,因为这个绑定在Unity当中运行非常好。

最终结果

我对于最终结果感到很高兴,模型仍然是低细节的,纹理近观看起来分辨率也很低,但在游戏里的视角看起来不会显示这些缺点。

lazy.png

我之前从未做过这样的建模,对我而言看起来有些过于性感,但她在游戏里的角色就是这样的定位。

如若转载,请注明出处:http://www.gamelook.com.cn/2023/03/513232


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK