5

最会玩游戏的,是 AI

 3 years ago
source link: https://www.ifanr.com/app/1442391
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

在 AI 的江湖中,率先出世并在围棋和《星际争霸 2》中击败人类顶级选手的 AlphaGo,已经宣告退隐。如今,高手仍在不断涌现,继 MOBA 游戏被「攻陷」后,AI 将触手伸向了 MMORPG 品类。今天我们故事的主角,是由腾讯 AI LAB 和天涯明月刀团队共同研发的「绝智」。

随着技术的发展,「AI 玩游戏肯定比不过人类」的认知已经一次次被颠覆。《天涯明月刀》中的绝智 AI 正是其中之一。当主播在与绝智的 1v1 决斗(游戏中被称为「论剑」)中被行云流水、轻松写意的招式轻松打败后,无一不「戴上痛苦面具」:「我怎么就输掉了呢?发生了啥?我有点接受不了……」

1-32.jpg!720

▲ 被绝智「轻松」打败后,游戏主播「痛苦到模糊」

人类真的赢不了 AI 了吗?APPSO 联系到了《天涯明月刀手游》的研发团队以及腾讯 AI LAB ,并对他们进行了采访,希望得到这一问题的答案。

AI 的修行,从搭建修炼场开始

「反正人类也不是第一次输给 AI 了,这次不过是换了一款游戏罢了」,相信很多人会有这样的想法。只是换了一个游戏这么简单么?联合团队的研究人员为我们分享了一段绝智 AI 的修炼之路。

想让绝智在《天涯明月刀》中成为战无不胜的大侠,第一步是为它搭建一个修炼场。

有别于人类玩家使用移动 app 或电脑软件进行游戏,AI 是以程序的形式「住在」服务器里。为了解决 AI 和游戏,以及移动 app 和电脑软件之间「语言不通」的问题,联合团队首先使用了微软的 .Net Core 作为解决方案,无需重新编写大量的代码就可以让绝智跨越多种平台与玩家「见面」。

而为了让绝智真正「见到」玩家,联合团队也动了一番心思。

a.jpg!720

首先,团队去除了原有程序内不相关的要素,专门搭建了包括人物属性、技能伤害等游戏内各种参数的基础数据库,让绝智 AI 能以最少的负担正常运行。

其次,在线上进行一场《天涯明月刀》的 1v1 对战,其实就是让两个不同的服务器的玩家进入一个「跨服服务器」进行战斗。由于这个流程可能会横跨六七个服务器,有时还需要中转,整个过程对服务器的要求是很高的,同时还会消耗大量资源。

为了提高训练效率,联合团队采取了一个巧妙的方法,那就是训练过程中只保留跨服服务器。让绝智 AI 直接「住在」跨服服务器上,把原本需要的资源量精简到不足一半,从而让战斗得以顺利进行。但即便如此,联合团队依然消耗了几百台服务器,用来保证同时进行几十万 AI 的不断训练强化。

b.jpg!720

最后,对战场地自然重要,但观战与复盘同样不可或缺。为了及时发现训练过程中的问题、保证整体效果。团队运用一套工具来实时监控和调整 AI 的战斗场次,甚至可以用来随时观看任一场 AI 的对战过程。

解决了跨服战斗和手游移植的问题后,绝智 AI 才算是正式步入天刀武林了,完成了他成为武林高手的第一步。那绝智 AI 又是如何成为站在天刀论剑顶峰大侠的呢?这是它接下来的故事。

从初出茅庐到战无不胜,这是绝智的修行之路

就像看完魔术,我们想知道背后的秘密,在看完 AI 打败主播后,玩家肯定也想知道 AI 为什么这么强,它是怎么打败人类的。

而在介绍开始之前,我们先看看绝智到底用什么样的操作,让主播直呼「接受不了」。

2-8.gif

▲ 绝智的连招操作,为最大化造成伤害进行技能衔接与组合.

3-5.gif

▲ 在主播施放特定技能的瞬间进行格挡,避免自己陷入破定状态,并快速反击.

每种游戏 AI 都是同样的「战无不胜」,但它们的训练方法却因游戏类型而完全不同。绝智 AI 在《天涯明月刀》这款 MMORPG 游戏中,自然有着与其他 AI 完全不同的成长经历。要聊绝智 AI,就先得聊聊《天涯明月刀》有什么不同点。

当玩家在《天涯明月刀》中设定好一个角色后,从不同职业带来的技能差异到玩家在成长中不同的个性化选择,再到玩家操作水平和对游戏的理解,让天刀中的每一个角色都有所不同、千人千面。到了论剑场上,一招一式的针锋相对,每时每刻的见招拆招,都需要玩家进行连续不间断的决策选择。如果想要进行不同职业间的对决,你还要对其他职业足够了解,才能游刃有余。

4-20.jpg!720

▲ 天刀手游中,每个门派都有数个主动和被动技能,而端游则更加复杂.

对玩家来说尚要如此,对绝智 AI 来说更是一种挑战。

为了让绝智 AI 可以快速的成为《天涯明月刀》中的武林高手,一个可以让它随时切磋对战的对手(强化学习训框架)就必不可少了。

联合团队依托自主研发的大规模强化学习平台,通过成千上万场的对战,在保证 AI 在训练过程中循序渐进的提升行为策略前提下,为各种各样的战局状况寻找最优的对应方式。

就像上文说到的,丰富的职业、技能、装备让论剑对局有无限可能,每一步操作都拥有非常庞大的探索空间。为了让绝智 AI 走好论剑对战的第一步,在训练初期阶段,通过引入一些课程学习策略,如随机设置 AI 在地图中的出生位置、初始化不同的状态值等,起到加速探索的目的。

同时,在整个对战期间,为了减少 AI 进行原地打转、空放技能等无意义操作,还利用 Action Mask 对技能使用的条件进行了限制,保证 AI 不会在无法命中目标或者还未冷却时释放技能,从而降低它的探索空间,以便更高效的投入战斗。

5-4.gif

▲ 如果没有妥当的引导,AI 在学会高效战斗前会浪费大量的时间摸索技能释放.

那么,要如何让 AI 知道什么时候该做什么事情呢?AI LAB 的项目负责人介绍,很重要的一点是 reward 设计。简单来说,就是对各种目标设定一个奖励分,举个例子,如果 AI 用技能打到了对手,就给正分数,如果 AI 空放了技能,就给负分数,AI 的最终目标就是顺利赢下这场对决,分数越高越好。

好的 reward 设计可以快速引导 AI 学习,但设计和验证 reward 都有很高的成本,一方面,AI 可能找到捷径,用特殊的方式拿到高分,另一方面,奖励的设置,在一定程度上也会限制 AI 的发挥。

根据《天涯明月刀》的游戏特点,AI LAB 与天刀联合团队针对角色生命值状况设置了「血量零和」reward,来强调己方生命值损耗比对方更少;而影响战斗的「压制」和「浮空时间」reward,则能引导 AI 学习如何通过技能组合长时间压制对手和浮空连招,来提升战斗效率——不仅要赢,还要赢得高效漂亮。

6-7.gif

▲ 经过引导与强化学习,AI 对浮空连击技巧的应用已经炉火纯青.

对于玩家来说,「战无不胜」是他的终极目标,但对于 AI 来说,这只是它的第一阶段:绝智 AI 还有一个更重要的任务:满足不同玩家的游戏需求——失败是另一种成功。

上面提到,除了复杂的技能树与多种职业带来的庞大探索空间,《天涯明月刀》还有一个非常重要的差异点:那就是玩家差异。

在天刀的游戏世界里,装备、经脉、心法等成长要素都会影响玩家的功力——功力是一个对玩家战斗力水平的评价数值,由游戏中各维度属性影响——在不断成长的过程中,每个玩家的进度都是不一样的。即使功力相似,玩家的操作水平也有高低之分。

正是角色本身的功力差异以及每个玩家的操作水平,才构成了玩家的段位。那么,绝智 AI 是如何覆盖所有玩家的呢?其实这是两个问题:「如何覆盖所有功力」和「如何覆盖所有操作水平」。

7-18.jpg!720

▲ 与多数竞技游戏类似,在天刀中玩家也能通过胜利不断提升段位,证明自己的同时获得奖励.

针对不同的功力,绝智采用了一个大规模的功力模版泛化去覆盖所有功力的玩家。「战无不胜」的绝智对《天涯明月刀》论剑的策略已经非常清楚了,进行大规模泛化后,基本可以覆盖到所有功力的玩家;而针对不同操作水平的玩家,则采用了能力分级技术,把绝智 AI 的能力降下来。

通过这两个方法,不同段位的玩家就能匹配到不同实力的绝智 AI,从而满足不同功力、不同操作能力的玩家需求——不是绝智变弱了,而是它可以根据你的能力点到为止。

8-14.jpg!720

▲ 从最低到最高跨越了 24 个段位,而玩家也呈现正态分布.

说起来简单,但绝智的成长之路,可远没这么简单。《天涯明月刀》的战斗策划 elsli 告诉我们,绝智的最初版,别说是连招,就连攻击玩家都做不到,只会站在原地空放技能,或者不停的撞墙。它的操作,连一个游戏的初学者都比不上。

而随着百万小时的对战训练和千万场的论剑对决,reward 设计逻辑的不断优化,那个只会在原地空放技能的 AI,就像一个初出茅庐,想要在武林中打出一片天地的少侠,逐渐学会了战斗、格挡、连招,终于有一天,天刀的战斗策划突然发现:我好像打不过它了。

今天的绝智,战斗策划已经无法通过和它对战来判断新的模型是否有进步——反正都是打不过,完全无法判断 AI 到底有多强。

而当绝智到手游端后,许多新玩法新套路,都是策划、玩家在看过绝智 AI 的操作后才恍然大悟:原来还能这么玩。

9-6.gif

▲ 经过刻苦训练后,AI 已经可以轻松「拿捏」大多数对手,甚至是「教他的老师傅」.

能战无不胜,也能点到为止,能陪玩战斗,也能教你套路,绝智正在规划的道路中不断前进,又在前进的道路中不断为我们带来惊喜。

战无不胜、点到为止,绝智的大侠风范

绝智到底有多强?《天涯明月刀》的战斗策划给我们的答案是:超出预期。

作为一个陪玩 AI,绝智的目的还是让玩家可以获得更出色的游戏体验。而对玩家来说,不论是端游还是手游,关于 AI 玩家无非有以下三种期待:看到实力超群的游戏主播、职业玩家被 AI 打败;看 AI 之间进行对决,用绝对理性强大的操作来评判出武林中的最强门派。最后一个,也是最重要的一点:玩家希望有一个可以随时可以与它对战的人。

10-8.jpg!720

▲ 每个「战斗系」玩家都需要一个最了解自己又水平相当的陪练,甚至是「孤独求败」的顶端玩家.

《天涯明月刀》团队对绝智 AI 的期待是,可以与不同功力、不同操作水平的玩家在论剑对决中,保持 40% 的胜率。可自我成长能力超过策划预期的绝智 AI,在打败人类的道路上一骑绝尘,在之前与游戏主播的对战中,更是拿下了 13 连胜的成绩,什么,设计目标是胜率 40%?

「虽然节目效果很好,但这真的不是我们的目的」——《天刀》的策划在采访时略显抱歉,但同时也能感觉到他对绝智的骄傲。

在采访的最后,《天涯明月刀》团队为它打出了 8 分的成绩:绝智足够强,但强大并不是《天涯明月刀》团队所追求的,让绝智能在论剑中保持点到为止的表现,并把它应用到更多游戏场景中,让玩家拥有更好的游戏体验,用 AI 技术去创造新的游戏性,才是绝智的发展目标。

今天的绝智已经完成了一个稳定的训练框架,从接入游戏职业到 GameCore 的职业实现、进行 AI 训练,再到即时稳定的训练建模,已经可以在很短时间内在手游端训练出最强 AI。即使有版本迭代、职业调整,也可以快速完成训练。

绝智可以变成最强 AI,一人一剑战无不胜,但让不论什么水平的玩家,都可以在论剑或者其他游戏场景中,找到一个符合自己技术水平、装备功力的 AI,在和它大战三百回合后收获成长。那种峰回路转、柳暗花明的对局,才是最符合玩家期待的,陪伴玩家练习和成长的「最强 AI」

在这条道路上,绝智正在不断探索、不断前进,来为玩家创造新的游戏性。

绝智的成长,还未到尽头

在主播与 AI 的战斗中,除了绝智格挡反击等让玩家觉着不可思议、引发阵阵赞叹的流畅操作,还有另一场景同样让直播间充满了欢乐的气氛:在主播残血即将失败时,绝智并没有来结束战斗,而是连续翻滚,似乎在「嘲讽」主播。

我原以为这是绝智的一个新奇的设定,而 AI LAB 的研究人员很坚定的告诉我们:虽然玩家反馈很好,但不得不承认,这只是一个 Bug。

11-4.gif

▲「嘲讽」主播的绝智 AI「秦一十一」,被观众笑称为「主播的一生之敌」.

强大的 AI 打败真人玩家,这是玩家想要看到的,但玩家更想看到的,是 AI 不只单纯的强,而且更具人性、更有温度。那时的 AI,可要比单纯的战斗力强要更加令人赞叹。

不过,虽然从理论上来讲,AI 零延迟的反应速度、可以记住所有技能冷却、判定范围的记忆力是大多数玩家无法匹敌的高度,但对顶尖的、拥有比普通玩家更快反应速度的职业选手来说,现在的绝智 AI 并非无法战胜,这是人类策略的胜利。在游戏策略方面的进化,同样是绝智未来想要拓展的方向之一

那么,绝智的未来会是什么样的呢?

在我们询问对未来的计划时,已经在天刀论剑中创造出「最强 AI」的研发人员反而谦虚了起来:「就是脚踏实地,先一步一个脚印吧。」而策划口中的「一步」,已经在《天涯明月刀》的故事中开始酝酿。

「科技」与「武林」,似乎是两个完全无法连接起来的概念,但在《天涯明月刀》中,它却意外的有些和谐。从落眼于江湖的「孔雀翎」主题,到落眼于天下的「大悲赋」主题,《天涯明月刀》即将开启落眼于宇宙的「血鹦鹉」主题。绝智,则是开启这个新时代的钥匙。

12-10.jpg!720

▲ 或许未来,游戏内的 NPC 将由 AI 接管,变得更加栩栩如生.

现在提到宇宙,我们会想到浩瀚星空,但作为一个古词,宇宙指的本是天下四方、古今往来的一切浩瀚神灵,而「绝智」之名,正来自天刀世界中,以脚步丈量九州、以手眼描绘风物,醉心于科技探索和发明创造的组织「绝智轩」。这样的设定,让绝智 AI 进入天刀宇宙显得非常融洽。

《天刀》IP 的世界观构架师则表示,会把绝智系列 AI 融入游戏本身的设定中,古今辉映的天刀宇宙,会因绝智 AI 的加入来开启全新的「血鹦鹉」主题。

在端游的实践中,研发团队们发现许多 AI 都有了忠实的粉丝,玩家会根据 AI 设定上的特色,为他们赋予「比较怂」、「有心计」等性格。而在《天涯明月刀》未来的规划中,绝智 AI 也确实将延伸出符合 AI 性格的人设,在陨星之战(手游)、馥郁之战(端游)等主题战场上大展身手,甚至会成为「衔命绝智轩」的主题话本核心人物,让 AI 成为 BOSS,为 PVE 玩法带来更多可能。

同时,智能化 AI 的潜力不仅仅是战斗 AI,还有整个游戏世界和全新虚拟生态的构建。在未来,还会有「绝智系列傀儡」,不只陪玩家对战,还能实现设定、性格方面的陪伴,成为一个与玩家共生、陪伴玩家成长、游历江湖的玩伴,让每一位少侠的江湖之路都不再孤单。

13-10.jpg!720

▲ MMORPG 的特色是由千人千面的玩家组成生动的江湖,绝智 AI 的出现将创造更多的羁绊.

绝智可以是你的对手,也可以是你的师傅,可以是与职业选手对战的最强陪练,也可以是赛场中的明星选手。我们相信,在天刀团队与 AI LAB 未来「脚踏实地」的合作中,在对技术坚持、巩固以及细节的把控里,更强、更人性化、更多样性的绝智 AI 即将再一次刷新我们的认知、改变我们的体验

那个「一鞘剑光,战无不胜」的神秘剑客,还会在不断的技术精进中,为江湖书写更多神话。

sysappso.jpg!720

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK