游戏中最有魅力的角色，耐人寻味的游戏名

本文首发于“腾讯天美工作室群”知乎账号，游戏葡萄有权转载。

人工智能在游戏领域并不是什么新鲜事，几乎所有重要的游戏都包含人工智能。虽然早期的游戏AI主要是通过人工规则实现的，但直到最近几年才进入深度学习领域。

从技术角度来看，游戏也是检验AI能力的“试金石”。自从1997年IBM的国际象棋超级计算机“深蓝”击败世界冠军加里·卡斯帕罗夫以来，“世界上最复杂的国际象棋游戏”围棋就成为了人工智能的下一个挑战。

2016年，谷歌DeepMind开发的围棋人工智能“AlphaGo”击败了韩国著名围棋选手李世石，标志着以深度学习为代表的人工智能的重要里程碑。 2017年，AlphaGo击败了世界排名第一的围棋选手柯洁，从此，围棋AI再无人类对手。

AlphaGo VS 李世石

下一个试金石在哪里？业界认为，复杂策略游戏可能是下一个里程碑。与国际象棋和围棋相比，复杂的策略游戏对计算机提出了更大的挑战。具体挑战包括：

1.地图复杂且不断变化，信息不完整（AI与人类视觉匹配），没有最优策略。

2、操作空间大。以5v5 MOBA游戏为例，10名参与者实时不间断地面临着策略规划、英雄选择、技能运用、路径探索、团队协作等众多选择，造成了非常复杂的情况。尽管预计可能存在约10 的20,000 次方的可能操作，但宇宙中原子的总数仅为10 的80 次方[1]。

3、需要长远规划，一切战略选择都必须以最终胜利为基础。

如果人工智能能够在这些复杂的环境中像人类一样实时学习感知、分析、理解、推理、决策和行动，那么人工智能将在变化和复杂的现实世界环境中发挥更大的作用[1]。

换句话说，人工智能的目标不是在游戏中击败人类，而是通过日益复杂的游戏训练最终解决现实世界的问题。

世界顶尖科技公司目前正在进行此类研究。 2019年，人工智能非营利组织OpenAI开发的OpenAI Five以《Dota 2》击败了TI18冠军Team OG。

《Dota 2》

同年，DeepMind宣布其游戏AI AlphaStar已达到神、人类、虫族三个种族天梯榜《星际争霸 2》的大师级别，碾压99.8%的人类敌人。

《星际争霸2》

2017年，腾讯AI实验室与天美工作室集团游戏《王者荣耀》发起联合AI研究，开发战略性AI绝说，意为“超凡理解”[1]。 2019年，绝舞与职业选手组的5对5比赛中获胜。这说明绝武已经达到了《王者荣耀》电竞的专业水平[1]。

赛区全队被灭后，绝武大军的前线还没有到来，而下路的高地塔还有一半以上的血量，所以绝武勇敢的抗塔了，我们轮流选择四个人。不费一兵一卒就摧毁了塔楼。 *注：活动结束时，师队被消灭后，Jyu不要直接推水晶，而是在计算整体收益后，先推最后一个高地塔，然后将水晶推到选定的终点。胜利[2].

同期，绝物的1v1版本SUPEX战队在超过2100名顶级业余选手的体验测试中取得了99.8%的胜率[2]。

未来游戏AI将如何发展？为了回答这个问题，我们邀请了腾讯AI实验室的专家和游戏创作者天美来分享他们最喜欢的NPC以及他们对游戏AI未来的思考。

给我留下深刻印象的两个游戏NPC：

1.阿什利《生化危机4》。当她站在高处时，里昂将武器对准了她的裙摆，她并拢双腿，用手遮住裙子，微微弯曲膝盖，故作谦虚地说道：你在凝视吗？当然，她重复了这句话（囧）。

《生化危机4》

2、《合金装备 2》以内的士兵。这是一款动作潜行游戏，所以最好玩的部分就是在躲避巡逻士兵的同时完成任务，比如故意放置一本美容杂志来吸引士兵的注意力，或者让Snake带着一个纸箱逃跑。当然，这些士兵大多数都很天真，规则是固定的，其他什么也没有改变。

《合金装备 2》

上面提到的两个NPC的AI都是基于传统规则（rule-based）编写的，通常是有限状态机或者行为树。这种方法的优点是简单直接，但缺点也很明显。缺乏足够的拟人化和行为多样性，或者能力本身不够。

”

注：早期游戏中的AI大部分是通过有限状态机和行为树等人工规则实现的[3]。

有限状态机的方法是定义有限的操作状态并区分触发不同状态转换的条件。这种方法的优点是设计简单、易于实现，但缺点是随着状态数量的增加，它很快变得复杂[3]。

行为树也是游戏中常用的技术，其中所有行为都被枚举为节点并逐级遍历以确定条件驱动的当前行为。这种方法的优点是逻辑清晰，易于扩展，缺点是难以适应复杂的行为，非常难以拟人化[3]。

”

与传统人工智能相比，基于模型学习的人工智能在引入深度学习和强化学习技术后，在行为多样性和完成任务的能力上取得了质的提升。例如，AlphaGo 在围棋比赛中表现优于人类。腾讯的绝悟在2016年就达到了专业级。《王者荣耀》，绝米在《穿越火线：枪战王者》的PVE模式中用作AI。

”

注：最近的人工智能游戏研究基于深度学习技术，包括两个主要类别：一种是监督学习或模仿学习，另一种是强化学习[3]。

监督学习是基于大量标记训练数据推导行为预测函数。该方法的优点是可以模拟目标不同层面的行为，达到良好的拟人化。缺点是过于依赖数据的质量，尤其是带注释的数据[3]。

强化学习在构建奖励和惩罚的刺激环境方面优化了人工智能的行为逻辑。该方法的优点是不依赖现有数据，允许探索超出当前人类认知的新策略[3]。

《王者荣耀》 以游戏AI绝武为例，《王者荣耀》达到电竞专业级别的绝武版本不需要人类数据，建立了基于“观察-行动-奖励”的深度强化学习模型。从白板（Tabula Rasa）学习首先，让我们与AI 本身对战。一天的训练强度相当于人类440年的训练强度[1]。

AI会探索从0到1的成功经验，努力学习，学习走位、打野、辅助防护、躲避伤害等游戏常识。更令人惊讶的是，人工智能也在探索与人类通常做法不同的新策略。团队还创建了一种通过提高训练效率和优化沟通效率的One Model模型来提高AI的团队协作能力，并采用零和奖惩机制帮助AI为团队取得更好的结果最大化并做出它可能是决定性的和决定性的[1] 。

”

就我个人而言，我认为更深层次的AI+游戏融合需要三个功能：

1.拟人化：顾名思义，AI需要足够像人类，能够对不同的场景（条件）有不同的反应（动作），并且这种反应遵循人类的逻辑，必须具有多样性和多样性符合.随机性。腾讯的绝物《王者荣耀》和绝米的PVE尝试《穿越火线：枪战王者》通过模仿学习（imitationlearning）结合人类玩家数据和强化学习技术（从demo中学习）取得了不错的成绩。

《穿越火线：枪战王者》 在PVE模式“电竞传奇”中，AI敌人的行为模式与人类玩家非常相似。他们有清晰合理的战术选择，还有小身位、二段跳、杀后砍刀等操作细节。 [4]

2.能力分级：目标不是一味强调游戏中的AI高于人类水平，而是人们在玩游戏时，目的是看AI是否旗鼓相当。它是将人工智能能力提升到人类水平。传统的AI只能做“快递”，但如果能根据玩家的水平定制不同能力的AI，游戏应该会变得更加有趣。您可以基于强化学习和模仿学习来控制不同级别和风格的AI 功能。

3.具有常识和逻辑思维。例如，我们知道我们可以开门、爬窗、在河里游泳和过桥。常识、知识推理、人工智能技术仍处于发展阶段。

最后说一下我理想中的游戏，就像美国的西部世界，中国的武侠，都是江湖，AI会学习各种行为准则（政策），每个人都玩其角色具有合理性和多样性，提供如同现实世界一样的无尽可玩性。

《西部世界》

在《最后生还者》中，艾莉有时会拔枪打架，但在受到威胁时，她会犹豫不决，最终扣动扳机救自己的命，这感觉就像一个真正的人类。

《最后生还者》

通用AI的目标是让机器像人类一样思考和行动，而游戏AI只是为了让玩家感觉到NPC像人类一样行动和思考，我希望如此。不同之处在于游戏是围绕玩家构建的。对于游戏厂商来说，游戏AI智能与否并不重要，最重要的是为玩家提供更好的游戏体验。

未来的游戏人工智能将能够根据玩家的动作给出反馈，记住玩家之前做过的事情，与周围的环境互动，甚至有自己的时间表。 NPC有自己的移动路线和自己的生活区域。玩家通过视觉和声音了解游戏世界。人工智能操作只有在你能看到和听到它们时才有效。一个好的AI，是能够为玩家提供良好的观看体验的。对于不同的类别，游戏AI可能会建议不同的游戏方式。

在PVP格斗类中，你可以看到基于深度强化学习训练的强大AI，比如《王者荣耀》绝乌、围棋的AlphaGo、《星际争霸 2》 AlphaStar。然而，如果玩家继续与无敌的敌人作战，随着时间的推移，就会变得非常令人沮丧，并失去游戏的乐趣。还有“福利福利”，生成各种不同难度的残局，鼓励玩家不断挑战自我，而玩家自身的技能也会在调整的过程中成长。

在PVE中，你可以使用AI来控制环境、事件和NPC。 AI支持使天气变化、交通状况和可交换物品更加动态，创造更真实的交互体验。例如，《模拟人生》之间的人会自动坐在椅子上或躺在床上。《巫师3》 商人白天开门营业。

《巫师3》

未来，AI不仅能够控制NPC的行动，还能掌控甚至设计整个游戏。随着游戏的进行，游戏AI可以为玩家随机生成地图和关卡，类似于《无人深空》中程序生成的行星。或者，细化你的设计规则，让AI能够自动完成整个关卡的构建。只要玩家愿意玩，就有无尽的关卡可供探索。

《无人深空》

AI还可以使用机器学习和数据挖掘等技术来学习玩家行为数据，并根据每个玩家的习惯生成最适合每个玩家的定制元素。或者根据所有玩家的反馈更改和优化游戏的整体设计。《GTA 6》，NVIDIA使用AI生成虚拟街道，我们相信有一天AI生成的游戏将成为现实。

随着AI技术在游戏中的引入越来越广泛，我们与游戏的互动方式也将不断扩展，比如让玩家通过游戏内的语音输入与NPC对话，让他们的AI伙伴成为真正的亲密朋友。玩家可以通过更加真实丰富的交互体验，在虚拟世界中体验不一样的生活。

在我这些年玩过的所有游戏中，就NPC表现而言，《荒野大镖客2》 ——绝对是最令人印象深刻的。逼真的图像渲染、无处不在的交互细节以及好莱坞级别的对话、配音和表演都无缝地结合在一起。一起。这款游戏通过模拟将人类情感的触动提升到了一个新的高度，在众多的NPC中，德西·范德林是给我印象最深刻的一个。

《荒野大镖客2》

对帮派成员的喜爱、对另一份工作的野心、时而暴露的自私、失败后的怀疑和强行镇定……各种复杂的情感交织在一起，揭示了一个人的难以捉摸的本性。这就是人性。这是最复杂的部分。

有很多NPC的精彩表演给我留下了深刻的印象。比如《使命召唤：现代战争 2》中的鬼魂转身帮助在战火中受伤的主角，《最后生还者》中的艾莉则充满了“”。人类”。

《使命召唤：现代战争 2》

然而，这些NPC的致命问题是，你玩得越多，他们很快就会失去人性。 ——不断重复第一遍的台词和动作，提醒你这只是一场计划好的表演。机器学习人工智能与此无关。

除了围棋AI击败人类顶尖围棋棋手之外，机器学习/神经网络AI在很多领域也取得了惊人的成果，但是当AI技术应用到游戏中时，很难从具体的输入和数据中抽象出来，看起来它们是陷入一场他们很容易暴露的战斗中。输出参数：行为和策略。模拟活人还有很长的路要走。毕竟，人类实在是太复杂了。

但人们思维的复杂性并不妨碍我们从表象入手，例如爱丁堡大学的Method Studios 就成功地将神经网络应用于3D 角色在不同地形上行走的表现。

视频“用于角色控制的相函数神经网络[5]”的屏幕截图

这极大地丰富了游戏角色和场景之间的互动，比如一个开始在各个电视台工作的AI主播只能面无表情地播报新闻，但已经很难辨别真假了。

未来，我们希望能够利用人工智能来模拟角色的面部表情、对话和动作的各个方面，提供像真人一样丰富多彩的互动反馈。更重要的是，各界可以共享AI虚拟角色的研究成果。人工智能将能够在各个方面更加人性化地为人类服务。

我个人觉得《GTA》系列的AI最像人类，而且我觉得未来的NPC可能会变得更聪明，因为每次交流可能会发生不同的事件。在大数据和学习的支持下，AI不再通过计划好的脚本与玩家冷冰冰地交流。

渲染图像将随着硬件性能的提高而进一步提高，但当然也可以利用当前的云游戏技术将大规模渲染放在服务器上，实时光线追踪图像也就不足为奇了。

此外，随着图像识别和语音识别技术的发展，未来可能会出现更多的外设。按当然，NPC也会有更多的智力，比如记忆力，不会像现在游戏中的NPC那么死板。

参考文献：1.https://ai.tencent.com/ailab/zh/news/detial/id=27

2. https://ai.tencent.com/ailab/zh/news/detial id=52

3. https://ai.tencent.com/ailab/zh/news/detial/id=26

4.https://zhuanlan.zhihu.com/p/103817396

5. https://www.youtube.com/watch v=Ul0Gilv5wvY

游戏协会20年| 美国海外市场成就| 版本号

剑与远征| 2020年重磅产品| 字节跳动