|
当深蓝、AlphaGo先后在国际象棋、围棋界杀遍强手孤独求败时，很多人觉得，人类在决策类游戏中已经无法抵挡AI的挑战了。不过，至少在电子竞技，尤其是多人在线战术竞技游戏（MOBA，例如Dota 2）这种需要团队配合的策略类游戏中，AI尚未攻克人类的堡垒。 6月25日，由埃隆·马斯克和Sam Altman创立的非营利AI研究公司OpenAI宣布，他们在该领域取得重要突破：通过强化学习训练出的OpenAI Five系统，在Dota 2的5v5团战中击败了业余高手。接下来，他们的目标是在今年的Dota 2界最重要赛事——The International大赛上挑战顶级职业战队。 来源 | OpenAI、the Verge等 编译 | 吴非 视频来源：OpenAI 挑战机器协作难题 OpenAI公司的首席技术官Greg Brockman将其称作里程碑式的突破：“这项工作在实际应用中意义重大，当你能够模拟某个问题，你就能无障碍地将其应用于更大的场景中。” 去年8月，OpenAI就在Dota 2领域一展身手。他们设计的1v1 bot系统在1v1对战中击败了顶级职业高手。当然，相比于团战，1v1对战的实现要简单得多。作为一款MOBA，Dota 2的难点在于队友间的配合：双方各由五名队员组成，每人操控一位“英雄”，也就是游戏角色。在一张地图上，团队通过分工合作推倒对方的基地，从而赢得胜利。而团队协作，也是AI系统所面临的一项前所未有的挑战。 OpenAI团队的部分成员。去年，正是用这台笔记本，AI在1v1对战中战胜了顶级职业选手。 人工智能之所以难以攻克Dota 2等MOBA类游戏，除了需要系统间的团队协作，还因为这类游戏需要长期的决策——在45分钟的游戏时间内，玩家需要进行上万次操作，而其中一些决策的影响将贯穿全场；相比于棋类游戏的信息透明，每位玩家能够看到的信息，尤其是对方的信息是有限的；在游戏中，系统在一瞬间需要处理2万个数据点，并从1000种不同的操作中作出选择，远远超过棋类比赛中的数量。 面对这一系列难题，在1v1 bot的基础上，OpenAI的研究人员开发出了OpenAI Five算法。研究人员通过强化学习的方法，让AI系统在虚拟环境中，通过不断的自我对战进行学习。它们每天的自我对战量十分惊人，相当于180年的游戏量。也就是说，AI一天的训练量，相当于最具经验的职业玩家一生训练量的数十倍。 训练过程用到了256个GPU和128,000个CPU内核，与去年的1v1 bot系统相比有明显提升。每位英雄使用自己的长短期记忆网络，整个过程没有用到人类的数据。“最初几小时内，AI只会随机地在地图上乱走。但逐渐地，它能够掌握一些基本机能。”Brockman说。 Greg Brockman 战胜业余高手 AI系统拥有令人类玩家羡慕的特质。它的反应速度更快，只需80毫秒，比人类玩家快；每分钟可以完成150~170次操作，与人类的顶尖职业玩家相当，并且不会错失点击。AI的优势还体现在，它们能够随时准确获取角色间的距离、装备栏、英雄的健康状况等重要信息，并应用这些数据选择最佳策略。相比之下，人类玩家只能手动检查，或是根据经验及本能进行判断。 从今年5月起，OpenAI Five先后与五支水平不等的业余及半职业队伍进行了5v5团战较量，结果令研究团队感到欣喜：即使在与训练有素的半职业战队的对抗中，AI也在三场比赛中赢得两场胜利。而在与OpenAI员工战队的对战中，AI更是取得了完胜。OpenAI Five的平均天梯分数超过4200分。 值得一提的是，OpenAI Five在实战中展现出强大的团队意识。“为了最终的胜利，它们懂得牺牲一条线路或是一位英雄。”Brockman说道。AI的表现还得到了人类队友的称赞。在一轮测试中，一位人类玩家加入了AI战队。他说，四位AI队友给了他大量支持：“无论我想要什么，这些机器都能实现。” 赢得该系列测试后，研究团队将目标投向了更为强劲的对手。他们计划继续优化系统，并在今年7月28日的The International赛场上，与顶级职业战队进行较量。 更广阔的应用场景 虽然OpenAI Five已经在5v5实战中取得不错的成绩，但需要强调的是，目前其适用条件还较为有限。Dota 2玩家都知道，他们需要从115个英雄中选择5个英雄，但目前OpenAI Five还无法做到这一点，它只能用五位选定的英雄【瘟疫法师（Necrophos）、狙击手（Sniper）、冥界亚龙（Viper）、水晶室女（Crystal Maiden）和巫妖（Lich）】进行对战。不用对AI的英雄选择感到同情，因为人类玩家也被限定使用同样的角色；另外，这次“人机大战”在对战规则上也做了限定：不能插眼、没有肉山、没有隐身能力、不能使用召唤和幻象……如果你对这些名词摸不着头脑，记住，这些多为决策较为困难的操作。 虽然这项研究还有不足之处，在OpenAI团队看来，这项研究的意义远远超出了这款游戏本身。例如，在现实世界中，AI需要对随时发生的情况作出实时反馈，此类能力正是AI在Dota 2比赛中取胜的关键之一，但在回合制的棋类比赛中无法得到训练。此外，Dota 2需要AI在无法获取完整信息的情况下作出决策，这与大量实际应用场景十分相似。能够掌握Dota 2游戏，意味着AI将可能在城市交通系统、物流系统等现实场景中发挥更大的作用。 参考链接： https://blog./openai-five/ https://www./2018/6/25/17492918/openai-dota-2-bot-ai-five-5v5-matches https://www./article/2172612-ai-trained-on-3500-years-of-games-finally-beats-humans-at-dota-2/ https://www./2018/06/25/openai-bots-dota-2-the-invitational/ |
|
|
