由DeepMind历时两年打造的AlphaStar以5-0的比分果断击败了世界上最强大的职业星际玩家之一，突破了人类最难的游戏，又一个里程碑！
AlphaStar诞生了！
就在刚刚，DeepMind在推出AlphaGo之后，将打造了两年的AlphaStar推向了历史舞台，并创造了第一个打败星际争霸2顶级职业选手的AI。
DeepMind昨晚发布了12月19日举行的一系列测试游戏文章。AlphaStar在与队友达里奥TLO 温施。
虽然AI已经在像Atari，Mario，雷神3 Arena，Dota 2这样的电子游戏中取得了巨大的成功，但是直到现在，AI仍然在努力应对星际争霸的复杂性。
055-79000由暴雪娱乐公司制作。故事背景设定在一个虚构的科幻世界。它拥有丰富的多层次玩法，旨在挑战人类的智力。由于其高度的复杂性和策略，这款游戏成为了历史上最大和最成功的游戏之一，玩家参加电子竞技比赛的时间超过了20年。
这一次AI打败了顶尖选手，真正打破了人类智能的最后阵地！
10个文章见证了AlphaStar被杀，人类玩家当场还击。
比赛前，DeepMind召集了两名人类职业选手，每人与AlphaStar进行了五轮比赛。然后在现场，人类和AI打了最后一局，挽回面子。让让我们看一看。
这次终极1V1人机对战使用的地图是Catalyst LE，游戏版本是4.6.2。
对抗阿尔法星的人类选手是TLO和马纳。
TLO是德国现役职业球员达里奥温施，属于荷兰队团队液体。2018年，他在WSC赛道排名第44位。TLO在玩家中很出名，因为它经常在Twitch上文章。
另一位选手马纳，25岁的现役职业选手，被誉为波兰王牌。法力是神族用的。在刚刚结束的IEM科隆比赛中，马纳在小组赛中以2比1击败了韩国的宰东。
MaNa目前在2018年WSC巡回赛中排名第13。去年在WCS奥斯丁获得亚军，2015年在WCS第三季获得季军。早些时候，MaNa赢得了Dreamhack2012夏季比赛。
接下来有来自10场比赛的文章集锦，还有现场精彩的打斗。
第1轮：7分钟，AlphaStar终结人类顶级选手。
当初人类玩家率先派出一个农夫在AI中来回探路这是我们的家。
2: 50秒，人类玩家派出两个高级神坛开始第一波骚扰，AlphaStar派出一些壮丁狙击歼灭。
后来人类玩家不断骚扰，同时AI开始反击，派出追踪者攻击主基地。
不知不觉，AI已经救了6个追踪者，大步走向人类玩家的分基地。
双方开始了第一波攻击，但是LTO派出了一家老小来抵抗。然而，艾美国的补给士兵已经到达战场。LTO无能为力。
Round2:人类玩家攻击性强，AI步步为营，计算精准。
尽管如此，双方在前期还是有过小打小闹。大约6分钟后，AlphaStar率先派出10名追踪者攻击LTO，人类玩家成功防守。
在此期间，AlphaStar制定了减少气体收集的策略。
然后人类玩家和AI都发展了自己的经济和兵种，在全场小范围内迂回作战。
14: 00，决胜点出现。看起来是人类玩家在追AI，但是它突然被另外两个士兵砍死了。
人类无能为力，AlphaStar又赢了。
第3-5轮：阿尔法星兵临城下，围剿无所不用其极，简直是辱骂。
接下来的文章是另一个人类顶级玩家马纳之战。
让让我们来看看录制文章中的三个虐待场景。
散步的农民给勒死了。
推一波。
三路围剿，击溃峡谷。
现场较量：人类选手反击，消灭AI。
也许它因为AI太强大了，人类需要证明自己的实力。最后，职业选手MaNa现场与AlphaStar进行了一场实时较量。
与文章相比，这位人类玩家采取了更为保守的策略，选择发展经济和招聘AlphaStar率先挑衅。
此外，基地周围的农民和正在探路的农民也被枪杀。
在保守打法的基础上，法力积累了一定的兵力，发现AlphaStar 美国军队离开了巢穴。同时，我们也不要别忘了建个分基地，双线运行很稳定。
这时，AlphaStar s部队没有及时赶回救援，马纳趁此机会直接拆掉了分基地。
面对刚回来的阿尔法星军团，法力如虎，直接击退其部队，然后果断直捣黄龙。
最终人类奋起反击，打败了AI。
各国读者瞬间不淡定了。评论区已经炸了锅。——为人类的胜利欢呼。——这可能也是为了拯救人类的最后一张脸。
阿尔法星精炼记录：每个代理使用16 TPU
阿尔法星的行为是由一个深度神经网络生成的，它从原始游戏界面接收输入数据(单位及其属性的列表)，输出构成游戏内操作的指令序列。更具体地，神经网络架构将转换器干线应用于该单元，将LSTM核心、具有指针网络的自回归策略头部和集中值基线相结合。
DeepMind认为，这种先进的模型将有助于解决机器学习研究中涉及长期序列建模和大输出空间(如翻译、语言建模和视觉表示)的许多其他挑战。
AlphaStar还使用了一种新的多智能体学习算法。网络最初是由暴雪发布的匿名人类游戏中的监督学习训练的。这使得AlphaStar能够模仿星际争霸天梯上玩家使用的基本微观和宏观策略。这个原始代理打败了内置的精英AI等级3354，人类玩家的黄金等级，在95%的游戏中。
然后利用它们建立多智能体强化学习过程。一个持续的联盟被创造出来，联盟的代理——和竞争对手3354互相玩游戏，就像星际争霸天梯里人类玩游戏一样。
新的竞争者通过从现有竞争者中分支来动态地加入联盟；然后每个代理从与其他竞争者的博弈中学习。这种新的训练形式进一步发展了基于人群的强化学习的概念，创造了一个不断探索《星际争霸2》游戏玩法的巨大战略空间的过程，同时确保每个竞争对手都能在最强战略面前表现出色，不会忘记如何击败更早的战略。
随着联盟的发展，新的竞争对手的出现，新的对抗策略出现了，可以打败之前的。当一些新的竞争对手实施的战略只是对以前战略的改进时，其他人会发现一种全新的战略，其中包括全新的建造订单、单位组合和微观管理计划。
比如AlphaStar联盟早期，一些陈词滥调使用光子炮或黑暗圣堂武士进行快速快攻等策略受到了玩家的青睐。随着训练的进行，这些冒险的策略被放弃了，其他的策略应运而生：例如，通过用更多的工人过度扩张基地来获得经济实力，或者牺牲两个神谕来消灭对手美国工人和经济。这个过程类似于《星际争霸》发布多年以来，玩家发现新策略并能够击败之前看好的方法的过程。
为了鼓励联盟的多样性，每个代理都有自己的学习目标：例如，这个代理应该打败哪些竞争对手的目标，以及任何其他影响代理如何发挥的内部动机。一个代理的目标可能是击败一个特定的竞争对手，而另一个代理可能必须击败整个竞争对手的分布，但这是通过建立更具体的游戏单元来实现的。这些学习目标已在培训过程中进行了调整。
最好的结果可能是手工制作系统的主要元素，对游戏规则进行重大限制，赋予系统超人的能力，或者在简化的地图上进行游戏。即使有了这些改进，也没有一个系统能比得上职业选手的技术。相比之下，AlphaStar在《星际争霸2》中玩的是完整的游戏。它所使用的深度神经网络是通过监督学习和强化学习直接从原始游戏数据中训练出来的。
为了训练AlphaStar，DeepMind使用Google s v3 TPU，支持大量代理从星际争霸2的数千个并行实例中学习。AlphaStar联盟运行14天，每个代理使用16个TPU。在训练期间，每个特工都经历了200年的星际即时游戏。最终的AlphaStar代理由联盟——的纳什分布组成。换句话说，已经找到的最有效的策略组合3354运行在单个桌面GPU上。
此外，这项工作的论文即将发表。
AlphaStar 实用技能
说完AlphaStar的训练过程，让让我们来分析一下实战过程。
像TLO和马纳这样的职业星际玩家平均每分钟可以进行数百次操作(APM)。这远远少于现有的大多数机器人，它们独立控制每个单元，并始终保持数千甚至数万个APM。
在与TLO和马纳的比赛中，AlphaStar的平均APM在280左右，远低于职业选手，但其动作可能更精准。
APM低的部分原因是AlphaStar使用回放开始训练，因此它模仿了人类玩游戏的方式。此外，AlphaStar 观察和行动之间的反应是350毫秒。
在与TLO和马纳对战的过程中，AlphaStar通过原有的接口与星际2引擎连接，这意味着它可以在不移动摄像头的情况下，直接观察到自己的属性和对手在地图上的可见单位。
相比之下，人类玩家必须清楚地管理注意力经济并决定相机的焦点。
然而，对AlphaStar游戏的分析表明，它管理着一个隐藏的注意力焦点。平均而言，代理人切换内容大约每分钟30次，类似于马纳或TLO的操作。
此外，比赛结束后，DeepMind还开发了AlphaStar的第二个版本。像人类玩家一样，这个版本的AlphaStar将选择何时何地移动相机。它的感知仅限于屏幕上的信息，动作位置仅限于它的可视区域。
DeepMind训练了两个新特工，一个使用raw接口，另一个必须学会控制摄像头来对抗AlphaStar联盟。
每个代理最初通过从人类数据的监督学习来训练，然后通过强化学习来训练。使用相机接口的AlphaStar版本几乎和raw接口一样强大，在DeepMind的内部排名中超过了7000 MMR。
在表演赛中，MaNa击败了一个只有7天训练的带摄像头接口的AlphaStar原型版本。
这些结果表明，AlphaStar 的《马纳》和《TLO》的成功，其实是因为卓越的宏观和微观战略决策，而不是快速的操作、更快的反应时间或者原始的界面。
人类挑战20年，AI攻占星际有五大难点。
游戏规则规定玩家必须从三个不同的外星人中选择一个种族——虫族，神族或者人族，都有各自的特点和能力(虽然职业玩家倾向于只专注于一个种族)。每个玩家从一些工作单位开始，收集基础资源来建造更多的单位和建筑并创造新技术，这反过来允许玩家获得其他资源，建造更复杂的基地和建筑，并开发新的能力，这些能力可以用来智胜对手。
游戏的难度在于，为了获胜，玩家必须在宏观经济管理和微观个体控制之间保持谨慎的平衡。
平衡短期和长期目标以及适应意外情况的需要给往往脆弱和不灵活的系统带来了巨大的挑战。要解决这个问题，我们需要突破AI研究的几个挑战，包括：
博弈论：《星际争霸》是一个像剪刀石头布一样没有最佳策略的博弈。因此，AI过程需要不断探索和拓展战略知识的前沿。
信息不全：不像象棋或围棋，玩家可以看到所有信息，关键信息对星际玩家是隐藏的，必须通过侦察。
长期规划：像许多现实世界的问题一样，因果关系不是瞬间的。游戏也可能需要一个小时才能完成，这意味着在游戏早期采取的行动可能在很长一段时间内都不会有回报。
实时性：与传统的桌游不同，玩家在接下来的动作之间交替进行，《星际争霸》玩家要随着游戏时间的推移不断地执行动作。
大型活动空间：必须同时实时控制数百个不同的单位和建筑，从而形成一个可能的组合空间。
因为这些巨大的挑战，星际争霸已经成为了大挑战人工智能研究。自2009年BroodWar API发布以来，《星际争霸》和《星际争霸》的比赛一直在进行，包括AIIDE星际争霸AI赛、CIG星际争霸AI赛、学生星际争霸AI赛和《星际争霸2》 AI天梯赛。
DeepMind在2016年和2017年与暴雪合作发布了一套名为PySC2的开源工具，其中包含了有史以来最大的一组匿名游戏回放。
现在经过两年的建设，继AlphaGo之后，刚刚从DeepMind出来的AlphaStar进步神速。
标签：玩家人类游戏