文中经AI互联网媒体量子位（微信公众号ID:QbitAI）受权转截，转截请联络出處。

13年之前，有那样一款“超级变态”级难度系数的游戏曾风靡一时。

它的姓名简单直接——QWOP。意思是令小伙伴们用这四个按键操纵游戏角色的上下大腿根部和小腿肚，以最短的时间跑完一百米。

事实上，绝大多数游戏玩家刚入门的情况下，很有可能连起始点线都迈不以往就Game Over了。

假如你能跑出好几米，肯定算作一个大神，乃至能在盆友眼前显摆一番。

QWOP的难题取决于，一旦人物角色不平衡就难以再挽留，必须在一百米的间距内一直维持重心点但是于往前后歪斜。

如果你历经勤学苦练第一次跑起来时，又会被50米处创作者有意设定的护栏摆一道：讲好的一百米100米跑如何变跨栏了？

△某我当初的游戏截屏

在那一个4399小游戏风靡的时代，这个也被誉为为“是男人就跑一百米”。由于难度系数过度“超级变态”，QWOP开发人员曾接到过许多谩骂电子邮件。

尽管绝大多数人无法跑到终点站，但仍有一批玩家乐在其中，她们不但能轻轻松松跑完，迄今还为市场竞争全球排名而持续挑戰。

两个月前，一位日本游戏玩家造就了新的世界记录：48.34秒。

见到这款“沙雕游戏”，是不是你会想起增强学习来训炼双足智能机器人的界面？

一位来源于波士顿咨询的大数据分析师Wesley Liao也是那么想的。

但是你以为“超级变态”难度系数的游戏到AI眼前就变成了蒙蒙细雨。

Liao综合性了以前多种多样增强学习优化算法，最终乃至找来了“全球优秀教师”课堂教学，费了很大一番时间，才总算让AI在上星期摆脱人们游戏玩家的纪录。

由此可见这款游戏的难度系数一点也不比中国围棋低啊。（手动狗头）

牛刀小试

一开始，Liao应用OpenAI Gym增强学习自然环境来训炼AI，先设置好游戏的情况、实际操作和奖惩机制。

情况包含每一个人体部位和骨节的部位、速率和视角。实际操作方法限制为11种：4个QWOP功能键、6种两组功能键组成及其不按一切键。

用于训炼AI的优化算法是ACER（具备工作经验回看工作能力的Actor-Critic）。这类优化算法的优势是，不但能够从其近期得到的工作经验中学习培训，还可以学习培训储存数据信息中更早的工作经验。

因为ACER比较复杂，Liao应用了他人的完成编码“Stable Baselines”。

Liao最先试着了让AI自身学习培训。历经数次试验后，他发觉AI只学会了“蹭膝关节”这类方法跑过终点站，速率比较慢。

这和很多人们一般游戏玩家及其别的增强学习优化算法是一样的，离大神的水准还差很远，更无需谈刷新纪录了。

具体分析能够发觉，AI压根沒有学习培训到腰部体制，仅仅学习培训到最安全性、比较慢的方式来抵达终点站。

来看靠AI彻底通过自学是不行。

学好飞奔

类似DeepMind用顶尖象棋大师教AlphaGo下象棋，Liao想起是否还可以让人们游戏玩家来教一下AI。

可是Liao自己的技术性和顶级玩家差别很大，自身数最多也只有跑到28米。

这也不关键，关键的是至少Liao迈出更高脚步的方法，只有指望AI能从“渣技术性”里学得一点飞奔的方法吧。

可是結果很悲剧，AI非常好地诠释了“邯郸学步”：不但没把握跑步技巧，反倒在起始点就摔倒了。

随后Liao让AI自身再次训炼。说白了师傅领进门处，以不变应万变，AI可否将人们技术性和学习能力融合起來？

結果令人激动，历经90个钟头的训炼，AI总算学会了像人一样飞奔！

最后考试成绩是一分25秒，早已能跑进全世界排名榜的前15名，离超出人们很近了。

下面要做的便是再向AI专家教授大量方法，怎奈自己技术性太渣。

因此要想进一步提高AI的水准，务必找顶尖高手来帮助。

顶尖高手助战

Liao观查速推排名榜上的录影，发觉顶级玩家的方法是把左脚拉高能够跑得更快。

△排行第一玩家gunmaneko的抬腿方法

他逐渐世界排名前二的游戏玩家gunmaneko和Kurodo求教抬腿方法的实际操作。

俩位游戏玩家激情地回应了他的难题。在其中Kurodo强调这一方法的关键所在降低游戏人物角色在竖向的挪动，并明确提出把维持人体高宽比添加AI的奖赏涵数。

Liao向Kurodo共享了他的编码，Kurodo无私地应用编码纪录了50次自身游戏时的功能键纪录发送给Liao。

Liao试着应用这种数据信息对AI开展预训炼，但实际效果并不太好。AI还不等他学好抬腿方法，倒先把基本上的跑步方法忘记了。

Liao迫不得已改变方法，他把Kurodo的数据信息引入到AI的回看缓存文件*（Replay Buffer）*中。这等同于改动AI的记忆力，使AI有一半的记忆力是自身的，另一半来源于Kurodo。

而且是AI每自身玩一次，就引入一次Kurodo的数据信息，确保AI任意从记忆里选择一段来学习培训时挑到二种记忆力的几率同样，防止在学习培训新方法的全过程中把操作过程忘记。

AI应用Kurodo的数据信息训炼了15个钟头，总算学会了抬腿，但由于二种记忆力没法融洽在一起，跑时间长了姿势会不稳定。

Liao这时把Kurodo的记忆力清除，又让AI自身训炼了25小时，总训炼時间做到了65钟头。

最后AI的考试成绩做到一分08秒，总算进到前十。

摆脱世界记录

Liao把教AI玩这一游戏的全过程制成视頻发在网络上。一个月前，外国媒体Gismodo问起：为何AI都还没摆脱世界记录？

因此Liao再次训炼了一个只求提升速率而存有的新AI。

新AI改成Prioritized DDQN优化算法，由于这类优化算法会给学习效果高些的情况提升权重值而不是匀称取样，能使新AI快速学好旧AI早已把握了的方法。

而且，新AI的奖赏涵数除掉了人体高宽比，膝关节弯折视角等主要参数，改为只和前行速率有关。

新AI先用现有数据信息开展仅有数分钟的预训炼，接着是40钟头的自训炼。最后，新AI每秒钟所做的姿势数在训炼自然环境中由9提升 到18，并在接口测试中做到25。

新AI对抬腿方法的把握十分平稳，即便被阻碍物危害也可以快速修复。

迅速高效率的姿势使AI的考试成绩提升 到47.34秒，比人们最高记录48.34秒恰好快一秒。

这才总算算作，在人工智能技术超过人们的游戏目录中又提升了一项。

One More Thing

你觉得这就完后？

跑完一百米算不上完，这款游戏也有一种国际级难度系数——“是男人就跑完马拉松比赛”。

为Liao出示协助的游戏玩家Kurodo近期刚递交了世界记录，全世界也仅有两个人完成了此项创举。

难以想像她们在电脑前面持续按好多个钟头QWOP的界面。

此外，QWOP的开发人员Bennett Foddy一直在坚持不懈开发设计这类“超级变态”难度系数的单独小游戏。

有一款Getting Over It with Bennett Foddy知名度颇高，中文名字“掘地求升”。游戏玩法便是一个装在腌菜坛子里的人不断用锤头让自身上升。

Foddy以前在普林斯顿大学和剑桥大学出任博士研究生研究者，现在是一名单独游戏室内设计师。QWOP便是他在普林斯顿大学阶段开发设计的。

我只有说，尖子生开发设计的游戏，差生确实玩不了。

© 本文系原创，著作权归：芦虎导航官网。如需转载，请署名并注明出处：https://www.luhu.co/article/000000000007099.shtml