我的世界木镐图片
鱼羊 Alex 发自 凹非寺
量子位 | 公众号 QbitAI
又一个AI老大难问题，被DeepMind攻克了：
一只名叫DreamerV3的AI，在啥也不知道的情况下被丢进《我的世界》（MineCraft）里，摸爬滚打17天，还真就学会了如何从0开始挖钻石。
△就是从撸树开始的那种
要知道，之前为了攻克这个问题，CMU、微软、DeepMind和OpenAI还联手在NeurIPS上拉了个比赛，叫MineRL。
结果搞了三四年，AI们也没能在不参考人类经验的情况下，完成挖钻石任务。
此前表现最好的VPT选手，为了达成这一成就，可是狂看了70000+小时《我的世界》游戏视频，并且用上了720个V100……
这不DeepMind的最新结果一出，研究人员都开心坏了。
MineRL的发起人之一、前OpenAI研究科学家William Guss就第一时间跑来发表贺电：
4年了，“钻石挑战”终于被攻克了！
今年刚拿到了NeurIPS杰出数据集和基准论文奖的MineDojo作者、英伟达AI科学家范麟熙则表示：
AI玩转MineCraft背后，有个莫拉维克悖论：一些任务对于人类而言很困难（比如围棋），但对AI来说很简单。但像MineCraft这样人类高玩无数的游戏，情况却相反。DreamerV3能在没有任何人工数据辅助的情况下收集钻石，这让我感到非常兴奋。
如何做到
所以，这个0基础挖钻石任务，到底有啥难点？
首先，在《我的世界》里，初始世界是完全随机生成的。
即使是人类玩家，想要快速挖到钻石，也得有相当丰富的经验。比如，知道怎么推算钻石的位置、掌握一些挖掘窍门（如鱼骨挖矿法）等。
排除掉经验的因素，对于AI来说，这个挖钻石的过程也挺复杂，至少得要7个步骤。
第一步，玩家在空手进入《我的世界》中时，需要先撸树来获取木块：
第二步，得用木块用来合成工作台：
第三步，在工作台上合成木镐，用来挖圆石：
第四步，获得圆石之后，需要合成一个石镐，用来快速挖铁矿：
第五步，为了将铁矿合成铁锭，还需要做一个熔炉来烧铁：
第六步，合成铁镐，用来挖钻石：
第七步，寻找钻石，然后用铁镐挖出钻石：
p.s. 有玩家测试过，在AI知道钻石等各种资源坐标的情况下（开外挂），也需要2-3分钟才能搞定。
这也就意味着，AI必须在有限时间里，做出大量决策。
那么既然不能参考人类高手的经验，自然就需要强化学习（Reinforcement Learning）出马。
具体而言，DeepMind的研究人员提出了一种基于世界模型的通用算法。
在整体架构上，DreamerV3由3个神经网络组成：世界模型、评委（critic）和演员（actor）。
世界模型要做的，是把环境输入编码为离散的表征，并通过预测来指导下一步要执行的操作。
而评委和演员则会根据抽象出来的表征进行学习。其中，评委网络会输出一个标量值来代表行动价值，从而帮助演员网络选择最优的行动。
这里面的一个核心点在于，DeepMind的研究人员希望DreamerV3不仅仅能处理同类型的问题，还可以用固定超参数，掌握跨领域任务。
因此，研究人员需要系统地解决世界模型、评委和演员等各个组件中信号大小不同，以及稳定平衡目标的问题。
研究人员发现：
以前的世界模型，需要根据复杂3D环境的视觉输入，对表征损失进行不同的缩放，在训练过程中还得调整不少超参数，但这里面其实有许多没必要的细节。
而如果把自由比特（free bits）和KL平衡（KL balancing）结合起来，就可以在不调整超参数的情况下让DreamerV3在不同领域中学习。
KL平衡是上一代DreamerV2中提出的一项新技术。能够使预测向表征移动的速度比表征向预测移动的速度更快，带来更精确的预测。
自由比特避免了简单环境下的过度拟合。
DreamerV3的三大块都用上了固定超参数，具体如下：
实验结果
也就是说，DreamerV3如今成了世界上第一个纯靠自己摸索，就能在《我的世界》里速挖钻石的AI。
并且DreamerV3的本事可不只是玩MC。
在另外7项基准测试中，DreamerV3都取得了成功，并且在BSuite、Crafter上达到了SOTA。
值得一提的是，在这些任务中，训练智能体所用到的GPU资源都仅为1块V100。研究人员表示，这意味着有更多的实验室能跑得动这一模型。
另外，在需要时空推理的三维空间中，DreamerV3也能快速进行学习。
在DeepMind为强化学习专门打造的3D平台DMLab上，DreamerV3在任务中使用的交互次数仅为IMPALA的1/130。
目前，DreamerV3的代码是coming soon的状态。
感兴趣的小伙伴可以蹲一波~
参考链接：
[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010— 完 —
量子位 QbitAI · 头条号签约
","force_purephv":"0","gnid":"94ab25c213aa4eab7","img_data":[{"flag":2,"img":[{"desc":"","height":"364","s_url":"https://p0.ssl.img.360kuai.com/t0198ae63398acfb729_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t0198ae63398acfb729.gif","width":"720"},{"desc":"","height":"388","title":"","url":"https://p0.ssl.img.360kuai.com/t01e911631ab81b8c90.jpg","width":"1050"},{"desc":"","height":"356","s_url":"https://p0.ssl.img.360kuai.com/t01ec0f8e9b74068bc6_1.gif","title":"","url":"https://p0.ssl.img.360kuai.com/t01ec0f8e9b74068bc6.gif","width":"640"},{"desc":"","height":"299","title":"","url":"https://p0.ssl.img.360kuai.com/t01db882f999801ed5f.jpg","width":"1080"},{"desc":"","height":"352","title":"","url":"https://p0.ssl.img.360kuai.com/t01ba9cdfee4939b048.jpg","width":"1080"},{"desc":"","height":"385","title":"","url":"https://p0.ssl.img.360kuai.com/t01259257ad47eb92cc.jpg","width":"1080"},{"desc":"","height":"399","title":"","url":"https://p0.ssl.img.360kuai.com/t014358232b3db01552.jpg","width":"1080"},{"desc":"","height":"349","title":"","url":"https://p0.ssl.img.360kuai.com/t01ff972238e9f11e1e.jpg","width":"1080"},{"desc":"","height":"422","title":"","url":"https://p0.ssl.img.360kuai.com/t01f9d993c8cb5d452b.jpg","width":"1080"},{"desc":"","height":"475","title":"","url":"https://p0.ssl.img.360kuai.com/t01187bcb1876b1f991.jpg","width":"1080"},{"desc":"","height":"578","title":"","url":"https://p0.ssl.img.360kuai.com/t01b2acc171df821308.jpg","width":"826"},{"desc":"","height":"1181","title":"","url":"https://p0.ssl.img.360kuai.com/t0197958a028ae76b3c.jpg","width":"1080"},{"desc":"","height":"396","title":"","url":"https://p0.ssl.img.360kuai.com/t01ace190343960dc29.jpg","width":"1080"},{"desc":"","height":"485","title":"","url":"https://p0.ssl.img.360kuai.com/t01d45d0d7ddacda1e9.jpg","width":"1080"}]}],"original":0,"pat":"zzc,art_src_3,otherc,fts0,sts0","powerby":"hbase","pub_time":1674360840000,"pure":"","rawurl":"http://zm.news.so.com/efd61ba7544013a003ebd821c36f6627","redirect":0,"rptid":"0c19408825ce54de","s":"t","src":"量子位","tag":[{"clk":"kgame_1:v10","k":"v10","u":""},{"clk":"kgame_1:我的世界","k":"我的世界","u":""},{"clk":"kgame_1:minecraft","k":"minecraft","u":""}],"title":"在《我的世界》里挖钻石把AI难哭，DeepMind最新算法终于扳回颜面
符晶菡1299我的世界各种镐子可以挖什么?
白茂盛17572979639 ______ 木 石头、煤 石 铁 石头、煤 铁 金 铁 石头、煤 金 钻石 金 铁 石头、煤 钻石 黑曜石 钻石 金 铁 石头、煤
符晶菡1299我的世界橡树木板和木棍怎样合成木镐
白茂盛17572979639 ______ 木板 木板 空 木棍 空空 木棍 空
符晶菡1299新手我的世界什么镐子可以挖很多煤 -
白茂盛17572979639 ______ 你是说耐久还是说速度?或是说一下子能挖很多?如果是一下子挖很多的话,肯定就是用了连锁挖矿的模组.镐子的话,任何一种类型的镐子都是可以挖煤的.挖的最快的是金镐,但金镐耐久低,最厉害的当然是钻石镐.新手生存的话用石镐就可以了.
符晶菡1299我的世界图鉴大全 MC游戏图鉴汇总 -
白茂盛17572979639 ______ 我的世界是一款自由度极高的沙盒游戏,游戏中提供了非常多的道具和生物供玩家互动,本文将我的世界中所有的道具生物分为7类,分别是食物、生物、植物、道具、装备、矿物和方块.并且将其全部制作成图鉴,欢迎查看.我的世界图鉴大...
符晶菡1299我的世界铁镐长什么样子 -
白茂盛17572979639 ______ 和石镐差不多只是亮一些 铁铁铁 木棍
符晶菡1299我的世界0.14.0新人生存攻略 第二天怎么过 -
白茂盛17572979639 ______ 这里就接上次的攻略为玩家带来第二天怎么过的攻略了: 如果你有读过新手入门,你应该有一间插着几个火把小房子、一个工作台和一些工具.在此将教你如何盖一个有门与完善必需品的圆石房子. 继续挖矿 所有发展的基础就是挖...
符晶菡1299我的世界新手入门攻略 第一天怎么度过 -
白茂盛17572979639 ______ 首先,你得看见一棵树,对着树干长摁,很快,一个树方块就获得了. 多弄点树方块,差不多16个. 把它们全部合成木板,电脑版点击键盘上的“E”,手机版点击旁边的省略号.弹出一个界面,人物形象旁边有四个小方格,把树方块放进去...
符晶菡1299我的世界安卓版0.6.1怎么获得木镐?
白茂盛17572979639 ______ 先做个工作台 再把工作台放到地上在点他 里面第三个选项里就可以做木镐
符晶菡1299minecraft pe用工作台怎么做木镐石镐啊 -
白茂盛17572979639 ______ 你需要相应的材料 木镐:木棍 木板 石镐:木棍 原石工作台需要4个木板 合成后放出来点击即可
符晶菡1299我的世界镐怎么弄 -
白茂盛17572979639 ______ 按T字形做上三块木板,下两根木棒