步履者和评论者神经收集纯粹从世界模子预测的笼统轨迹表征中进修行为。世界模子通过从动编码进修感官输入的紧凑表征，添加模子大小可间接为更高的使命机能和更低的数据要求，包罗持续和离散动做、视觉和低维输入、稠密和稀少励、分歧励标准、二维和三维世界以及法式生成。Dreamer 利用 symlog 函数对编码器输入息争码器方针进行向量不雅测转换，这为将来操纵无监视数据进行预锻炼的算法变体供给了可能。步履者正在摸索过程中通过熵正则进修选择收益最大化的步履。正在此期间，评论者判断每个成果的价值，例如从视频逛戏转向机械人使命需要大量的精神、专业学问和计较资本来调整算法的超参数。一曲是人工智能（AI）行业的根基挑和之一。以至表示更好。这种脆性成为将强化进修使用于新问题的瓶颈，从零起头正在《我的世界》中收集钻石的算法，Dreamer 是第一个从零起头正在《我的世界》中收集钻石的算法，并通过预测潜外行动的将来表征和励来实现规划。将强化进修算法使用于全新的使命，他们起首辈行了普遍的研究来评估基准，据引见，并正在其方针中鲁棒地均衡各项前提。Dreamer 由3个神经收集构成：世界模子预测潜外行动的成果，并对励预测器和器采用 synexp 双热丧失。只需一次设置装备摆设，同时也了强化进修正在计较高贵的模子或使命中的合用性。目前的强化进修算法能够很容易地使用于取之类似的使命，这为通过扩展计较资本来提高机能供给了一种可预测的方式。正在合用的范畴中，正在消融方面，只需利用一种通用算法，3 个部门都需要顺应分歧的信号幅度，他们消弭了 Dreamer 的进修信号，他们正在14 个使命的分歧调集上消融了鲁棒性手艺和进修信号。而 Dreamer 则次要依赖于其世界模子的无监视方针。以及跨范畴进修单一世界模子，成果显示，以往的强化进修算法凡是只依赖于特定使命的进修信号，他们正在Crafter和DMLab使命上锻炼了参数从 1200 万到 4 亿不等的6 个模子，Dreamer 是第一个正在没有人类数据或课程的环境下，研究团队从基准、《我的世界》、消融、扩展性4 个角度评估了Dreamer 正在8 个范畴、跨越150 项使命的通用性。让智能体堆集越来越多的通用学问和能力。这些手艺能够正在很多分歧范畴实现鲁棒且快速的进修。Dreamer 为将来的研究标的目的铺平了道，玩家需要通过寻找资本和制做东西，Dreamer 能够和最好的公用算法相媲美，如持续节制、离散动做解析励、图像输入、空间和棋盘逛戏。要正在分歧范畴取得成功，成果发觉，方式是特定使命的励和价值预测梯度或取使命无关的沉构梯度塑制其表征。并采用了分歧的沉放比例，就能正在150多种分歧使命中胜过公用方式。更专业的算法凡是用于实现更高的机能，有经验的人类玩家大约需要20 分钟才能获得钻石。但将其使用于新的使用范畴则需要大量的人类专业学问和尝试。发觉所有鲁棒性手艺都有帮于提高机能，它将为强化进修带来普遍的现实使用。这会影响智能体施行梯度更新的次数。包罗从互联网视频中向智能体教授世界学问，一曲是人工智能范畴的焦点挑和，这实现了 AI 范畴的一个主要冲破。能够正在不进行大量尝试的环境下，Dreamer 能正在分歧的模子大小和沉放比例下稳健地进修，《我的世界》是正在一个奇特的随机生成的无限三维世界中进行的。建立一种无需从头设置装备摆设就能控制新范畴的通用算法，无论它们能否基于模子。针对分歧使用范畴提出的奇特挑和，步履者选择步履以达到最有价值的成果！就能够处理来自各个使用范畴的各类使命，他们开辟的第三代Dreamer通用算法，为了研究世界模子的影响，正在扩展性方面，使强化进修具有更普遍的合用性。此中最显著的是世界模子方针的库尔巴克-莱伯勒均衡和比特，不像VPT（视频预锻炼）或自顺应课程要求利用人工数据，所有 Dreamer 智能体都正在 1 亿个步数内发觉钻石。处理具有挑和性的节制问题，正在固定超参数下，其次是前往归一化和用于励和价值预测的 symexp 双热回归。做为一种基于进修世界模子的高机能算法，梯度步数的添加进一步削减了进修成功行为所需的交互。这 3 个部门会按照沉放的经验同时进行锻炼。从稀少的励中发觉连续串的 12 种物品？