游戏 AI 全景盘点（120 页）：会玩会造会测，一换游戏就要重新证明

游戏 AI 为什么突然需要一张新地图？

2019 年 4 月，OpenAI Five 在《Dota 2》里击败世界冠军 OG 战队。为了这一胜，OpenAI 搭了一座专用算力农场：滚动 CPU 跑游戏，前向 GPU 采样动作，优化 GPU 做梯度更新，控制器发布参数版本。光 GPU 优化部分就烧掉约 770 PFlops·s·days，围绕《Dota 2》一款游戏训练了十个月，核心策略是一个占了全部参数约 84% 的 4096 单元 LSTM。OpenAI Five 这套基建只回答一个问题：怎么让 AI 会玩这一款游戏。至于换一款游戏怎么办，答案是没有设计。

先把问题亮出来：基础模型扩张了游戏 AI 的用途，却让迁移仍须重新证明，因此需要这张地图。同一个"会玩"，2019 年的版本为一款游戏烧到物理极限，2025 年的版本共享一个底座走遍多个世界。扩张这半边，DeepMind 的 SIMA 2 最有代表性：一份微调过的 Gemini 权重，以同一套参数横跨《无人深空》《英灵神殿》等多款商业 3D 游戏，既操作角色又跟玩家对话，还能在没见过的世界里自我改进。SIMA 2 基础模型就是在海量数据上预训练、能被各种任务直接共享的大模型（foundation model）。用途越摊越开，底座越共享，"什么东西换个游戏还能用"这一问就越躲不掉。

图注：论文开篇的广度马赛克，商业游戏场景、基准环境与生成式系统输出同屏出现，示意这次盘点的疆域从"AI 打游戏"延伸到"AI 做游戏、测游戏"。AI for Games

用途的扩张不是修辞。论文 §1 举了三个已经落地的例子：ARC-AGI-3 用陌生交互环境考通用智能体；Playco 的 Playbot 把同一个模型既当玩家又当开发工具，用来快速产出可玩原型；IF:CARGO 让玩家用自然语言描述规则，LLM 再把规则翻译成引擎能执行的命令。为什么是现在？因为产业已经动手了，做游戏的工具链开始把大模型当成正式成员。用途摊开到这个份上，"换游戏还得重新证明"的代价就越扎眼，这一问不再只是学术消遣，而是排进日程的工程问题。

可"迁移仍须重新证明"这半边，一直没人系统地答过。这些方向几乎各自独立长出来：做世界模型的不关心智能体，做关卡的不关心代码能不能跑，测游戏的又自成一套。什么能力换个游戏还能用，什么能力绑死在某款游戏、某个引擎、某种接口上，没有人把它们排成过一张表。NUS 与 NTU 的团队于是写了这份自称 120 页的综述（arXiv:2609.16679，2026 年 9 月提交的 preprint），按"AI 输出的直接用途"把文献切成六种角色，逐角色核对证据，最终给出一个反直觉的判断：这张扩张地图上最醒目的不是疆域，而是钉子。AI for Games

这张地图要答的，就是这道题的三问：AI 在哪里真的能干，什么能带走，证据硬不硬。旧地图只画到门口，所以需要这张新的。Gallotta 等人 2024 年已经按角色组织过 LLM 与游戏的文献，但那篇覆盖到 2024 年初，主要站在运行时视角，没有把"换游戏要重新证明什么"摆上台面。Gallotta et al. 新综述把视野扩到整条生命周期，把分类轴从"在游戏运行时的哪个位置"换成"AI 的输出拿去干什么"，好让"什么能带走、什么带不走"第一次有处可查。先沿骨架巡游：六个角色，一路撞钉子。

地图的骨架：六种角色，怎么铺满整条游戏生命周期

分类轴只有一个，就是 AI 输出的直接用途。论文刻意不管模型是用 Transformer 还是扩散模型打底，也不管它跑在哪个引擎里，只看一件事：它产出的东西拿去做什么用。产出是动作与计划，归游玩与行动（Play and Act），去当玩家、队友或 NPC。产出是状态与预测，归玩家与游戏建模（Model Players and Games），去规划、模拟、给人画像。产出是关卡、规则与剧情结构，归设计（Design）。产出是代码、场景与工程修改，归构建与维护（Build and Maintain）。产出是对话、任务与实时内容，归运行时生成与适配（Generate and Adapt at Runtime）。产出是轨迹、判定与诊断，归测试与评估（Test and Evaluate）。六种角色，恰好把设计、开发、上线、测试这条链铺满，而这些方向并不是按时间先后长出来的，从 2019 年的专才到 2026 年的闭环，六条线一直在并行演化。

图注：论文的框架锚图：中心是一台可执行、面向玩家的游戏，六种角色的输出围绕它进进出出。图注原文强调，连接表示选择性的输入与反馈，而非一条强制流水线。AI for Games

这张图最容易被读成"设计→开发→测试"的流水线，图注专门把这条路堵死：六种角色是围绕一台游戏的选择性连接，不是按工序排队。论文甚至故意把同一类系统拆开归类。MarioGPT 被放进设计角色而不是构建角色，因为它的核心主张是"关卡合法可用"。Play2Code 被放进构建与维护，因为它的核心主张是"代码能跑"，尽管它的试玩 agent 明显踩进了测试角色的地盘。角色是主/次划分，不是排他分类。

论文带着三个反复出现的问题读每个角色，可以叫三问透镜。第一问是边界，这个角色里 AI 到底学习什么，游戏或工作流又提供了什么现成结构。第二问是迁移与复用，什么能力、什么产物能跨设置跨角色带走。第三问是证据，支撑这些主张的到底有多硬。

而"带不走"的根源，论文挑出一组反复出现的钉子，叫设置特异性（setting-specificity）。控制方案、规则、引擎接口、状态表示、玩家语境，五个维度里换一个游戏至少有一个要重来：

把今天任何一个正在做的 AI 游戏项目放进这张图，它总能落进一到两个角色，这也是这套框架最好用的地方。后面每看完一个角色，都会撞上这排钉子。先从最老、证据最硬的那个看起，会玩。

会玩的换代：从烧专用算力的专才，到共享底座的通才

2019 年的 OpenAI Five 是"专才"一词的标本，它的训练系统长这样：

图注：OpenAI Five 的训练系统：滚动 CPU 跑《Dota 2》，前向 GPU 采样动作，优化 GPU 做梯度更新，控制器发布参数版本。图中机器数量是 clean-experiment 规模，真实训练约为其三倍。OpenAI Five

四类机器各司其职，围绕一款游戏焊死在一起。它为《Dota 2》专门训练，文中未给出跨游戏迁移证据。2019 年同题的 AlphaStar 在《星际争霸 II》达到职业顶尖水平，走的也是"一个游戏烧到底"的同一条路。

2023 年，路数变了。Voyager 不再训练任何参数，它直接调用 GPT-4 写代码：每个技能是一段可执行的 JavaScript，攒进一个技能库（skill library）。自动课程负责出题，迭代提示负责写代码、跑代码、看环境反馈、改到自检验通过，新技能存进向量库，下次遇到相似任务就检索最相关的几条拿出来复用。它因此在 Minecraft 里拿到 3.3 倍于基线的独特物品数，解锁木制科技树快 15.3 倍。清空背包扔进新世界，还能零样本完成从未见过的任务，而基线在同样条件下的完成率是零。更有意思的是，把 Voyager 攒下的技能库原封不动交给别的 agent，对方的零样本任务完成率也明显提升。这个设计第一次把"可复用产物"摆上台面：技能库不是模型参数，是一堆能带走、能插到别的 agent 里直接用的代码块，而"产物能带走"和"能力能跟着走"是不是一回事，是这篇综述最后一章要算的账。Voyager

论文把这四种范式放在同一张谱系里读：专才、通才、参数共享、测时自适应。Voyager 就属于测时自适应这一支，它不碰任何参数，全靠推理时往技能库里攒东西。2019 到 2025，同一个"会玩"，从为了一款游戏烧掉一座农场，走到用一个共享底座撑起一群游戏。

2025 年的答案更激进。SIMA 2 把文本、视觉、动作合成同一个 token 流，骨干就是一个微调过的 Gemini Flash-Lite 模型，同一份权重在世界里行动、对话、内部推理：

图注：SIMA 2 的多面板总览，左上角是它在《无人深空》里回应玩家的画面，其余面板是它在多款 3D 商业游戏中的第一视角，传达"一个底座跨多个世界推理、行动、对话"。SIMA 2

它在训练过的环境里平均任务成功率比 SIMA 1 翻倍，逼近有人类超时限制的水平。在从没训练过的 ASKA 和 MineDojo 上，它也能高出 SIMA 1 十个百分点以上，还能用自己生成的轨迹做自我改进循环，在没见过的世界里越打越会打。听起来"通用"已经到手了，对不对？

陷阱恰好在这里。论文划了一条红线：共享预训练权重不等于能力迁移。AI for Games 最直接的证据就在 SIMA 2 自己的报告里：没做过动作数据微调的 Gemini Flash-Lite，在程序化评估上成功率只有 3.2%。底座里躺着 Gemini 的整套语言与推理能力，可"会玩 3D 游戏"并不会从底座自动涌现，必须显式训练。底座是共享的，能力是挣来的。而且 SIMA 2 自己承认三道坎仍然在：长时程任务难，低延迟限制了上下文窗口，键鼠层面的精细动作精度还是开放问题。

同一年还长出一条社交分支：Generative Agents 让 25 个 agent 在虚拟小镇里当"可信的居民"。这个系统在下一章会详细讲，因为它同时占据了两个角色。

会玩的换代看完了，钉子第一根纹丝没动：控制方案。下一站，AI 不满足于玩现成的游戏，它要自己长出"世界"。

会建模：一边是只会跑 DOOM 的模拟器，一边是一张图生成的 3D 世界

建模角色分两半：世界模型（world model）与玩家建模（player modeling）。世界模型是一个学会预测游戏世界下一帧或下一状态的模拟器，玩家建模则是给玩家画像。

世界模型一头是"专用"。GameNGen 把 DOOM 从程序渲染整段换成神经网络。训练分两阶段：先让一个 RL agent 在 DOOM 里采集画面与动作的轨迹，再采样七千万条轨迹片段训练一个扩散模型，学会"给定过往帧和按键，生成下一帧"。跑起来以后，它能在单张 TPU-v5 上以 20 FPS 实时模拟 DOOM，单帧质量 PSNR 29.43，论文说观感接近有损 JPEG 质量 20 到 30 的压缩图。这段因果链值得停一下：先是"会玩"的 agent 留下轨迹，轨迹再喂出"会模拟"的世界模型。这正是论文里 Play→Model 这条跨角色连接的肉身。世界模型的价值也在这里：生成的场景能被真正的 agent 用来跑任务，AI 从此可能在"生成的世界"里获得经验，而不必每次去借商业游戏的接口。GameNGen

图注：GameNGen 两阶段方法总览：上半部分是 RL agent 在 DOOM 里采集画面与动作轨迹，下半部分是扩散模型把过往帧编码、动作以 cross-attention 注入、做噪声增强后预测下一帧。GameNGen

世界模型另一头是"通用"。Genie 2 不需要特定游戏，给它一张 Imagen 3 生成的起始图就够。画面被压成隐空间 token 格，键鼠动作驱动逐帧自回归生成，解码器把潜状态还原成可玩的 3D 世界。DeepMind 公布，它生成的场景大多能保持一致 10 到 20 秒，最长约一分钟，还演示了让 SIMA 智能体在生成的世界里执行"打开蓝色的门"这类指令。Genie 2

图注：Genie 2 的生成流：左侧 Imagen 3 按文本 prompt 生成起始帧，经编码器压成 token 格，与 W/A/E 键鼠动作一起逐帧自回归，右侧解码器还原出连续游戏画面。Genie 2

专用与通用不是对错之分，而是接口宽度的两极。GameNGen 把接口缩到 DOOM 一款游戏上，换来实时与稳定。Genie 2 把接口放宽到任意一张起始图，代价是一致性只有一分钟量级。论文把这组对照收进一个判断：世界模型正在从窄接口走向宽接口，而这条线索，收尾章会和 Model→Play 连接一起回收。

建模的另一半是玩家建模，最有名的案例是斯坦福的 Generative Agents。25 个 agent 住在一个叫 Smallville 的小镇，每个 agent 会感知环境、把一切经历写进一本"记忆流"，按相关度检索记忆，定期反思出高层结论，再据此拆解长期计划。这套闭环让它不是简单的 LLM 包装，而是能维持可辨识个体身份的模拟居民。它的证据有两层。第一层是"像人"，完整架构的 agent 在 TrueSkill 评分上 μ=29.89，压过真人众包玩家扮演的 21.21。把组件一层层拆掉去对比：去掉反思降到 26.88，反思和规划都去掉再掉到 25.64，说明每一层都在实打实地加分，这套架构不只是一层 LLM 包装。第二层是"涌现"，只给一个 agent 一句"筹办情人节聚会"的意图，两天后 12 个受邀 agent 里有 5 个准时出现在咖啡馆。Generative Agents

顺带说明分类法的用法：这套系统同时被论文放进角色一（NPC 社会模拟）与角色二（玩家建模）。角色是主/次划分，不是排他分类，这一点从第一章起就反复出现。

但建模这一章的钉子最扎眼，是状态表示与世界的持久性：GameNGen 的上下文只有约 3 秒，长程状态要靠从像素里猜。你转身离开房间再回来，"房间里有什么"只能靠模型猜，猜错就穿帮，这正是持久状态这道坎的具体模样。Genie 2 的持久一致性也只有一分钟量级。论文因此把"学习世界里的持久世界状态"列为最不成熟的评估目标之一。好处是，这一章的产物开始成为别的主角色的素材，比如轨迹、世界与记忆。下一章看这些产物怎么在角色之间流动。

会设计、会开发、会测试：产物开始在不同角色之间流转

设计角色先看 MarioGPT。做法朴素得惊人：把超级马里奥关卡当成一串字符串，把蒸馏过的 GPT-2（DistilGPT2）微调成"下一个 token 预测器"，文本 prompt 通过 cross-attention 注入，控制管道、敌人、砖块、地形起伏四个维度。你说"many pipes, many enemies"，它就生成配套的关卡。它报告的 88.4% 可玩率，是事后用 A* agent 跑 250 个关卡验证出来的，验证不在生成管线内部。为了防止它只会背训练数据，作者又用 novelty search 把它当变异算子，在存档里筛选路径特征够新的关卡，让生成内容持续变新。设计角色要的证据是"内容合法、可玩、可控"，这个口径和构建角色"代码能跑"完全不同。MarioGPT

构建角色最现代的样本是 2026 年的 Play2Code，它的结构是一个闭环。Game Agent 负责写或修补一个 HTML 游戏。GUI Agent 把游戏装进浏览器真的去玩，它看不到代码，只能看到画面、点击和输入，玩完交出一份游玩摘要和一份可执行修改清单。Game Agent 据此修改，进入下一轮。三层记忆把经验跨回合跨任务累积：episode 记忆记当次任务的回合，skill 记忆记两个 agent 各自的私有技能，world 记忆记共享的游戏常识。它的成绩打在一套叫 PlaytestArena 的底座上：两百个生成任务、八个游戏类型、一千五百多条人工撰写的评分标准，不是自己给自己打分。这个设计把"测试"从终点拉进了开发的每一轮：rubric 通过率 66.8%，对比一次成型直接生成的 29.7%，对比能构建、能运行但不试玩的 agentic 系统的 52.2%。连验收裁判都接近真人水平：GUI 评委与人类评委的一致性 κ=0.64，人类之间是 0.66。Play2Code

那么"机器验收"这最后一环呢？测试角色里有一块明确的天花板。GlitchBench 把 923 张图（330 张正常加 593 张带 bug，来自 205 款游戏）喂给 11 个最强的多模态大模型，问"这张图哪里不对劲"。题目是自由回答而非选择题，模型没法靠猜。成绩不好看：最强的 GPT-4V 平均 43.4%，开源代表 LLaVA-1.5-13B 只有 35.5%。四个 bug 类别里"动画与姿态"最难，人形四肢摆出不可能的姿势，模型普遍看不出来。有个反差最说明问题：在"图正常"的子集上 GPT-4V 能到 91.6%，一遇到真问题就掉到 43.4%。模型擅长确认"没事"，不擅长发现"有事"。GlitchBench

图注：GlitchBench 的横向柱状图：11 个多模态大模型在四类 glitch 上的准确率。GPT-4V 在四类中三类最高，Animation and Pose 是所有模型共同的短板。GlitchBench

运行时角色在这篇里只轻轻点到：Generative Agents 的记忆流解决的是跨会话一致性问题，游戏世界里 AI 生成的内容不能上局说的事下局全忘。这个问题留到最后和"持久状态"一起算总账。

六个角色看完了，钉子已经攒了四根：控制方案、状态表示、规则与引擎接口。Play2Code 的网页游戏和 Unity、Godot 完全不兼容，就是引擎接口那根的标本。最后回答那个要命的问题：产物到底能不能带走？

产物能带走吗？四条跨角色连接，和一个反直觉的判断

论文先给出四条跨角色连接，产物正是沿着它们流动。这四条管道把上一章的产物接进下一章的角色，整张地图第一次有了暗线：

四条管道的证据等级并不一样。有直接证据的是三条。Play→Model：GameNGen 用 agent 留下的轨迹喂出世界模型。Model→Play：SIMA 智能体在 Genie 2 生成的房间里执行"打开蓝色的门"。Build↔Test：Play2Code 自己玩自己改，把试玩反馈变成修复信号。Design→Build 是四条连接里证据最薄的一条：论文在盘点表里把它列为已实现的交换，给出的案例是 DreamGarden——把可编辑的设计计划接入可执行实现；但论文同时明确把这条线的下游收益列为「待验证」，尚无研究真正测得收益。所以严格的说法是：产物确实在角色之间流动了，但直接证据集中在三条连接上，第四条只有实现案例、收益还没人测得。AI for Games

但论文在这里泼了最关键的一盆冷水，也是全篇最反直觉的判断：产物复用不等于能力迁移。分享同一个底座，不构成迁移。把一段代码、一份关卡、一个世界模型从 A 传到 B，也不构成迁移。宣称"迁移成功"必须做三查。第一查兼容性，产物在新环境里接口对不对得上。第二查使用，它真的被用起来了，还是只是躺在那里。第三查收益，用了它效果真的变好了吗。论文的原话是：中央挑战不是搬运产物，而是保住让产物有用的信息与约束，并在目标环境重新建立证据。这套三查以后可以当作交代迁移声明的模板：共享过底座、传递过产物，都不算数，把三查逐条答完才算。

换成一句好记的话：产物像行李，换游戏就是换机场。技能库、关卡、训练好的权重你都能搬上飞机，复制粘贴从来不是问题。但到了新机场，行李要过新海关：控制方案是插座规格，规则是电压等级，引擎接口是插头形状，状态表示是申报单，玩家语境是目的地的习惯。任何一样对不上，行李要么被扣下，要么到了也没用。最容易被忽略的是，就算五样全过，你也要在目的地重新证明这箱东西真的有用。2019 年那套为《Dota 2》焊死的算力农场，过不了《星际争霸》的海关。今天的共享底座省掉了"搬运"这一步，却一分都没省掉"证明"这一步。

这不是悲观，是校准。论文的证据盘点说得很直白：评估最标准化的只有两类，有界游戏玩法和部分学习环境。这是个容易让人意外的顺序，最标准化的测量几乎都发生在边界清晰、规则固定的小游戏里。持久世界状态、反复软件修订、被验证过的玩家建模、持续运行时适配、有代表性的自动化测试，这五样都还不成熟，一旦进入需要长期坚持的环节，证据就迅速变薄。配套的开放挑战正好每个角色一条：

SIMA 2 在结尾自陈的三个局限：长时程任务、短上下文窗口、低层动作精度，就是这些挑战在 2025 年底的真实海拔。

这份地图的价值恰恰在这里。单点突破的时代，每个团队只需要看懂自己那一个角色。到了共享底座的时代，你不得不看懂全部六个角色，因为你今天产出的轨迹，可能就是别人明天世界模型的训练数据。它没有许诺"AI 全能做游戏"，而是把整片疆域按证据硬度分层画出来，告诉你哪块地踏实了、哪块还是沼泽。把旧东西摆出新顺序，这本身就是贡献，哪里证据薄，这份排序就指明了该有人去填的地方。会玩已经实证，会造正在闭环，会测是明确的天花板，而"一换游戏就要重新证明"不是这篇论文的抱怨，是它给整个领域立下的工作清单。地图画好了，剩下的活，得一个一个游戏、一个一个机场地干。

想深入可以读原文：AI for Games in the Foundation Model Era，arXiv:2609.16679

参考文献

1. AI for Games in the Foundation Model Era（Meng Luo et al., NUS + NTU, 2026 preprint）. https://arxiv.org/abs/2609.16679
2. Diffusion Models Are Real-Time Game Engines（GameNGen, ICLR 2025）. https://arxiv.org/abs/2408.14837
3. Voyager: An Open-Ended Embodied Agent with Large Language Models（NeurIPS 2023）. https://arxiv.org/abs/2305.16291
4. Generative Agents: Interactive Simulacra of Human Behavior（UIST 2023）. https://arxiv.org/abs/2304.03442
5. SIMA 2: A Generalist Embodied Agent for Virtual Worlds（Google DeepMind, 2025 preprint）. https://arxiv.org/abs/2512.04797
6. Dota 2 with Large Scale Deep Reinforcement Learning（OpenAI Five, 2019）. https://arxiv.org/abs/1912.06680
7. Genie 2: A Large-Scale Foundation World Model（Google DeepMind 官方博客, 2024-12）. https://deepmind.google/blog/genie-2-a-large-scale-foundation-world-model/
8. MarioGPT: Open-Ended Text2Level Generation through Large Language Models（NeurIPS 2023）. https://arxiv.org/abs/2302.05981
9. GUI Agents for Continual Game Generation（Play2Code, 2026 preprint）. https://arxiv.org/abs/2605.28258
10. Large Language Models and Games: A Survey and Roadmap（Gallotta et al., IEEE Transactions on Games 2024）. https://arxiv.org/abs/2402.18659
11. GlitchBench: Can Large Multimodal Models Detect Video Game Glitches?（CVPR 2024）. https://arxiv.org/abs/2312.05291