UrbanGround：1:1 香港测试城，AI 认得出街景却走不到目的地
看得懂街景，就等于能在城市里行动吗？以及为什么此前没人测得出来
想象这样一个场景。你站在一个陌生城市的路口，手机没电，也没有导航。这时给你看十张街景照片，你能认出哪张是商业街、哪张是老城区，甚至猜出大概在哪个区域；但要是让你不靠导航走十分钟，穿过三四个路口找到一栋指定的楼，你还敢不敢？多数人的答案是：不敢。这正是 UrbanGround 要检验的那个问题：一个能看懂街景的 AI，能不能把这份看懂变成不迷路地持续抵达目的地。
识别街景和走完一条街，本来就是两种能力。前者只需要看清眼前的画面，后者要求你在每一步迈出之后，都还知道自己在哪里、该往哪去。检验的难度恰恰藏在这段跨越里。所谓多模态大模型（MLLM），就是能同时看图、读字、说人话的大模型，GPT-4o 和 Gemini 都算这一类。它们是公认的看图专家，却也是越来越多人注意到的走路差生；而"走路资质"到底怎么测，此前一直没有人拿出一张考卷。UrbanGround 这篇论文要做的，就是把"走路"这件事第一次变成可测的问题。
它给这种能力起了名字：spatial agency（空间主体性）。通俗地说，就是不靠某一张照片、而靠一连串行动仍然不迷路的本事。检验被设计得很苛刻：模型被放进一座真实比例的城市里，连续行动最多一百步，每一步都会改变画面，它看到的永远是自己上一个动作的结果，没有任何提示告诉它还剩多远。核心问题提得很朴素：主体一旦开始移动，单张照片给的局部证据还靠得住吗？UrbanGround 论文开篇引了城市规划学者 Kevin Lynch 的名著《城市的意象》来点破这个差别：静止时，人靠看得见的地标就能定位；一旦动起来，定位就得靠不断更新的记忆和预估，而这一步正是最容易被低估的。
这套检验为什么拖到今天才有人做？不是没人想到，而是此前的所有评测都巧妙地绕开了"走"本身。2019 年的 Touchdown 把纽约街景做成一张巨大的照片网络：29,641 个全景节点、61,319 条边。模型沿着网络的边，从一个全景节点"跳"到下一个，动作只有前进、左转、右转和停止四个。照片是真的，运动却是假的：模型不是在走路，是在翻一本巨大的街景相册，每一步之间不需要维持任何连续的位置感。它的成功判定也留了后门：停在目标节点或者它的邻居，都算完成任务。Touchdown 2023 年的 AerialVLN 换了个方向，把尺度拉满到城市级：25 个合成的城市场景、8,446 条飞行路径，但那是无人机在天上飞，场景是美术资产拼出来的，坐标不落在任何真实的地理系里。AerialVLN 一个在地上跳，一个在天上飞，唯独没有"在同一座真实城市里，用脚连续地走"，而 UrbanGround 要检验的正是这个形态。
这个空档留到今天，检验的代价也摆在眼前。自动驾驶、配送机器人这些具身应用，正在把大模型从聊天窗口往真实街道上拽；在把模型装进会走路的机器之前，总得先知道它会不会走路。城市导航本身不新鲜，老派的机器人早就靠激光雷达和预标注的地图跑起来了；新鲜的是，我们想知道只靠"看图说话"的大模型，能不能把眼睛当雷达用。对只会聊天的模型，认错方向最多是嘴瓢；对要行动的模型，每一步的小误差都会滚雪球，直到彻底迷路。要测"走"，先得有一座能走的城。UrbanGround 的做法简单也彻底：既然没有，就造一座。把整个香港搬进引擎。
拿什么测能不能走：把整个香港搬进引擎
这座城不是画出来的布景，而是用真实数据拼出来的。UrbanGround 拿香港地政总署公开发布的两套数据打底。一套是 3D Visualisation Map，由倾斜航空影像重建的全港三维模型，采用 WGS84 坐标系，就是 GPS 用的那套全球坐标；另一套是 3D Pedestrian Network，一张标好了全港步道走向的三维线要素网络。Unity 引擎在运行时流式加载这些三维瓦片，把整座香港按 1:1 的真实比例填进仿真器。选香港不是偶然：地政总署把全境三维模型和行人网络都开放成公开数据，整座城的细节才得以逐栋逐街复刻。UrbanGround
"真实坐标系"这四个字值得掰开说。它意味着坐标是真的、距离是真的、楼与楼之间的遮挡是真的；模型走过的每一条轨迹，都可以和登记在案的行人网络逐米比对：有没有抄小路、有没有横穿马路、有没有穿墙，全部有据可查。这也让评测能给出比"到了没"精细得多的反馈，不仅知道成功失败，还能量出每一步偏离路线的距离，看清空间错误到底在哪个路段开始积累。简单说，这是把政府级的测绘数据直接拿来当仿真素材，楼宇高度、街道走向、天桥连接全是实测值。这不是"看起来像城市的游戏场景"，这就是香港。
图注：真实比例沙箱总览：高密度楼宇、地形高差与多条跨街区步行路径按真实坐标落在引擎里，图上标注了沙箱入口与覆盖区域。UrbanGround
整座城分三层。地理层是数据底座；仿真层管物理：第一人称控制器、与建筑和地形的真实碰撞、连续运动，配一个会走的时钟、一整套天气系统和一群行人；智能体层管接入。
智能体层最容易被人误解成"给模型接个 API 的 trivial wrapper"，它恰恰是最见心思的部分。仿真器和模型是两个独立进程，通过 client-server 接口对话。接口只给模型两样东西：第一人称的 RGB 画面，和一张可以平移缩放、但不会画出任何路线提示的交互地图。动作倒是给得很慷慨：move、sprint、look、jump，地图上的各种操作，最后一声 terminate 宣布"我到了"。关键在于接口不暴露剩余距离，也不暴露最短路径。模型手里没有"离终点还有 300 米，直走"的纸条，它只能靠看过的每一帧画面，在自己内部维持一个空间位置感。
这张循环图是整个评测的底色。所谓 closed-loop（闭环），就是没有旁观者给模型递答案：它的每一步行动都会改写下一帧画面，而下一帧又成为它下一步决策的依据。想走对路，模型必须在自己内部一直保有一份"我走到哪了"的账本。具体到每一步：模型下令"前进三米"，仿真器就真的执行，画面向前推、位置更新，可能还迎面走来一个行人；它下一次看到的画面，就是这个命令的直接后果。
这个闭环能一直转下去，还依赖一个容易忽略的前提：仿真不是静态布景。同一片街区，白天、黄昏、夜晚面貌不同，晴天、多云、雨天光照不同，行人网络里还持续走着成群的模拟行人（用 Rocketbox 的头像素材合成，不是真实监控画面）。有一点需要注意：行人网络只是用来评分的参照，不是拦住模型的栅栏，模型可以自由走出人行道，代价只是 PNA 掉分。环境自己会变，这正是后面第三组实验能测"环境变了模型怎么办"的前提。
图注：同一片香港街区在白天/黄昏/夜晚（纵向）与晴/多云/雨天（横向）组合下的渲染差异，行人网络上还有流动的模拟行人。UrbanGround
项目页给这座城总结了三个词：Real scale（真实比例）、Closed loop（闭环）、Dynamic（动态）。三点压成一句话，就是"一座会如实回应你每一步行动的真实城市"。项目页 而且它不是锁在论文里的概念：浏览器里可以试玩，桌面版能下载，代码和任务数据集全部开源，许可证还是宽松的 MIT。GitHub 仓库
有了一座能走的城，下一个问题自然浮出来：怎么才算走得好？总不能只问一句"你到了没"。
怎么判走得好不好：从看清街角到躲开行人的五级任务阶梯
UrbanGround 把"走得好不好"拆成五级任务阶梯：13 类任务、810 个手工核验的实例。810 不是随手标的。每个实例都由人类测试员在同样的 100 步预算下亲自跑通过，再经两轮复核，确保题目本身是可行的：模型做不到，不能赖题目太难。评测协议同样硬：最多 100 步，每个动作最多 2 秒，全程最长 200 秒；终点落在目标 15 米以内才算成功。评测还要盯一个合规指标：PNA，Pedestrian-Network Adherence（行人网络依从），它记录模型从头到尾有多乖地走在行人网络上，横穿马路要算账。这条指标在真实部署里就是安全底线：机器人可以走不到，但不能乱穿马路。被测的是 10 个当时的主流 MLLM：OpenAI 的 GPT-5 系列三款、Anthropic 的 Claude-Opus 两代、Google 的 Gemini 两档，加上 Doubao-Seed-2.0-Pro、GLM-5V-Turbo 和 Kimi-K3。UrbanGround
图注：项目页版五级阶梯：5 级、13 类经人工核验的任务类型自左向右逐级升高，图侧摘要写着 Levels=5、Task types=13、Interaction horizon=100 steps。项目页
阶梯里的每一级，任务性质都不同。第一级是"看清街角"：认出物体、判断朝向、主动观察问答，属于局部环境理解。其中主动观察问答最特别，模型得自己决定往哪看、问什么问题来收集信息，一道题用几十秒的短交互就能完成。第二到第四级把活动半径一级一级放大：照着显式指令走到目标、顺着隐式意图自己探索、甚至一次排好多个目的地的行程。最顶上的第五级，环境开始动手脚：路突然封了要重新规划，行人挤过来要会避让穿行。
图注：论文主图版五级阶梯：每级下列出子任务缩写（VR/OU/AEQ、SGN/LGN/IN/CN、PTS/III、TWS/MSP、DCR/NP），下方图例把 Level 1 对应研究问题 RQ1，Level 2–4 对应 RQ2，Level 5 与匹配天气实验对应 RQ3。UrbanGround
三层阶梯对应三个研究问题：局部环境理解问"能不能锚定"，显式与隐式导航问"能不能持续"，动态交互问"能不能适应"。拿一个长程导航任务举例，感受一下这份考卷的样子：模型在港岛某处街道起点"醒来"，第一人称视野里只有一条街，指令是走到一栋指定的大楼。接下来一百步里，它每一步看到的都是自己上一个动作的结果，拐过的弯、经过的路口、错过的岔路，全都得靠自己在心里记账。这五级不是五个互不相干的抽屉，而是同一个问题的不同深度：活动范围越大，需要在行动中持续保持可用的空间状态就越多。看清街角只需要一张图的证据；走完一条街，得靠记忆里连成线的每一帧；封路重规划，则需要一条即便地图失效也能自我修正的路线。每一级都用同一个交互接口，变化的只有任务本身。这样设计，是为了把"能力差距"和"模型不熟悉这套动作"剥离开。
梯子搭好了，接下来只剩一个问题：这 10 个当今最主流的模型，到底考成什么样？
考砸在哪：认得出、答得对，却走不到终点
成绩单像一句老话：眼高手低。单点能力上，模型的"眼睛"相当好使：视觉识别最好的三个模型都在 91% 以上，Gemini-3.6-Flash 以 93.8% 居首；主动观察问答，最好的 Claude-Opus-5 也有 82.5%。但一旦进入"行动"领域，数字立刻塌方。方向理解，也就是判断一个建筑在路的哪一侧、该朝哪边转身，明显退化：多数模型集中在 23%–40% 区间，最差的 23.3% 贴着四选一瞎蒙的 25% 随机线，最好的 Claude-Opus-5 也只有 58.3%。更拗口的地方在于，"答得对"和"走得乖"也不是同一个本事：Claude-Opus-5 的视觉识别做到 91.3%，对应的行人网络依从度却只有 69.4%；整体看，大多数模型的 PNA 都在 80% 以下，连"别乱穿马路"这条底线都没守住。八类导航任务的平均成功率只有 8.1% 到 22.9%；长程导航几乎全军覆没，最佳不过 3.8%；多目标任务平均只能完成 10% 到 20% 的目的地，整条路线几乎无法一次闭环走完。更糟的是，把任务按距离分桶看，即使名义上的"短程"任务，成功率也随着距离增加而一路下滑，说明这不是一个可以靠"走远一点"糊弄过去的边界问题。UrbanGround
| 能力 | 代表数字 | 意味着什么 |
|---|---|---|
| 视觉识别 VR | 最好的 93.8%，三强都在 91% 以上 | 认东西，模型已经会了 |
| 主动观察问答 AEQ | 最高 82.5% | 看一眼答一题，勉强能用 |
| 方向理解 OU | 23.3%–58.3% | 最低值接近四选一随机（25%） |
| 八类导航平均成功率 | 8.1%–22.9% | 一走动就打折 |
| 长程导航 LongNav | 最佳仅 3.8% | 几乎全灭 |
| 多目标 Multi-Stop | 大多 0%–3.3% | 连点成线都没戏 |
两个案例把数字翻译成画面。第一个案例里，GPT-5.5 被要求找出"北京同仁堂旁的银行"，它正确答出是 Bank of East Asia，答对了。但为了抄近道，它直接横穿马路、离开了行人网络。GPT-5.5 在方向类任务上的行人网络依从度只有 74.8%，配合这个案例里为抄近道直接横穿马路的行径，说明答对题不等于守路权——这个案例把"看清"和"走对"两个词拧开了。
第二个案例解释长程导航为什么全线崩溃，是全文信息量最大的一段。失败的轨迹里，超过一半的终点其实比起点更接近目标，GPT-5.5 的比例是 57.5%。这说明模型不是一上来就乱走，而是方向大体正确、越走越近，然后在某个时刻开始崩。论文做了一个 Oracle 实验：不改动模型的任何动作，只把每条轨迹重新打分，取"离终点最近的那一刻"作为成绩。结果"比起点更接近目标"的比例从 57.5% 飙到 98.7%。这对数字把失败模式说透了：模型能接近目标，却守不住接近。它在靠近之后回退，回退之后不再纠偏，轨迹表现与未能持续维持或利用空间状态一致，但该重评分本身不能判定内部原因。论文给这条主要失败模式起了个直白的名字：实质进展在后来被丢掉了（substantial progress was later lost）。就观测到的轨迹行为而言，误差只累积、不纠正。换个角度说，成绩单上的"0% 成功"其实抹掉了"曾走近过又溜走"的那段路程，模型比分数看起来更接近目标，也因此更让人惋惜。
所以问题不在"认不认得"，而在"持续不持续"。单点能力已经够用，却无法在长程任务里组合成目标导向的行为。那如果环境本身还会动呢？
路一变、人一多，还能到吗：动态世界里的失败方式
第五级把环境变成活的。它做两件事：一是 matched time/weather，把同一批任务放到五个条件（晴天、黄昏、夜晚、多云、雨天）下等价重测，排除"题目难度不同"的干扰，这个协议只加在局部理解任务和短程导航子集上，不是全量覆盖；二是两个动态任务，其中之一叫 DCR，Dynamic road-Closure Replanning（动态封路重规划），测试把一条路封死之后模型能不能改道。
光照一换，模型的"眼睛"先掉链子。视觉问答从晴天的 79.1% 掉到黄昏的 66.4%，还出现一个反直觉的现象：黄昏比夜晚更差。Gemini-3.6-Flash 黄昏 68.6%，夜晚反而有 72.7%。作者把原因归结为黄昏的暧昧光照，它对视觉识别的干扰比接近全黑更隐蔽。有意思的是，天气对导航的影响并不系统：GPT-5.5 的短程导航在五种条件下都稳定在 72.5% 到 76.3%，掉得最狠的是"看"，不是"走"。UrbanGround
真正最有信息量的失败出在封路任务。测试把一条路封死，要求模型改道，成功率几乎全 0，最好的两个模型也只有 3.3%。可是另一个指标，行人网络依从度 PNA，仍然高达 93% 到 96%。两个数字并排放，意思很冷：模型一步没乱走，每一步都规规矩矩走在人行道上，但走的始终是已经失效的旧路线，几乎没有一个完成改道。这份测试能观测到的只有"沿旧路径做出合规动作"这一层。模型内部有没有识别出封路、又为什么没有恢复，数据回答不了，需要另行诊断。论文另在长程导航案例中记录过同类机械失败：GPT-5.5 被路中央障碍挡住后，会反复执行同一个"前进"动作而不修订路线（该观测属 RQ2 长程导航任务，并非封路任务的记录）。这种失败比乱走更麻烦：表面上看一切正常，系统看起来根本没坏，也就没人知道该在哪个环节修它。
行人穿行任务同样惨淡。另一个指标是 PCR，Pedestrian Collision Rate（行人碰撞率），统计模型一路撞上了多少行人，结果高达 78.8% 到 90%，模型几乎见一个撞一个。PNA 接近 95% 时它不一定会避让行人，这两个指标不能互相担保。就算把"改道成功"放宽成对路线质量的评分（SPR），最好的也才 46.7%，其余只有 10% 到 40%。
| 动态条件 | 关键数字 | 反常之处 |
|---|---|---|
| 视觉问答 晴 → 黄昏 | 79.1% → 66.4% | 光照一变，问答就掉 |
| 黄昏 vs 夜晚 | 黄昏 68.6% < 夜晚 72.7% | 黄昏反而更差，作者归因黄昏光照 |
| 封路重规划 DCR | 成功率最高仅 3.3% | 几乎没人能改道 |
| 同一批任务的 PNA | 93%–96% | 却在"合规"地走老路 |
| 行人碰撞率 PCR | 78.8%–90.0% | 基本见一个撞一个 |
这些失败不是香港这座复制城的怪癖。通用具身评测 EmbodiedBench 在 4 个合成环境、1,128 个任务上跑过 24 个 MLLM，同样观察到高层任务尚可、低层动作与空间感知系统性崩盘的分化：GPT-4o 纯导航 57.7%，机械臂操作只剩 28.9%。EmbodiedBench 模型在动作闭环里"手笨脚笨"，是跨基准的普遍现象。
到这里，失败方式已经完整：环境一变就全面崩盘，而且崩的方式是"按旧计划局部合规地走"。这逼出一个绕不开的问题：是这座沙箱太苛刻，还是问题本身就难？
一座测出全面失败的城，值得造吗：意义、局限与下一步
苛刻，但问题确实难。先说苛刻在哪：810 个由人类测试员亲自跑通并复核的实例，真实地理坐标系下的连续物理仿真，闭环的交互协议，外加一整套开箱即用的复现材料。代码在 GitHub，数据集在 HuggingFace，桌面版三平台可下载，许可证是宽松的 MIT，浏览器试玩入口也摆出来了，官方还留了一个 OpenAI 兼容的模型接入接口：研究者填上 endpoint、API key、模型名，再配一句自定义指令，就能把自己关心的模型连进去考一遍。你甚至可以先用键盘自己在城里走一圈，再切到 AI Control 模式，看同一个接口下的模型是怎么一步步走丢的。GitHub 仓库
论文自称是"第一个让这个问题可测的沙箱"，这个 claim 不能不加解释地照搬，它成立的前提是谱系上的空白。Touchdown 在街景照片节点之间跳，AerialVLN 在合成城市的上空飞，CityNav 做街景长程导航，CitySeeker 测隐式需求，360CityArena 用 360° 视频重建街区做评测。这些工作都是城市级的，但没有任何一个让模型在同一真实地理系下、以物理一致的方式用脚走路。UrbanGround 占住的是这个形态空位：它没有发明问题，只是第一次给了问题一张可用的考卷。
那这些失败可修吗？论文自己列的三段局限，正好就是一张修复清单。只复刻了一座城，依赖公开地理数据，其他城市的迁移性没验证；被测模型族有限，只有 10 个；接口只开了第一人称加地图，没有测外部空间工具和回溯机制。这段局限换个角度读，就是三份现成的实验提案：换一座城市测迁移性，扩大模型谱系测普遍性，再给接口装上 VoP 这类外部空间状态，测补救方案到底有没有用。最后一条最值得展开，因为同期已经出现了对症的药方。
图注：AgentNav 的 VoP 流程：每个街景节点上，模型把感知、记忆与决策历史写成文本，再更新方向与策略。紫色标记为目的地（One World Trade Center），绿色为起点。注意它运行在街景全景图的离散网络上，不是 UrbanGround 那样的连续物理仿真。AgentNav
药方叫 VoP，Verbalization of Path（路径外化）：逼模型每走一步，先把自己当前的位置估计、目的地和接下来的步行方向用文字显式写出来，再选动作。AgentNav 在纽约单城的街景全景图上用它把长程导航成功率从 15% 提到了 92%。AgentNav 同期 CitySeeker 的 BCR 策略（回溯、空间认知注入、记忆检索）朝同一个方向使劲，它在多城街景图上测出最佳模型的目标完成率也只有 21.1%。CitySeeker 2025 年末一份空间推理综述（只覆盖到 2025 年 11 月）也把"Transformer 缺乏持续空间记忆、动态推理仍是前沿"列为开放问题。SpatialReasoning 但要给这些药方一个恰如其分的定位：它们是与 UrbanGround 失败模式相容的候选补救。模型缺的不是单步判断，而是持久可用的空间状态，把状态从脑袋里搬进显式文字、再配上游走的回溯和记忆，补的正是这一块。相容不等于已验证：上述提升全都发生在各自街景全景图的离散基准上，这些外部成绩既诊断不了 UrbanGround 模型内部卡在哪一步，也不保证换到真实比例、连续物理的仿真里还能迁移。它们真正配得上的检验很具体：在 UrbanGround 的接口上装上同样的外部空间状态，重跑同一批 810 个实例，看成功率动不动。
所以这座测出全面失败的城，价值不在"又测出一堆模型不及格"这一句话。它把"空间主体性"这条前沿变成了可复测、可追赶的靶场，VoP、回溯、记忆这些候选补救的判决场也因此该设在这里，它们此刻都还只是与失败模式相容的假说。可复测听起来平淡，对一条前沿来说却是分水岭：模型厂商有了公开的外部考场，研究者能直接对比不同方法的差距，进步第一次有了看得见的度量。而这度量只在这座城里才算数：别处基准的提升，既不能诊断 UrbanGround 模型的内部缺陷，也不保证可迁移。下次模型再进步时，你不需要在排行榜的数字里猜它进步在哪，可以打开一座真实比例的城市，亲眼看着它走过一条街。
想深入可以读原文：UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City（arXiv:2608.27456）
参考文献
- ref-001 — UrbanGround（arXiv:2608.27456）：https://arxiv.org/abs/2608.27456
- ref-002 — UrbanGround 官方项目页：https://urbanground.github.io
- ref-003 — UrbanGround GitHub 仓库：https://github.com/UrbanGround/UrbanGround
- ref-004 — CityNav / AgentNav（arXiv:2512.15933）：https://arxiv.org/abs/2512.15933
- ref-005 — CitySeeker（arXiv:2512.16755）：https://arxiv.org/abs/2512.16755
- ref-006 — TOUCHDOWN（arXiv:1811.12354）：https://arxiv.org/abs/1811.12354
- ref-007 — EmbodiedBench（arXiv:2502.09560）：https://arxiv.org/abs/2502.09560
- ref-008 — 360CityArena 项目页：https://360mm-team.github.io/360CityArena/
- ref-009 — Spatial Reasoning in MLLMs Survey（arXiv:2511.15722）：https://arxiv.org/abs/2511.15722
- ref-010 — AerialVLN（arXiv:2308.06735）：https://arxiv.org/abs/2308.06735