BloomBloom
发起研究

HoloWorld：把 3D 城市的室内与室外生成，统一进同一个框架

同一个城市，为什么「一栋楼长什么样」和「这栋楼的房间长什么样」要分开做？

想象一个常见场景：你让 AI 帮你建一座 Cyberpunk City，它给出一张漂亮的鸟瞰图——密集的塔楼、霓虹街道、悬浮轨道。但你点开其中一栋楼想看内部，系统说：「请另外输入一个 prompt，我再生成一次房间。」

更糟的是，你输入「这栋楼里的房间」，AI 真的给你生成了一间精装修的赛博朋克公寓。问题是：这间公寓的窗户位置、楼层高度、外立面风格，跟你刚才看到的那栋楼完全对不上。公寓是「赛博朋克的」，楼也是「赛博朋克的」，但它们不是同一栋楼。

这正是当时许多文本驱动 3D 城市方法尚未解决的难题之一：室外生成与面向具体建筑的室内生成往往仍被分开处理。城市外观和建筑内部，是两套独立 pipeline 在跑。CityCraft（2024-06）做了一张 2D 语义布局图，再用 LLM 规划功能分区，最后把建筑资产摆到 Blender 里——它只管室外，没有室内模块。UrbanWorld（2024-07）走 OSM 地图 + Urban MLLM + 扩散渲染路线，停留在街区层面。SynCity（2025-03）把城市切成 tile 一块一块生成，但它以逐 tile 的方式扩展，并通过邻居上下文与后处理 blending 维持连接；每个 tile 仍是独立重建单元。TRELLIS（2024-12）能生成精细的室内物体，但它的室内根本不知道「自己属于哪栋楼」。 CityCraft UrbanWorld SynCity

HoloWorld（arXiv:2608.05879，2026-08）做的事情是：让「楼长什么样」和「这栋楼的房间长什么样」成为同一件事，而不是两次独立生成。它把这件事叫作「unified indoor-outdoor urban world generation」——论文将 HoloWorld 定位为据作者所知，首个尝试在统一跨尺度框架中生成对应室内外空间的方法。

HoloWorld 论文 teaser：现有方法独立生成 vs HoloWorld 跨尺度传播

图注：HoloWorld 论文 teaser 横幅图。左侧标注「Existing methods」的两块分别是一张城市外观图和一张独立的室内图——两者之间没有视觉同一性。右侧是 HoloWorld 的 World → Block → Building → Interior 跨尺度传播层级示意：箭头从城市鸟瞰图指向单街区放大，再指向单栋建筑（建筑底面 footprint 高亮），最后指向该建筑内部的房间——每个层级的输出同时被前一个层级的状态条件化。

把这件事讲清楚，需要解决两个问题：第一，2024–2026 出现的这几条路线为什么各自只做了一半；第二，HoloWorld 用什么机制把这两半接上，而且接得比前人好。

此前为什么不够：四条路线各自的死胡同

要想理解 HoloWorld 解决了什么，先看清楚现有方法各堵在哪里。

第一条死胡同是「室外外观做得再好，室内不进门」。CityCraft 是这条路的代表。它用 DiT（Diffusion Transformer）生成 2D 语义布局图，再让 LLM 规划每栋楼的功能和风格，最后从资产库里选 3D 模型摆到 Blender 里。三阶段清晰、可控、资产丰富——但室内不在它的范围，它根本不进入建筑内部。同一张 Table 1 上，HoloWorld 给出 CityCraft 的 AQS 分数只有 7.11/7.22/4.89/5.89（GPT 评分），四个维度都落后。这是两个独立事实：CityCraft 评估时不覆盖室内维度，同时它在自己覆盖的四个 AQS 维度上也偏低。该表本身并不能推出后者是前者造成的结果。需要补充的是，同一张 Table 1 中列出的同期最强 baseline 是 MajutsuCity（2025-11，同实验室上一阶段作品，5 名共同作者），而 AQS/RDR 这套评估协议本身也出自该论文——这两件事与上面 CityCraft 的具体数字是两个不同来源。

第二条死胡同是「空间布局有了，资产质感上不去」。UrbanWorld 是这条路线——它从 OSM 地图里提取建筑 footprint，用一个专门微调的 Urban MLLM 指导纹理渲染，再加一层 MLLM 反思做 refinement。它能生成连续的城区和较高的真实度（FID 相对最优 baseline 提升 5.4%），但同样停在外观层。室内模块是一片空白。

第三条死胡同是「我两块拼一起」。SynCity 把城市切成 tile，逐块用 Flux 生成 2D 视图、TRELLIS 重建 3D，再用 image inpainting 抹拼接缝。它的好处是 training-free，坏处是每块之间没有共享的世界记忆，跨块风格一致性靠后处理抹缝来救。

第四条死胡同是「室内做得精细，但找不到自己的楼」。TRELLIS 是 object-level 3D foundation model：稀疏 3D grid + DINOv2 多视角特征 + 两阶段 rectified flow，最大 2B 参数、500K 资产训练，能把任何文本/图像变成一个精细的 3D 物体。但它不接 footprint 约束——你告诉它「生成一栋赛博朋克塔楼内部的房间」，它确实给你一间赛博朋克公寓，但这个公寓不知道自己属于哪栋楼、应该嵌在哪块 footprint 上。HoloWorld Table 2 中 TRELLIS 的 Shape IoU 一格标「—」，就是这个意思：这项指标在它身上不成立，因为没有 footprint 可以比。

把这四块拼起来能看出当时的局面：要么不做室内，要么做了但没有 footprint grounding，要么做了但跟外观对不上号。没有一项同时回答了「跨街区连续」和「室内-室外对应」两个问题。 HoloWorld 的目标，就是把这两个缺口同时堵上。

HoloWorld 的解法：跨尺度世界上下文 + 邻域条件 + 建筑 footprint 三件套

HoloWorld 怎么把这两件事塞进同一个模型？不是堆一个新生成器，而是在生成过程之外，设计了一套状态变量来管住所有输出。

第一件套：跨尺度世界上下文（Cross-scale World Context）

整张城市被分三层来管：$C^{\text{world}}$ 是全局身份（城市风格、语义、功能分区），$C^{\text{block}}_i$ 是单街区的空间布局，$C^b$ 是单栋建筑级别的状态——后者是驱动室内生成的唯一一层。三层之间的信息流是双向的：自上而下的继承（城市风格传到街区、街区布局传到建筑），加自下而上的证据回写（已生成的建筑实例把验证过的信息反馈回上层）。

这套状态不是「参数化容器」——它有一个特别的设计：只有通过验证的输出（$Q_\tau(C, Y, \Delta) = \text{pass}$）才能写回上下文。失败的几何或语义不会污染上层状态。这解释了为什么论文 Table 3 的消融那么有说服力：把上下文冻结（Static World Context）后，Functional AQS 从 7.67 跌到 5.75、Visual AQS 从 8.17 跌到 4.58、Shape IoU 从 0.994 跌到 0.670——所有室内对应关系几乎全部崩塌。

第二件套：自回归邻域条件（Autoregressive Neighborhood Conditioning, ANC） ANC BlockFusion

每生成一个新街区，模型同时被两层东西条件化：

$$I_i = A^{\text{out}}\Big(\Pi_{\text{out}}(C^{\text{world}}, C^{\text{block}}i), {I_j}{j \in N^-_i}\Big)$$

前半段是跨尺度上下文（世界 + 当前街区），后半段 ${I_j}_{j \in N^-_i}$ 是已经生成的邻居街区。这意味着新街区的外观必须与已有街区在视觉和空间上接得上——而这不再是一个后处理问题，而是生成目标本身。

Table 4 的消融把这件事钉死了：去掉 ANC 之后，Continuity AQS 从 8.25 跌到 7.25（GPT），RDR 从 24.04 跌到 16.66。人类评分的 Continuity AQS 跌幅更大：7.75 → 5.38。这说明 ANC 不是锦上添花，是跨街区连续性的硬支柱。

HoloWorld Figure 2 架构图：跨尺度世界上下文 + ANC 邻域条件 + building-grounded footprint 三件套

图注：HoloWorld 论文 Figure 2（pipeline 概览） 三 panel 架构图。Panel (a) 展示三层 context 堆叠 + 双向信息流 + 「仅 validated evidence 写入」标注；Panel (b) 展示室外生成（左半）和 building-instance grounding + 室内生成（右半），三条箭头分别标 appearance / asset / footprint 约束；Panel (c) 展示最终输出：城市航拍 → 街区放大 → 单栋建筑 → 室内房间——四个尺度形成显式对应。

第三件套：building-grounded footprint 约束

室内生成并不是独立跑的。它被钉在两个东西上：第一是建筑级上下文 $C^b$（继承城市风格、街区布局、建筑 RGB 外观掩码、实例 ID），第二是 footprint：

$$\text{Footprint}(S^{\text{in}}_b) \subseteq F_b$$

这意味着：不管室内怎么变，它必须待在建筑底面 footprint 的范围内。这是 HoloWorld 能跑 Shape IoU 指标的物理基础——TRELLIS 填「—」，HoloWorld 跑出 0.997。

这三件套加在一起，产生了一个反直觉的结果：HoloWorld 的最大赢面不在空间对应，而在视觉一致性。Table 2 显示，HoloWorld 相对 TRELLIS 在 Visual AQS 上从 5.88 跳到 8.21，在 Visual RDR 上从 1.83 跳到 24.29——而 Functional 和 Spatial 维度的提升没那么戏剧化。它解决的是「这间房是不是长得像这栋楼里该有的房间」这个语义一致问题，不是「这间房的几何精度比 TRELLIS 高多少」。

效果数字：HoloWorld 比 SOTA 强在哪几个维度

四个关键数字，按从大到小的重要性排列：

(1) +7.68% 平均 AQS 提升——这是 abstract 头条数字。口径是 GPT-5.5 VLM + 20 名人类专家两阶段评价，四个维度（结构/视图一致性 SVC、场景丰富度 SRC、材质纹理保真度 MTF、光照氛围 LA）取均。HoloWorld 在 Table 1 上对最强 baseline MajutsuCity（2025-11，同实验室上一阶段作品）拿到 8.75/9.00/7.63/8.00 vs 8.00/8.60/7.00/7.40（GPT AQS），各维度分别提升 +9.38% / +4.65% / +9.00% / +8.11%。这个数字说明 HoloWorld 不是某一维度刷分，是全面领先。

(2) Shape IoU = 0.997——这是论文里唯一一个能给出 footprint grounding 量化值的指标。TRELLIS 那格填「—」，因为它根本不接 footprint。0.997 意味着 HoloWorld 生成的室内 mesh 几乎完全嵌入建筑底面，跨边界对应关系从「不可量化」变成了「可量化、可比较」。

(3) Visual RDR 从 1.83 跳到 24.29（vs TRELLIS）。RDR 是 TrueSkill 排名分，反映两两比较中的相对偏好。这是一个数量级的提升，说明在相同评价协议下，HoloWorld 的室内视觉表现获得了显著更高的排名。

(4) ANC 消融：Continuity AQS 8.25 → 7.25，RDR 24.04 → 16.66。去掉邻域条件后，跨街区连续性明显退化。这给 ANC 提供了因果证据：连续性不是 emergent property，是显式目标。

HoloWorld 与 CityCraft / SynCity / MajutsuCity 的定性对比

图注：HoloWorld 与 CityCraft / SynCity / MajutsuCity 的定性对比 四列图（同一 prompt，每行两视角）。HoloWorld 行明显包含更丰富的景观元素（公园、广场、分层植被）、更详细的建筑立面（窗户、阳台、招牌），跨块风格更连贯。CityCraft 行建筑布局规则但风格单一；SynCity 行能看到接缝；MajutsuCity 行建筑质量接近 HoloWorld 但跨块一致性略弱。

一个必须点破的反常：HoloWorld 的所有评估都是 AQS/RDR——GPT-5.5 VLM 打分 + 20 人类专家两阶段 + TrueSkill 排名——不是 FID/KID/PSNR 像素级指标。这意味着你不能直接把 HoloWorld 的 +7.68% 跟 CityCraft 自家报告的 FID 27.60 或 GaussianCity 的 FID 86.94 相减。HoloWorld 论文里压根没给 FID 数字，AQS/RDR 和 FID 测的不是同一件事。城市生成这条线目前还没有一个统一的像素级 benchmark 能让所有方法横着比。

还有一个口径漂移要诚实交代：HoloWorld 在 Table 1 报告的 MajutsuCity 数字（SVC 8.00、SRC 8.60）与 MajutsuCity 自己论文 Table 2 的数字（SVC 8.56、SRC 8.33）并不完全一致。可能源自 prompt 模板、输入描述、评价 batch 的差异。这不是造假，是跨论文协议 drift——专题里如实陈述，不强行归因。

它用了什么实施栈：澄清一个常见误读

HoloWorld 的实施栈是：GPT-5.4 做语言推理、GPT-Image-2 生成 block 图像、Meshy API 做 image-to-3D 转换。这意味着它没有自训 NeRF 或 3D Gaussian Splatting——3D 表示是外部 Meshy API 输出的 mesh，不是 learned volumetric field。

这不是缺陷，是工程取舍。3D-GS 城市级表征（比如 GaussianCity，CVPR 2025）已经证明可以做到 10.72 FPS + VRAM 1.39 GB 的城市级生成——但那是一条不同的路线：自训表征、端到端可微。HoloWorld 选择了 LLM 编排 + 外部 API 路线，好处是避开了城市级 3D 训练的资源黑洞，坏处是绑死了 Meshy 的几何质量天花板。 D-GS

GaussianCity 框架图：HoloWorld 没走的自训 3D-GS 城市级表征路线

图注：GaussianCity 框架图 展示自训 3D-GS 城市级表征的代表路线：BEV 地图（高度场 H / 语义图 S / 密度图 D）→ BEV-Point 初始化（ray intersection 压缩到 31.7K 点）→ Spatial-aware Decoder（Positional Encoder + Point Serializer + Point Transformer + Modulated MLP）→ Gaussian Attributes → Rasterizer 渲染。HoloWorld 没有走这条路线，而是把 3D 重建外包给 Meshy API——这是显式工程取舍而非疏忽。

值得关注的地方 & 它还没跨过的几道坎

值得关注的一面：HoloWorld 在「室内-室外对应」这件事上开辟了一个全新维度。在此之前，城市生成这条线从 DiT+LLM+Blender 范式（CityCraft）、OSM+MLLM+扩散+反思范式（UrbanWorld）、3D-GS 自训范式（GaussianCity）、tile-by-tile 自回归范式（SynCity）、LLM+美学适配+显式资产摆放范式（MajutsuCity）一路走过来，每一代都解决了一个工程问题，但「跨尺度世界上下文 + 室内-室外对应」是第一次被显式建模。它的真正贡献是给城市生成这条线补上了一个之前没有的维度。

还没跨过的几道坎：

第一，单层楼限制。论文 §6 自己说：「Our current framework focuses on single-floor interiors and does not explicitly model vertical building structures.」多层楼、楼梯连通、跨层一致性是后续工作。这意味着现在的 HoloWorld 不能直接生成一栋有 5 层的办公楼——它只能做一层。

第二，无 FID/KID/PSNR 等像素级指标。所有评估都是 AQS/RDR（语义级 VLM 评分），跨论文比较受限。如果你关心生成图像与真实图像的像素级保真度，HoloWorld 的论文里给不出答案。

第三，无开源代码/权重。项目页（https://huangxb326.github.io/HoloWorld/）只挂了 ArXiv 和 Demo 链接，没有 GitHub / Hugging Face 仓库。这不是技术问题，是生态问题——它意味着第三方短期内难以复现 +7.68% 这个数字。

第四，距 production-ready 还有结构性缺口。从生产可用性的角度（参考 2026-04 的一份 production-ready 3D 资产生成综述），一个可被游戏引擎直接吃下的资产需要六个属性：manifold topology、UV 参数化、PBR 材质、骨骼蒙皮、可编辑性、物理元数据。HoloWorld 当前的 AQS/RDR/Shape IoU 评估体系完全不覆盖这六个属性——它回答的是「好不好看 / 一不一致」，还没回答「能不能直接进 Unreal / Unity」。

Production-ready 3D 资产综述 Figure 1：HoloWorld 当前评估未覆盖的六属性

图注：Production-ready 3D 资产综述 Figure 1 是一张两轴坐标系：纵轴是 workflow stages（data foundations / geometry synthesis / topology / UV / PBR / rigging / scene assembly），横轴是 asset categories（objects / characters / scenes）。中间一座桥把「研究产出」和「production-ready 标准」连起来，桥上标着 manifold topology / UV / PBR / rig / editability / physics 六个检查点。HoloWorld 的当前评估体系完全没碰这六个属性——这张图是它「距 production-ready 还有多远」的形象化。

一句话判断：HoloWorld 是一篇打开新方向的论文，不是终点。它证明了「跨尺度世界上下文 + 室内-室外对应」这个范式在语义级评价下显著领先；但在算力、可控粒度、像素级指标、生产级属性上都还留有结构性缺口。下一个里程碑大概率会落在多层楼 + 开源权重 + 像素级指标三者至少覆盖两个的方向上。

想深入可以读原文：HoloWorld: To See a World in a Living Context — Unified Indoor-Outdoor Urban World Generation — arXiv:2608.05879。项目页：https://huangxb326.github.io/HoloWorld/。

参考文献

HoloWorld：把 3D 城市的室内与室外生成，统一进同一个框架