Un-0:振子没消灭神经网络,只是把深度变成了互连

2026 年 6 月,Unconventional AI 发布 Un-0,目标宣言是"把现代 AI 的能耗降到今天的约千分之一"。实现这份宣言的载体,是 16384 个耦合振子在固定时间内连续演化,直接把噪声分布塑造成 ImageNet 64×64 的图像,FID 6.74,与主流生成模型首次发表时的水平持平,自称"迄今用物理动力系统模拟实现的最强图像生成器"。用物理振子取代神经网络,听起来像是对深度学习的釜底抽薪。可宣言只说了省下一千倍,没说省下的成本究竟去了哪里。这篇专题要追问的,恰恰是这句宣言漏掉的后半句:振子替代层堆叠,计算成本到底是消失了,还是只是换了个地方继续存在?我们把参数账本和训练账单逐项摊开,从"振子是不是真在算"一路追到"删掉九成互连反而更好",最后你会发现,真正的成败分界线不在振子能不能画出图,而在它背后的耦合网络能不能被低成本地物理实现。

一、「非神经网络就高效」这个直觉错在哪?

先把 Un-0 还原成带 3.22 亿参数的生成模型

Un-0 的目标宣言是"把现代 AI 的能耗降到今天的约千分之一"。支撑这句话的直觉,是用振子动力学取代层堆叠,把深度学习的计算成本省掉一大块:非神经网络的东西,就应该省电。这个直觉错在哪?先问一句:它宣称省下的成本究竟去了哪里。要回答,得先把 Un-0 还原成一个生成模型来看。Un-0 是隐式生成模型:它不放出一张概率密度函数,而是靠一段固定时长的动力学演化,把噪声样本"塑造成"目标分布的形状,把扩散模型推理期的一长串去噪步骤换成一次连续的振子演化。生成流程是平铺的五步:先用均匀随机相位初始化 16384 个振子,这一步相当于扩散模型里的噪声种子;然后选好类别,一组较小的条件振子携带类别的单向耦合进入主振子池;接着释放系统,让所有振子按 ODE 演化到固定时间 T;在 T 时刻对所有相位做一次快照;最后用一个普通卷积解码器把相位网格渲染成像素。采样时换一组初相位,就得到同一类别下不同的图。

注意最后一步:解码器是普通的数字卷积网络,只占模型参数的 11.66%。最大模型 Un-0.n16384 的总可训练参数是 3.22 亿,不是 0。振荡器侧 2.8484 亿参数(约占 88%)落在耦合矩阵 K 和自然频率 ω 这些"物理参数"上。第一个要拆穿的直觉就在这里:"用物理动力学替代层堆叠"不等于"去掉了模型",权重只是从神经网络的层间矩阵,搬进了振子的耦合矩阵。Un-0

这些振子到底在"算"什么?Un-0 的演化方程就是 Kuramoto 振子模型的标准形式。先用人话理解 Kuramoto 动力学:想象一群各自按自己节奏转动的摆钟,彼此用弹簧互相拉扯,拉扯强到一定程度,大家就开始对齐步伐。

$$\dot{\theta}i = \omega_i + \sum_j K{ij} \sin(\theta_j - \theta_i)$$

每个振子有自己的自然频率 ω_i(想按自己的节奏转),耦合项把它往其他振子的相位上拽。同步理论用一个序参量 r 度量整体相干程度:r 接近 1 表示所有钟摆齐步走,接近 0 表示各转各的。经典理论证明存在临界耦合强度 Kc,超过它之后同步自发涌现,r 从 0 连续上升到 1。这套理论 2005 年就被 Acebrón 等人在 Reviews of Modern Physics 上系统整理过:同步不是玄学,而是有临界值、有相变的成熟理论。Kuramoto RMP

经典设定和 Un-0 之间有一个关键差异:经典理论把耦合当作给定的,只回答"给定耦合,同步什么时候发生";Un-0 把耦合矩阵 K 当成可训练参数,问的是"什么样的耦合能把噪声分布塑造成目标分布"。正是这个改写,把问题从"振子能不能生成图像"重写成了"计算成本被消灭了还是被转移了"。

这不是新问题:一条四十年的老脉络

把计算写进动力系统、让系统自己演化出答案,这件事从 Hopfield 1982 年就开始了:记忆被写进能量函数的吸引子,回忆就是状态沿动力学演化、自行落入最近的吸引子。Hopfield

储备池计算(reservoir computing)走的是另一条路:用一组固定、随机的非线性动力学做高维特征变换,只训练读出层。Tanaka 2019

Neural ODE 则在 2018 年证明了"深度"和"时间"可以互相翻译:残差块迭代就是某个连续变换的欧拉离散化,层数推到底,就是一条由神经网络参数化的常微分方程。Neural ODE

Un-0 是这条脉络的最新一节:它把连续时间的思想搬进了真正的物理动力学,并把规模推进到了 ImageNet 64×64(FID 6.74;官方自述为迄今用物理动力系统模拟实现的最强图像生成器)。

到这里,第一个判断已经清楚:振子没有消灭神经网络,它消灭的只是"深度"这种组织方式,权重搬了家。下一个该问的问题是:搬走的参数和成本,落在哪里?要回答它,先得确认一件事:振子演化本身,到底在不在干活。

二、振子到底在不在「算」?——三层消融与召回证据:可测收益主要在 recall(多样性)侧

三层消融:动力学不是装饰

官方做了三层消融,把动力学一层层剥掉:

配置含义结果
decoder-only去掉动力学,噪声直接进解码器难以独立完成生成
reservoir冻结随机动力学,只训练解码器已有显著改善
1→10 步可训练动力学耦合矩阵参与训练,逐步增加积分步数稳定反超随机基线,10 步最优

关键结论在后面两句。1 步可学习动力学在 CIFAR-10 上并不显著优于随机的 reservoir,单步的线性化收益有限;但从 1 步增加到 10 步,可学习动力学稳定反超随机基线。作者还专门检验过"是不是只是过拟合了积分器",把 10 步模型换用更多步数或自适应求解器,FID 只变约 3%。多步非线性动力学的收益不是数值积分的假象,振子确实在做消融之外的实质计算。Un-0

这些消融还有一条必须划清的边界。reservoir 的范式定义是"固定动力学加可训练读出",Tanaka 等人 2019 年的综述甚至给出过一个严格判据:连输入权重被优化过的方案都不能严格称为储备池。Un-0 训练的是整个耦合动力学(K 和 ω 全部可学习),它和经典储备池不是同类方法,而是范式层面的对照。Tanaka 2019

把 Un-0 读成"旧瓶装新酒"会错过真正有意思的部分:旧范式的动力学是锁死的,Un-0 的动力学本身在训练中被塑造。

振子算的是什么:可测收益在 recall(多样性)侧

官方把分工描述为"动力学保多样性、解码器管图像质量",这句话的后一半目前只是分工假设;现有消融能证实的是前一半:动力学的可测收益几乎全部落在 recall(多样性)侧,证据分两层。

第一层是类条件吸引流形。把 1024 个初始条件积分到 T=1,不同类别的样本在解码器空间里已经清晰分开;用 MLP 从低维坐标拟合全部 1000 个类别,32 维就足够实现超过 90% 的 top-1 分类,而随机 reservoir 的低维可分性明显更差。在 CIFAR-10 上观察演化轨迹还能看到两阶段:先快速把不同类别的轨迹分开,再缓慢细化图像细节,第二阶段标志着类条件吸引流形真正形成。

第二层是 precision/recall 分析。FID 这个单一数字混着两种质量:precision 衡量单张样本质量,recall 衡量生成分布对真实分布的覆盖度。官方报告,在最大规模上动力学把 FID 改善约 2.5,而这 2.5 几乎全部落在 recall 侧:模型处于 recall-limited 区间,改善主要来自 T=1 时刻 recall 的可测提升(+0.10),未训练的 reservoir 随时间大幅掉 recall,训练过的网络则随演化提升状态多样性。Un-0

把归因写严谨一些:消融和 recall 数字证实的是动力学贡献集中在多样性一侧;"解码器管画质"并没有对应的 precision 侧实测支撑,它只是官方对分工的说法。这也是整个评估口径的一条裂缝:只看 FID 6.74 这个数字,你根本看不出"振子挽回了样本多样性"这件事,而多样性恰恰是动力学目前唯一有实测支撑的核心贡献。单一 FID 会掩盖这条路线真正的论据,这个口径问题后面还会回来。

三、成本被消灭了,还是被转移了?——平方增长的互连和数字侧的隐藏依赖

平方增长的互连账单

先把账算清楚。16384 个振子如果两两全连接,潜在交互数是 16384²,约 2.68 亿条。这是算术上界,官方并没有拆解耦合矩阵内部 K、ω、条件耦合各占多少,但量级是明确的:存储、布线和可调权重都随振子数平方增长。相比之下,解码器只是一小撮卷积,模型的复杂度主体已经整个迁到了互连上。权重没有消失,它变成了一个平方规模的耦合矩阵。

训练留在数字侧:drifting loss 和特征空间

第二笔账单在训练侧。最大 ImageNet 模型花了 640 个 B200 GPU 小时,而且官方明确说,训练的最大瓶颈是 drifting loss(漂移损失)的计算。Un-0

drifting loss 先用白话理解:让生成分布一点点"漂"向数据分布,追上就停。它把分布演化从推理期挪到了训练期,SGD 迭代天然产生一列模型,对应的生成分布一列列地漂向数据分布;同时定义一个漂移场(drift field),当生成分布 q 匹配上数据分布 p 时漂移场归零,样本停止移动,训练目标就是最小化漂移场的平方范数。好处是推理时只需要一次网络前向(1-NFE),代价是训练期的分布演化一点都不便宜。Drifting

Un-0 用的是 DINOv2 特征空间里的 drifting loss:样本相似度不能直接在像素空间算,要在自监督特征的语义空间里算。在 Drifting 作者报告的 ImageNet 设置中,特征编码器是他们当前训练方案的事实依赖:论文原话是,没有特征编码器时,方法在 ImageNet 上无法工作。Drifting

特征提取只发生在训练期,推理期用不上,所以这笔开销是实打实的训练负债;但这是 Drifting 当前方案的事实状况,并不代表不存在不依赖特征编码器的替代训练目标。看 Drifting 论文的框架图,能直观理解这个"训练期演化"范式:

Drifting 训练范式框架

图注:网络 f 把先验分布 pushforward 成橙色分布 q,训练目标是用它逼近蓝色数据分布 p_data;随训练迭代得到分布序列 {q_i},漂移场在 q 匹配 p_data 时趋于零,损失(y 轴,对数刻度)随之下降。注意这是 Drifting 论文自身的图,图中没有 DINOv2 和 Un-0 的字样,它解释的是 Un-0 那 640 个 B200 小时花在了哪种损失上。Drifting

再加上数值积分本身:尽管 Un-0 的动力学在概念上是连续的,整个训练仍然是在 GPU 上做显式数值积分,解码器也是普通数字卷积。所谓"物理生成",目前在训练端对数字基础设施的依赖是结构性的,不是偶然的。

「1000 倍节能」是什么口径

那么官方的能耗宣言呢?"把现代 AI 的能耗降到约千分之一"——这句话在发布稿里的原始措辞全部是目标陈述:"我们的目标是……""我们相信有可能……",通篇没有任何一份芯片实测的能耗数字。Un-0

它不是已经被证明的结果,而是这条路线想要抵达的方向。把三笔账并在一起看,主线问题的答案已经浮出水面:复杂度没有被消灭,它从"深度"转移到了平方增长的互连,外加 GPU 数值积分和数字特征提取两笔隐藏开销。

那么下一个问题顺理成章:互连这条成本线,能不能被砍掉?

四、删掉九成互连反而更好?——稀疏为什么同时救了硬件和生成

官方续作的颠倒结果

Un-0 团队自己回答了这个问题,答案出乎意料:删掉大部分互连,生成质量不降反升。官方续作《Less is More》把耦合按两种方式剪掉:随机稀疏(训练前以概率 s 随机删除耦合)和模块化(把振子分成 Z 个模块,模块内全连接、模块间不连接,耦合参数从 N² 降到 N²/Z)。官方口径是"消除 50% 到 98.4% 的互连",按 Z=32 的模块化算,耦合只剩 3%。

结果看同一协议下的 ImageNet 64×64 对比:

变体FID
稠密基线(同协议重测)9.07
模块化 Z=167.11
随机稀疏 s=0.758.96

16 模块的模块化版本把 FID 从 9.07 拉到 7.11,改善约 1.9。注意对比基线的口径:必须是官方续作同协议重新测评的稠密值 9.07,不是 Un-0 首次公布时的 8.41,两次测评的积分器设置不同。官网 TL;DR 里还报过一个 7.15,和表格里的 7.11 同源并存,按各自出处引用即可,量级一致。Less is More

两种删法在两种等资源协议下都成立:等振子数(iso-state)时,删掉大量互连、参数更少反而更好;等参数数(iso-parameter)时,不增加参数、只用更多非全连振子也能降低 FID。稠密全连接不是这条路线的最优形态,这直接反转了第 3 章"互连是主要成本"的判断:成本最大的部分,恰恰是可以大砍特砍的部分。

三种拓扑并置看更直观:

图注:三种耦合拓扑对比:稠密全连接并非最优,删连反而更好

为什么删连接反而好:灾难性同步

官方给出的机制自述是灾难性同步:稠密的全连接拓扑容易让大规模振子陷入全局锁相,所有振子步调完全一致、相位梯度消失、梯度归零、训练停滞,整个系统坍缩成一个低维状态。这在同步理论里有现成的对应:序参量 r 趋近 1 的全局锁相态就是"多样性丧失"的极限形态,经典理论里 K→∞ 时所有振子锁到同一个平均相位。Kuramoto RMP

稀疏切断 all-to-all 耦合之后,官方判断网络通过 chimera 式的状态维持高维动力学。所谓 chimera 态,就是同一个网络里一部分振子同步、一部分失同步,两群稳定共存的一种物理现象。官方拿出的证据是结果侧的:在 CIFAR 生成实验中,FID 改善与 recall 的相关性高达 0.924,与 precision 的相关性则是 −0.114,删连接救回来的正是多样性。但这个相关性只能说明"稀疏保住多样性"与官方解释相符,不能反过来验证 chimera 机制本身是否真的在 Un-0 里发生。Less is More

这里要补一句诚实的边界:chimera 在这段论证里是物理类比,不是对 Un-0 实验的机制解释。Un-0 的稀疏是训练前固定的掩码,而 2026 年 8 月的物理学新文献证明的是另一件事:在耦合权重本身参与演化的自适应网络里,相同振子会自发组织成同步与失同步两组共存,并在同一参数区间维持多重稳定的动力学路径。Chimera

所以要把机制等级划清楚:灾难性同步和 chimera 态对 Un-0 而言都仍是公司自述的机制假说,recall 相关性不能验证它们,物理新文献也只是给"相干与不相干共存"提供了独立的坐标,同样不构成对 Un-0 内部过程的验证。

不是越稀疏越好

删连接有边界:存在临界稀疏度,超过之后信号传播被切断,输入嵌入与输出嵌入失去连接、通信直接丧失,性能反而崩掉。官方原话的定性是"连接性是控制旋钮,不是单调正则化器"。而且最优稀疏度随系统规模增大,大系统越受益于稀疏,小系统过度碎片化反而因交互太少而受损。Less is More

到这一章,主线的分界线第一次移动了:互连并不是非留不可的负担,大面积剪掉它既改善生成多样性、又放宽硬件可实现性(连接数、布线、数据移动全都在降)。局部拓扑同时是硬件约束和生成归纳偏置,真正的成败分界线已经从"振子"移到了"可编程耦合怎么实现"上。

五、振子要证明自己,得交什么答卷?——物理生成主干的验证标准与更可信的混合路线

硬件侧硬门槛:表达力缺口与缩放定律

从模型侧看,Un-0 的动力学是"自由"的,耦合矩阵想怎么学就怎么学。但斯坦福的 Wang 与 Achour(arXiv:2606.27294)从硬件侧独立论证了这条路线有一条结构性约束:现代生成模型假设动力学是软件定义的、可以任意灵活,而模拟硬件只能实现物理决定的、固定形式的微分方程(比如振子的正弦耦合),没有 MLP 那种"加深层数"的旋钮来提升近似能力。论文把这道裂缝叫作 expressivity gap(表达力缺口,白话即"软件能变的动力学自由度,物理器件给不了"),并给出两个硬件兼容的弥合机制:时变分段参数和隐藏物理状态。AIS

看这张图,就是"软件定义"与"物理决定"两种动力学的对照:

Conventional vs Analog Hardware

图注:左栏 Conventional 是常规生成模型的工作方式:用神经网络计算微分方程的向量场,再用离散时间步去模拟它;右栏 Analog Hardware 是 AIS 设想的形态:物理相互作用本身驱动连续的微分方程演化。一张图讲清了"软件定义的动力学"与"物理决定的动力学"的核心冲突。AIS

更硬的结论来自缩放定律。AIS 论文计算了面积和功耗随连接密度、权值精度的缩放:65 nm 工艺、同样芯片面积下,全连接只能放 30 个振子,最近邻拓扑能放 560 个;全连接的每图能耗估算约 2.5 mJ,稀疏配置约 23 µJ,差两个数量级。论文的结论原文很直接:"稀疏连接和低比特量化是高效模拟生成的基本要求。"AIS

注意 23 µJ 的口径,它和 Un-0 的 1000 倍声明是同一种性质的东西:这是"选择的架构"下的纸面估算,外推自别的团队的 28 nm 硅测量数据,不是本系统的芯片实测,论文脚注也承认没有建模布线带来的面积增长。它示范的不是"已被证明省电",而是"每图焦耳"这个验证维度应该怎么被量化,以及数量级标尺大概是多长。AIS

可学习的耦合在硬件上到底长什么样?AIS 给出的形态是二维稀疏网格:

AIS 架构总览

图注:AIS 的二维稀疏网格架构:可见节点(实心)与隐藏节点(点线)由可编程耦合单元相连,物理单元分振荡器(Kuramoto 动力学)与积分器(饱和非线性)两类,非对称耦合用反相器阵列实现。这张图回答的是"可编程耦合要物理实现,实现成什么样"。AIS

模型侧独立样本:能量下降即生成

振子不是"动力学即生成"的唯一实现。2026 年 8 月的 arXiv 上,另一组作者发布了 Conditional Dynamical Systems(CondDyn):4096 个连续自旋在显式 Lyapunov 能量的支配下向下弛豫,能量沿轨迹单调不增,弛豫本身就是计算;类别条件通过 energy tilting(能量倾斜)实现,改变能量景观的倾斜方向,换类别只改一小段外场,稠密的交互阵列不用重新编程。它在 CIFAR-10 上拿到 50K clean-FID 9.71。CondDyn

能量下降生成

图注:能量下降生成的概念示意:随机内部状态在显式 Lyapunov 能量的支配下向下弛豫,弛豫本身即计算;类别条件通过倾斜能量景观(energy tilting)实现,由一个类无关的解码器把弛豫得到的表示渲染成图像。CondDyn

这条证据的价值在于收敛:两个互不引用的团队、用振子相位和自旋弛豫两种不同原语,得出同一个设计判断,"弛豫到低能态本身可以以极低成本完成计算"。其中 CondDyn 明确把"换类不重编程交互阵列"当成面向硬件可编程耦合的直接设计目标(论文原话:changing the pairwise interaction array is one of the expensive operations on a physical substrate,CondDyn 论文也自认它最邻近的工作就是 Un-0);AIS 侧重的是无条件生成(MNIST/FMNIST FID 27.6/80.8),其硬件兼容机制并不围绕"换类免重编程"展开。但同样地,它的实验是数字模拟,不是器件实测。CondDyn

另外注意:CIFAR-10 的 9.71 和 Un-0 的 ImageNet FID 6.74 任务不同、口径不同,不能直接比较。这条纪律适用于所有跨论文的 FID 对照。

验证清单与更可信的混合路线

把这些拼起来,一套可以执行的验收标准自然成形:要在同等质量和召回下,端到端逐项比较每图焦耳、延迟、面积、权重写入成本、校准成本、器件漂移容限、ADC 和解码开销。把每一项放在一起,才能回答"1000 倍节能到底是不是真的"这种问题。按今天的证据水平,答案很清楚:Un-0 的 1000 倍是目标陈述,AIS 的 23 µJ 是估算,CondDyn 是数字模拟,没有任何一环有芯片实测。三者加起来示范的是验证方法本身,不是结论。

所以更可信的短期路线是混合系统:振子动力学承担生成核心,训练留在数字端(GPU 数值积分、特征空间损失),读出走数字解码器。这条路线今天已经跑通,Un-0 的 FID 6.74 就是它的成绩,真正待验证的是把动力学搬上芯片之后的那一步。

回到开头的问题:成本没有被消灭,也没有被"还回去"。它只是从层的深度,搬进了互连的宽度,再搬进物理实现的难度里。真正的竞赛不是振子对 Transformer,而是谁能把生成能力压进可制造的局部物理交互,胜负手在可编程耦合的稀疏、低比特、抗噪实现,不在振子本身。

参考文献

本专题引用的核心资料如下,建议深入学习时阅读原文:

  1. Introducing Un-0: Generating Images with Coupled Oscillators(Unconventional AI 官方发布稿与 GitHub) — https://unconv.ai/blog/introducing-un-0-generating-images-with-coupled-oscillators/
  2. Less is More: Scaling Dynamics with Sparsity(Unconventional AI 官方续作) — https://unconv.ai/blog/less-is-more-scaling-dynamics-with-sparsity/
  3. Generative Models on Analog Hardware with Dynamics(Wang & Achour) — arXiv:2606.27294
  4. Conditional Dynamical Systems for Image Generation(Sun, Liu, Geng, Huang) — arXiv:2608.14961
  5. Generative Modeling via Drifting(Deng et al.) — arXiv:2602.04770
  6. The Kuramoto model: A simple paradigm for synchronization phenomena(Acebrón et al., Rev. Mod. Phys. 77, 137, 2005) — https://doi.org/10.1103/RevModPhys.77.137
  7. Neural networks and physical systems with emergent collective computational abilities(Hopfield, PNAS 1982) — https://doi.org/10.1073/pnas.79.8.2554
  8. Recent advances in physical reservoir computing: A review(Tanaka et al., Neural Networks 115, 2019) — arXiv:1808.04962
  9. Neural Ordinary Differential Equations(Chen et al., NeurIPS 2018) — arXiv:1806.07366
  10. Self-organizing Chimera States in Adaptive Networks — arXiv:2608.20517
Un-0:振子没消灭神经网络,只是把深度变成了互连