PriorGS:单曝光 HDR 新视角合成,精度上限由 2D 单图模型定

速览

一、同样一张 LDR 图,新视角能复现准,HDR 辐照度却错得远

PriorGS 解决的是一个很具体的任务:同一个场景拍下十几张普通曝光的 8 位照片,每个视角只有一档曝光,要重建出可以自由换视角的 HDR 场景,并且能在训练时没见过的曝光下渲染。论文报告,在 HDR-NeRF 真实场景上,重曝光 LDR 的 PSNR 是 24.31 dB,而同一套协议下重新训练、在这一列最强的基线 GaussHDR 是 16.28 dB。差距接近 8 dB,这是论文最主要的定量结果。PriorGS

这件事值得关心,因为单曝光意味着不需要三脚架加曝光包围。手机随手拍的一段多视角视频,理论上就能变成可换视角、可调曝光的 HDR 资产。此前的方法要么靠多档曝光把问题变简单,要么在单曝光下只能把 LDR 新视角做准,HDR 辐照度明显偏离。

问题出在成像链。场景辐照度先乘曝光时间,再经过相机响应曲线(CRF)映射,最后被裁剪到 8 位并量化,才成为一张 LDR 图。CRF 属于采集端,色调映射属于显示端,μ-law 压缩属于评估域,三者不是一回事。一张 LDR 图只保留了这条链上的一段:亮部被截断,暗部被噪声和量化吃掉,中间那段还经过一条未知的非线性曲线。HDR-NeRF

用数学的话说,一张 LDR 图对 HDR 辐照度的约束是一个方程解多个未知数,解集是一条流形,不是一个点。同一张图可以对应无穷多种 HDR 解释,它们在中间调看起来一样,在高光和暗部差得很远。这不是网络容量不够,而是信息在采集端就已经丢了。

单曝光方法还要面对两个具体的漏点。第一,有一类做法是先用一个二维单图 HDR 重建模型,对每个训练视角独立生成一张伪 HDR 图当监督目标。这个目标本身带噪声,而且逐视角生成,视角之间在色调和亮度上就对不齐。IntrinsicHDR 第二,CRF 只在当前曝光下像素值出现过的区间里被监督,超出这个区间没有任何约束。论文的失败对照很能说明问题:同样的输入,LDR 新视角可以复现得很准,HDR 辐照度却明显偏色偏亮。前者被输入图直接钉住,后者只有一层不可靠的代理监督。

HDR-NeRF 把这条成像链写成了两个模块,可以看清 LDR 像素是辐照度被压缩后的结果。

图注:上半部分是物理成像过程,场景辐照度经相机响应曲线落到 LDR 图像;下半部分把它写成两个模块,辐射场输出辐照度与密度,辐照度乘曝光时间后经 tone mapper 得到颜色。图中出现曝光时间,但 HDR-NeRF 本身是多曝光方法,不能据此认为单曝光也够用。

下半部分那个 tone mapper 就是 CRF 的神经网络版本,也是单曝光方法最难约束的一环。

二、Base-Gain 表示:让不可靠的 HDR 监督主要走增益场

PriorGS 的第一个补丁在表示层。它不让 HDR 监督直接去写每个高斯的颜色,而是把颜色拆成一层可靠的 LDR base 和一层三维 log-gain,让 HDR 监督主要通过增益起作用。这样底图外观和几何被真实 LDR 观测锚住,伪 HDR 目标的跨视角不一致更可能被增益场吸收,较少扭曲场景结构与底图外观。

整条管线可以先用一张图建立位置感。

图注:左侧输入的多视角 LDR 分两路,上路经二维单曝光 HDR 重建得到伪 HDR 目标;中间的三维场景拆成 LDR base 与 gain field,两者共享几何;渲染后分别得到 LDR 视图与 HDR 视图,HDR 视图再经先验约束的 CRF 重曝光回 LDR。三条红色虚线对应三项损失。

左侧那路伪 HDR 目标是外部二维模型逐视角生成的,这也正是下一段要处理的麻烦来源。

每个高斯仍然有位置、协方差和不透明度,但颜色属性有两组:一组球谐系数编码 LDR base 颜色,另一组编码 log-gain。几何只有一套,渲染两次。用 base 颜色渲染得到 LDR 视图,用抬升后的颜色渲染得到 HDR 视图。三项损失分别盯着三个出口:base 视图对输入 LDR,HDR 视图对伪 HDR 目标,重曝光视图再对同一张输入 LDR。

先看现象。

图注:上排是同一场景两个训练视角各自生成的伪 HDR 目标,放大窗显示两者在色调与亮度上并不一致;下排是同一测试视角的对比,base-gain 编码的结果更协调,直接 HDR 编码出现明显的色彩与几何劣化。

上排的不一致不是生成误差,而是逐视角独立推断的必然结果,下排说明直接把它编进高斯颜色会付出什么代价。

抬升公式是:

$$h=(l+\delta)\odot 2^{g}-\delta,\qquad \delta=1/64$$

其中 $l$ 是 base 颜色经逆 gamma 得到的线性光值,$g$ 是 log-gain。举个具体数:$l=0.05$、$g=2$ 时,$h$ 约等于 0.247,等于把这一点的亮度放大了约 4 倍。$\delta$ 的作用在近黑处才显出来。如果 $l=0$、$\delta=0$,那么无论 $g$ 取多少,$h$ 都是 0,增益在这里既没有效果也没有梯度。加上 1/64 的偏置后,$h=\delta(2^g-1)$,增益仍然能把近黑像素抬起来。

讲解:增益抬亮度,近黑处为何要偏置

这套分工为什么能吸收不一致?LDR 损失把 base 外观和共享几何钉在真实观测上,HDR 损失能改动的自由容量主要落在增益场里。伪 HDR 目标偏一点,更可能被增益场吸收,较少动到底图的结构与几何。论文的措辞是提升鲁棒性,不是消除不一致。

base-gain 也不是这篇论文凭空发明的。二维侧早就有 LDR 底图加增益图的编码方式:Gain-MLP 用 $(SDR+\epsilon)\times 2^{gain}-\epsilon$ 表示 HDR,Ultra HDR 规范用 $(SDR+offset)\times 2^{\text{logBoost}\cdot w}-offset$ 解码,offset 的默认值正好是 0.015625,也就是 1/64。Gain-MLP Ultra HDR 差别在于二维的逐像素增益图在这里变成了视角相关的三维场。1/64 的数值吻合是结构与目的上的呼应,不能写成论文照搬了规范默认值;而且二维格式根本不处理跨视角一致性,那部分论证仍然属于 PriorGS。

三、先验约束的响应曲线,加一条重曝光回路

第二个补丁在建模层。PriorGS 不学一条自由的 LDR 到 HDR 映射,而是学一条形状被先验钉死的响应曲线,再用一条重曝光回路把 HDR 拉回输入照片。

单曝光下,CRF 只在输入像素值出现过的区间里被监督。论文把边界标在所有输入 LDR 视图像素强度的 99.5 百分位。区间内,自由 MLP 也能拟合得很好;区间外,RGB 三条响应开始发散,蓝色通道提前饱和,甚至局部违反单调。固定 gamma 2.2 更差。消融里,固定 gamma 的 PSNR 掉到 14.87,把 CRF 换成三维或二维 MLP 分别是 23.26 和 23.53,完整方法是 24.31。这些是端到端指标,真正说明机理的是响应曲线本身。

曲线写成两段:

$$f_\theta(E)=t_\phi(\eta_\psi(E)),\qquad t_\phi(x)=(1+\sigma)\frac{x^n}{x^n+\sigma},\qquad \eta_\psi(E)=\mathrm{sigmoid}(a\ln(E+\epsilon)+b)$$

四个参数逐场景学习,RGB 三个通道共享同一条曲线,$\sigma$、$n$、$a$ 用指数重参数化保持为正,$b$ 不约束。单调性由构造保证:$\eta$ 是 sigmoid,严格递增;$t$ 在正参数下也严格递增;两个严格递增函数复合仍然严格递增。论文附录给了这条证明,并声明撰写时使用了生成式 AI 协助、经作者审阅。

$t$ 这个形式不是新东西。Eilertsen 等人在 2017 年就把同一个两参数形式拟合到 DoRF 数据库 201 条真实相机响应曲线的均值上,得到 $n=0.9$、$\sigma=0.6$。Eilertsen 2017 区别在用法:当年它是一个固定先验,用来做数据增广;这里四个参数逐场景学。$\eta$ 的作用是把任意非负辐照度压进 0 到 1,正好对上 $t$ 原本的定义域,而且它本身单调,所以复合后仍然单调。

这条先验的形状来自真实相机响应库,不是随手挑的一条曲线。

图注:左图是一族真实相机响应曲线、它们的均值曲线,以及几乎与均值重合的拟合 sigmoid;右图是以拟合参数为中心的正态分布模拟出的曲线族,不是实测曲线。图中读不出曲线条数与拟合参数。

锚论文把同一个形式从固定先验改成逐场景可学习的四个参数,这是它和 2017 年用法的关键差别。

重曝光把闭环接上:

$$\widehat L_R=f_\theta(\Delta t,\widehat H)$$

测试时只要改 $\Delta t$,就能渲染任意曝光。训练时,HDR 视图乘上输入曝光、过同一条曲线,必须回到那张输入 LDR。总损失是 base 项、HDR 项和重曝光项之和,后两项权重都是 0.5,HDR 项在 μ-law 压缩域里比较。重曝光项就是那条皮带:曲线在没被监督的区间里怎么走,最终要由拍回去像不像原图来回答。

讲解:没被监督的曲线,靠重曝光拉回来

两条对照路线各有一个结构性缺陷。Mono-HDR-3D 的 LDR 到 HDR 转换器是一张逐通道的自由 MLP,没有单调约束,也没有形状约束,输入里没有曝光时间,所以它只能拟合见过的曝光。Mono-HDR-3D SeHDR 从 DoRF 里按启发式挑一条曲线,选定后在整段训练里冻结,曲线形状不由当前场景的数据调整。SeHDR 一个太自由,一个太死,PriorGS 选的是中间那条:形状有先验,参数可学习。

四、同一套评估口径下,第一列比 GaussHDR 高约 8 dB

PriorGS 在四个评估列上都领先,第一列比最强的 GaussHDR 高 8 dB;但这些数字只在作者自定的无 HDR 真值单曝光协议下成立,不证明普适最优。

先讲口径。HDR-NeRF 有 4 个真实场景和 8 个合成场景,真实场景没有 HDR 真值,合成场景有;HDR-Plenoxels 的 4 个场景也都没有 HDR 真值。HDR-Plenoxels HDR-NeRF 的每个视角有 5 档曝光,HDR-Plenoxels 的 coffee 和 character 只有 3 档;每个场景只在一档上训练,在其余档位上评估重曝光 LDR 和 HDR,并对每档训练曝光各跑一次取平均。真值只用于评估,不参与任何方法的训练。所有基线都在同一套单曝光协议下重训。

算 HDR 指标前,先做逐场景的亮度校正,用该场景第一个索引视角求权重,再复用到所有评估视角;这是 PriorGS 在三维设定下的适配。校正之后再在 μ 取 5000 的 μ-law 压缩域里算 PSNR、SSIM 和 LPIPS。HDR-GS 亮度校正本身是单曝光 HDR 评估的常规操作,Cao 等人报告补偿后 Q_DISTS 的 SRCC 从 0.708 升到 0.869,说明不校正时指标会被全局尺度误差主导。Cao et al. 2024

四条基线里,多曝光路线改造过来的 GaussHDR 在三个列上最强,只有合成 LDR 一列被 SeHDR 反超。GaussHDR

方法HDR-NeRF 真实 LDRHDR-Plenoxels 真实 LDRHDR-NeRF 合成 HDRHDR-NeRF 合成 LDR
HDR-GS11.104.7026.1110.86
GaussHDR16.2817.7326.9611.99
Mono-HDR-GS11.439.7916.7112.44
SeHDR13.7514.2115.1415.76
PriorGS24.3123.0031.2222.96

表里是 PSNR,单位 dB,越高越好。

第一列 24.31 对 16.28,差距 8 dB,这就是标题那句话的来源。第二列 23.00 对 17.73,差距 5.3 dB。合成 HDR 那一列只领先 4.3 dB,合成 LDR 一列对最强的 SeHDR 领先 7.2 dB。四个格子的差距并不均匀,说明收益依赖场景和指标口径,不能概括成某个维度全面占优。论文附录另有一个观察:真实场景对二维先验的选择更敏感,换一个先验,HDR-Plenoxels 的 PSNR 会在 16.94 到 23.00 之间变动。这提示 base-gain 的收益与伪 HDR 目标的质量有关,但具体到每个场景仍要逐格读。

消融说明每个机制补了哪个洞。去掉 LDR 到 HDR 先验,PSNR 掉到 18.39,是去先验与去闭环两项里降幅最大的一处,说明外部先验是主要的信息来源。去掉重曝光闭环,掉到 23.52,降幅不大,但没有它,曲线在未监督区间的行为就失去约束。把 base-gain 换成直接编码,第一个真实数据集还有 22.71,第二个掉到 15.05,表示层的收益在第二个真实数据集上才充分显出来。把 CRF 换成固定 gamma 2.2,掉到 14.87。

反例也必须写出来。把增益场换成 MLP 的两个变体,在第一个真实数据集的 PSNR 上是 24.44 和 24.28,都略高于完整方法的 24.31。作者的解释是这两个变体在困难暗区丢高频纹理,而且无法做三维 HDR 编辑。换二维先验的 Table 3 里也有反超:GMNet 在合成 HDR 上是 31.77,高于主选 IntrinsicHDR 的 31.22;ExpandNet 在合成 LDR 上是 24.06,高于 22.96。所以 base-gain 在所有格子上都赢的说法不成立,它赢的是整体,不是每一格。

定量表之外,论文还给了一组定性对照,可以看到差距主要落在暗部和高光。

图注:上下两块分别是合成场景与真实场景,列依次是输入 LDR、四条基线和 PriorGS,上半块还有 HDR 真值;行对应低、中、高三档曝光。Mono-HDR-GS 一列有大面积偏色,PriorGS 一列的亮暗部细节更接近真值。

这张图只做了固定色调映射,跳过了亮度校正和 μ-law 压缩,所以只能看趋势,不能拿它核对任何数字。

五、它没有消除病态性,只是把上限交给了二维先验

PriorGS 没有让单曝光 HDR 反解变成唯一解。它做的是把病态性从三维表示里挪走,转移到对外部二维先验的依赖上。

第一条硬边界是先验质量。饱和区的信息在采集端就已经被物理丢弃,二维先验的反照率分支本质上是在按场景上下文补全,不是测量;shading 分支也只能从几何和光照线索推断。两个分支分别估计再合成,本身会产生小伪影,需要 refinement 网络缓解,原文只说 reduced,没有说消除。IntrinsicHDR 三维侧拿到的监督目标就带着这些噪声,HDR 恢复因此被上游的质量卡住。Table 3 的换先验实验把这条边界量化了:同一个 PriorGS,换一个二维先验,真实场景的 PSNR 可以从 23.00 掉到 16.94。

第二条是软约束。附录明确写,base-gain 只是一个 soft inductive bias,它 discourages 但不 strictly prevents HDR 监督去更新底图外观和几何。严重的不一致仍然可能被编码成假的视角相关外观,降低场景真实感。作者也主动交代了两个反事实:他们允许 HDR 监督更新共享几何,因为伪 HDR 目标里可能有 LDR 监督恢复不出的纹理;他们试过在 base 颜色上加 stop gradient,HDR 质量没有提升,所以选了更简单的设计。PriorGS

作者给出的两个未来方向都指向不要再只靠二维先验。一个是用邻域视角的线索直接在三维里推断辐照度,让跨视角一致性在三维侧生成,而不是事后吸收;另一个是用不确定性学习给不一致的监督降权。两条都还没有在这篇论文里实现。

需要标明的未确认项有三条。论文是 arXiv v1 预印本,venue 未确认;代码只声明发表后开源,截至检索日没有仓库链接;真实场景没有 HDR 真值,所以不存在与真实辐照度的绝对偏差这类结论。截至 2026 年 11 月的同主题检索没有发现更新的工作,但这只是本次检索窗口的结论。

一句话判断:PriorGS 把单曝光 HDR 新视角能不能做推进到了能做出可用结果,但它没有让问题变成唯一解,只是把病态性换成了对外部二维先验的依赖。想再往上走,得从数据或三维侧的生成先验入手,而不是继续在 3DGS 的颜色属性上做文章。

想深入可以读原文:Prior-Guided Single-Exposure HDR Novel View Synthesis via Base-Gain Representation,arXiv:2610.41011

参考文献

  • PriorGS:Prior-Guided Single-Exposure HDR Novel View Synthesis via Base-Gain Representation,arXiv:2610.41011。
  • HDR-NeRF:HDR-NeRF: High Dynamic Range Neural Radiance Fields,CVPR 2022。
  • IntrinsicHDR:Intrinsic Single-Image HDR Reconstruction,ECCV 2024。
  • Eilertsen 2017:HDR image reconstruction from a single exposure using deep CNNs,ACM TOG 36(6), 2017。
  • Gain-MLP:Gain-MLP: Improving HDR Gain Map Encoding via a Lightweight MLP,ICCV 2025。
  • Ultra HDR:Ultra HDR Image Format v1.1,Android Developers,访问日期 2026-11-02。
  • Mono-HDR-3D:High Dynamic Range Novel View Synthesis with Single Exposure,ICML 2025。
  • SeHDR:SeHDR: Single-Exposure HDR Novel View Synthesis via 3D Gaussian Bracketing,ICCV 2025。
  • HDR-Plenoxels:HDR-Plenoxels: Self-Calibrating High Dynamic Range Radiance Fields,ECCV 2022。
  • Cao et al. 2024:Perceptual Assessment and Optimization of HDR Image Rendering,CVPR 2024。
  • HDR-GS:HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting,NeurIPS 2024。
  • GaussHDR:GaussHDR: High Dynamic Range Gaussian Splatting via Learning Unified 3D and 2D Local Tone Mapping,CVPR 2025。
PriorGS:单曝光 HDR 新视角合成,精度上限由 2D 单图模型定