你有没有试过在黑暗的房间里找钥匙?
(相关资料图)
如果钥匙其实掉在隔壁房间,你在这个房间里找得再仔细、再用力,也不可能找到。图像超分辨率这个领域,过去这些年其实一直在犯一个类似的错误:大家拼命优化"怎么找",却没人问过一句"是不是在错的房间里找"。
这篇来自加州大学伯克利分校、阿里巴巴等机构的论文,就是在问这个问题。他们的答案很直接:过去所有的方法,都在错误的空间里做超分辨率。而换一个空间,问题会变得简单得多。
先说清楚,这件事到底难在哪
真实世界的超分辨率任务,说白了就是拿到一张又糊又糙的照片,想办法把它变清晰,还原出它本该有的样子。
这里有个概念需要先解释一下。
流形:在机器学习里,流形指的是高维空间中某一类数据自然聚集形成的"曲面"或"区域"。打个比方,所有清晰自然的照片,在某个抽象的数学空间里会聚成一片特定的区域,这片区域就叫流形,流形之外的点,对应的就不是正常照片该有的样子。
论文提出一个核心框架:清晰、自然、锐利的高清图像,它们的"数字指纹"(也就是嵌入向量)会聚集成一个流形。而一旦图像被降质,比如模糊、压缩、加噪声,它的数字指纹就会被推离这个流形。所谓的超分辨率,其实就是把这个被推离的点,重新拉回流形上,而且得拉回到一个忠于原图内容的准确位置,而不是随便找个流形上的点交差。
这就引出一个关键问题:你在哪个空间里做这件事,直接决定了这件事有多难。
论文指出,一个适合做超分辨率的空间,得满足两个条件。第一,降质后的图像,应该离流形比较近,这样拉回去的路程短、成本低。第二,这个空间得带着丰富的信息层次,从底层的像素细节到高层的语义理解都要有,这样才能指导模型往哪个方向拉才对。
而过去的方法呢?要么直接在像素空间里操作,要么用一种叫VAE的技术编码后的空间里操作。
VAE:全称变分自编码器(Variational Autoencoder),是一种常见的图像压缩编码技术,很多主流的扩散模型(比如Stable Diffusion)都用它把图像压缩成一个更小的"潜在空间"表示,再从这个表示还原回图像。
问题是,这两类空间都是面向"精确重建"设计的,它们的训练目标是尽可能保留原始像素的所有细节,包括噪声和模糊。这就导致一个麻烦:降质图像在这些空间里,离流形特别远。
如果你在这样的空间里找,会发生什么?
论文给出了两条路径的真实代价。一条是用轻量的GAN模型直接硬来,结果往往是没能完全够到流形,输出模糊,像是没找到钥匙就放弃了,凑合糊弄一把锁。另一条路是砸钱上扩散模型,靠着在海量图片上训练出来的生成先验,硬是把这条远路走通,但代价是模型动辄几十亿参数,推理一张图要几秒甚至更久,而且走得越远,越容易在半路走岔,落到流形上一个"好看但不对"的位置,这就是常说的"幻觉"问题,比如把一张模糊的人脸复原成另一个人的样子。
这篇论文的研究者们换了个思路:与其拼命优化怎么在错误的空间里走得更快更准,不如直接换个房间,找一个钥匙原本就离得近的空间。
DINOv3-L:融合的23层,构成一个更友善的空间
论文给出的答案是DINOv3-L这个视觉基础模型的网络层。
DINOv3:是Meta开发的一种自监督视觉Transformer模型,用17亿张未标注图片训练而成。它的训练方式很特别,不是去学着重建像素,而是学着让同一张图片不同增强版本之间的内部表示尽量一致。换句话说,它学的是图像的"本质含义",而不是图像的"表面像素"。
这个设计初衷和VAE完全不同。VAE的目标是"我要能把你压缩了再精确地还原出来",而DINOv3的目标是"我要理解你讲的是什么内容"。这个差异看似微妙,结果却天差地别。
研究者做了个实验,把DINOv3-L的24层网络,每一层单独拿出来,训练一个小解码器去做图像重建。结果发现,第一层的重建精度(PSNR指标)高达40.95分贝,到最后一层掉到28.09分贝。与此同时,如果用这些层的特征去做图像分类(ImageNet线性探测),准确率却是反过来的,从6.5%一路涨到83.6%。
这组数字其实在讲一件很直观的事:浅层网络保留的是像素细节,像是照相机底片;深层网络保留的是语义理解,像是"这是一只猫"这种抽象概念。整个24层网络,天然构成了一个从具体到抽象的信息阶梯。
研究者没有只用某一层,而是把第2层到第24层取平均,再加上第24层的空间平均值作为补充,组合成最终使用的潜在表示。这个操作背后有个问题要先回答:把23层信息压缩平均,会不会把重要信息都抹平了?
论文做了细致的几何分析来回答这个问题。他们发现,相距较远的层,其实携带的信息方向是相互独立的,不太会互相干扰;而相邻的层之间,信息高度冗余,彼此留了备份。这就好比一个团队开会记笔记,有人专门记细节,有人专门记结论,大家分工明确不会互相覆盖,而且相邻的两个人记的内容还高度重叠,就算丢了一份笔记,隔壁那份也能补上大半。正因如此,取平均这个操作,损失的信息其实比想象中少得多。
论文还做了个验证实验,用线性回归从融合后的向量去反推每一层原始信息,结果大多数层的还原能力(R?指标)都在0.8以上,浅层甚至接近0.9。这说明平均操作虽然压缩了信息,但并没有把关键内容真的丢掉。
这里可以做一个类比来理解这个设计选择的必要性。想象你要给一个陌生人描述一座城市,如果只给他一张卫星图,他知道城市的轮廓和布局,但看不清街道上发生了什么;如果只给他一张街景照片,他能看清细节,却不知道这条街在整座城市的什么位置。DINOv3的融合层做的事情,相当于同时给了卫星图和街景图,让模型既知道"这是什么",又知道"长什么样"。如果不这样融合,只用深层语义,模型可能会凭空捏造出不存在的细节;只用浅层像素,模型又会完全读不懂该修复成什么内容,只能生硬地填补噪声。
论文还直接可视化验证了这个设计的效果。他们把降质图片和清晰图片的向量在DINOv3融合空间里连一条直线,沿途每隔一段距离解码出一张图看看效果,对比SD3的VAE潜在空间做同样的实验。结果非常直观:在DINOv3空间里,图像很早就变得自然清晰,而在VAE空间里,要走到路径的后半段,图像才开始像样。
RAESR:一次解码搞定的修复模型
既然找对了房间,钥匙就在眼前,那接下来要做的,就是训练一个解码器,把降质图像的向量精确地映射回流形上那个忠实原图的点,再解码成最终的高清图片。
论文基于这个思路构建的模型叫RAESR,全称可以理解为在这个合适的表示空间里做超分辨率的修复器。它的核心结构是一个4.15亿参数的解码器,整个过程只需要一次前向传播,没有扩散模型那种几十步的迭代采样。
具体流程是这样的:先把低清图像用双三次插值放大到目标尺寸,送进冻结不训练的DINOv3-L编码器拿到融合向量,再交给训练过的解码器,一次性输出高清图像。解码器内部是28层Transformer结构,加上2D旋转位置编码,最后把每个token预测出16×16×3个像素再拼接还原成完整图片。
训练目标上,论文用了三种损失函数的组合:L1像素损失保证基本的忠实度,LPIPS感知损失兼顾视觉相似性,再加上一个对抗损失来处理那些被降质彻底摧毁、无法单靠回归恢复的细节。这里有个细节值得展开说。
单纯靠回归类损失(L1、LPIPS)有个先天缺陷:当某个区域的细节被降质完全摧毁时,正确答案其实不止一个,可能是任何一种合理的纹理。而回归损失会把这些可能性求平均,平均的结果必然是模糊的。这就像让一百个人画同一张被遮住的脸,每个人画的五官细节都不完全一样,把这一百张画叠在一起求平均,出来的必然是一张五官模糊的脸,谁都不像。
对抗损失解决的就是这个问题,它不要求你精确复原某个"标准答案",只要求你生成的纹理看起来是真实的,这样就能避免模糊化的平均效应,把向量真正推到流形上。
论文设计的判别器也很有意思,他们没有用一个笼统的"真假分类器",而是让降质图和真图都经过一个冻结的DINOv3-B网络,这个网络同样有12层,每一层单独配一个可训练的卷积头,分别去判断"这个区域在这个信息层次上够不够真实",而且是按位置逐一比对,不是笼统给整张图打一个分。
这个设计解决了什么问题?如果判别器只看整体,一张图里有一小块瑕疵很容易被其他正常区域平均掉,判别器察觉不到。而逐位置、逐层级地审查,相当于请了12位不同专长的质检员,每人盯着图像的一个信息维度逐格检查,哪怕只有一小块区域不自然,也躲不过某一层的眼睛。
效果到底怎么样
论文在RealSR、DRealSR、LSDIR、DIV2K-Val四个基准数据集上,和12种已发表的方法做了对比,涵盖对抗式修复器、从零训练的扩散模型、基于文生图基座的扩散模型三大类。
结果上,RAESR在NIQE、DISTS、MANIQA三项感知质量指标上拿到最好成绩,在LPIPS、MUSIQ、TOPIQ三项上排第二。更关键的是效率,它只需要719M推理参数,单张H20显卡上处理一张512×512图片只要37.2毫秒。
对比之下,SUPIR这类大型扩散模型需要181亿参数、19秒一张图,差距是500多倍的速度。最接近的竞争对手TSD-SR,体积是RAESR的3.1倍,速度慢2.8倍。
论文还做了真人评测,100张图片,请参与者在看到原图和真实高清图的前提下,对比RAESR和其他方法的修复结果。RAESR对阵Real-HAT-GAN胜率86.2%,对阵DiffBIR胜率70.7%,对阵SUPIR胜率57.7%,对阵TSD-SR也有52.6%的微弱优势。人类的眼睛,站在了RAESR这边。
换成VAE会怎样,论文自己做了对照实验
光说DINOv3空间好用还不够,万一效果其实是那个4.15亿参数的解码器本身很强,和用什么编码空间没太大关系呢?论文专门设计了一个对照实验来排除这个可能性。
他们保持解码器结构、训练流程、超参数完全不变,只把冻结的DINOv3-L换成冻结的SD3 VAE,重新走一遍三阶段训练。结果VAE版本在全部九项指标上都输给了DINOv3版本,尤其是LPIPS,从0.3012掉到0.3734,DISTS从0.1971掉到0.2495,差距相当明显。
论文还展示了具体案例,用VAE做substrate的模型,在重度降质的区域要么画得自信但错误,比如把一辆拖拉机画成一片池塘,要么干脆生成不出自然清晰的图像,这正好印证了前面的理论:VAE空间里降质图离流形太远,又缺乏语义层面的直接指引,模型很容易在远距离跋涉中迷失方向。
这个实验挺有说服力的,因为它排除了"可能只是解码器设计得好"这种解释,把功劳明确归到了substrate这个选择本身。
研究者还做了一个更细致的拆解实验,验证解码器是否真的依赖了这个信息阶梯的每一层。他们用训练集的平均值去替换融合向量里的浅层8层或深层8层,观察模型表现的变化。结果显示,抹掉浅层后,保真度指标(PSNR、SSIM、LPIPS)崩得很惨,相对下降超过70%,而感知质量指标变化不大;抹掉深层后,情况反过来,保真度几乎没受影响,感知质量指标明显下滑。这说明浅层确实承担了"记住原图长什么样"的职责,深层承担了"判断该怎么合理补全"的职责,两者缺一不可。
论文里展示的一张示例图很能说明问题:去掉浅层信息后,输出图像的色彩和对比度发生明显偏移,船只的结构也是凭空生成,和原图对不上;去掉深层语义后,解码器不知道该合成什么内容,只能选择最安全的做法,生成一种笼统泛化的纹理,缺乏具体感。
这个发现背后其实有更深一层的含义。它说明一个真正好用的表示空间,不是"信息越多越好",而是"信息的层次结构越完整越好"。就像修一辆车,光有零件清单不够,还得知道哪个零件装在哪个位置,顺序错了照样修不好。
这篇论文三年前几篇相关工作,也值得提一提
这篇论文并不是凭空冒出来的,它站在了几条已有研究路线的交汇点上。
一条是对抗式修复器路线,像Real-ESRGAN和BSRGAN,它们直接在像素空间里一步到位地做映射,速度快但效果糊,论文认为这正是因为它们在错误的空间里,连流形都够不到。
另一条是扩散先验路线,StableSR、DiffBIR、SeeSR、SUPIR等等,靠借用预训练好的文生图大模型的生成能力,硬是把这条远路走通,但要付出几十步采样、数十亿参数的代价。这条路上后来也出现了一步蒸馏的改进,比如OSEDiff、TSD-SR,试图把采样步数压缩到一步,但骨干网络依然沉重。
还有一些工作试图在不换空间的前提下缓解问题,比如FaithDiff通过微调VAE编码器去缩小降质图和清晰图之间的距离,SeeSR给模型额外喂入文字标签做语义指引,VOSR和F2IDiff则引入DINOv2的特征作为生成的条件。这些都是在"同一个房间里想办法把灯打得更亮",而RAESR选择的是直接换房间。
最直接的技术源头,是2026年发表的RAE和RAEv2这两篇论文,它们证明了用一个冻结的自监督编码器搭配一个训练过的解码器,可以替代VAE用于扩散模型的生成任务,而且RAEv2正是提出了多层融合这个具体做法。不过那两篇论文研究的是"生成"和"干净图像的重建",RAESR则是第一次把这套substrate搬到"修复"这个任务上,并且验证了它在降质场景下依然成立,甚至表现得更突出。
RAESR目前也有自己的局限
论文自己也坦承了两点局限。
第一,RAESR是一次性解码完成的,没有像扩散模型那样可以通过增加采样步数来换取更高质量的机制,遇到特别难修的图,它没法多花点力气。
第二,整篇论文的结论建立在DINOv3这一个编码器家族上,虽然和SD3 VAE做了对照,但其他类型的视觉基础模型会不会同样适用,论文没有验证,留了个开放问题。
写在后面
读完这篇论文,有一个点让我反复琢磨:它的贡献其实不在于发明了什么复杂的新算法,解码器本身是一个相当标准的Transformer,损失函数也是L1、LPIPS、对抗损失这套老配方。真正的贡献是一个几乎朴素到让人意外的判断:问题出在空间选错了,不是模型不够强。
这让我想起很多工程领域里反复出现的现象:大家都在拼命优化一个局部环节,却没人回头质疑最初的那个前提假设是不是就有问题。超分辨率这个领域过去几年一直在比谁的扩散模型更大、谁的采样步数压得更少,但RAESR这篇论文提醒大家,换个角度想,也许根本不需要那么复杂。
还有一个细节我觉得特别值得单独拎出来说:论文里那个"把降质图插值到另一张完全不相关图片的清晰向量"的对照实验。结果发现,两种编码空间都能把这条路径解码成一张完全自然的图,NIQE和MUSIQ指标都很漂亮,但LPIPS(和真实图的相似度)却始终高得离谱。这说明"看起来自然"和"内容是对的"根本是两回事,一个修复模型完全可能走到流形上一个漂亮但错误的位置,这正是幻觉问题的几何本质。这个实验设计得挺巧妙,它把一个经常被含糊其辞的概念,用一张图清清楚楚地画了出来。
如果降质图像离流形的远近,决定了修复这件事有多难,那接下来一个自然的问题是:对于那些降质极其严重、几乎看不出原貌的图像,是不是存在某个理论上的下限,无论选多好的空间,都没法把它拉回正确的位置?
Q&A
Q1:RAESR是什么?
A:RAESR是一种真实世界图像超分辨率修复模型,核心思路是在冻结的DINOv3-L视觉基础模型的融合层空间里做修复映射,用4.15亿参数的解码器一次前向传播完成修复,在多个基准数据集上取得了业界领先的保真度和感知质量平衡,且推理速度远快于主流扩散模型方法。
Q2:RAESR为什么比扩散模型快很多还效果更好?
A:因为它选择在DINOv3-L这个经过自监督训练、天然携带语义信息的空间里做修复,降质图像在这个空间里离"清晰图像流形"很近,映射路径短,不需要像扩散模型那样几十步迭代采样,一次解码就能完成,速度能快出几十到几百倍。
Q3:RAESR和普通的VAE超分辨率方法有什么本质区别?
A:VAE空间是面向精确像素重建设计的,降质图像在里面离清晰图像很远,缺乏语义指引,容易产生幻觉或模糊。论文做了对照实验,把DINOv3换成SD3 VAE后,模型在九项指标上全部变差,证明效果提升来自于选对了编码空间,而不只是解码器设计得好。







