🧠 核心思想

一句话概括：把 Stable Diffusion 这个"懂图像的大模型"微调成深度估计器，用它积累的海量视觉先验来实现跨域零样本泛化。

传统单目深度估计模型的泛化能力受限于训练数据分布。本文的直觉是：既然现代扩散模型（如 Stable Diffusion）已在互联网规模图像上训练，具备丰富的视觉世界理解能力，那么将其迁移为深度估计器（affine-invariant monocular depth estimation），应该能继承这种泛化能力。

🔍 背景与问题

• 单目深度估计是几何不适定问题，需要强大的场景理解先验
• 传统方法从 CNN → Vision Transformer，靠堆数据和模型容量提升性能
• 零样本泛化到新域（如从室内到室外、到野外照片）仍是挑战
• 估计的是仿射不变深度（affine-invariant depth）：深度值只精确到全局尺度和偏移，适用于真实野外场景

🏗️ 方法：Marigold

整体框架

将深度估计建模为条件去噪扩散生成任务：给定 RGB 图像 x，学习条件分布 D(d|x)，即在图像条件下生成深度图 d。

网络架构

• 基座：Stable Diffusion v2（在 LAION-5B 上预训练）
• 冻结 VAE：同时对 RGB 图像和深度图进行潜空间编码
• 微调 U-Net：
  • 将图像潜码 z(x) 与深度潜码 z(d) 在特征维度拼接，作为 U-Net 输入
  • 输入层通道数加倍，权重初始化为原始权重复制后除以 2，保持激活幅度稳定
• 深度图以单通道输入，复制为三通道模拟 RGB 送入 VAE

微调协议