🎯 一句话总结

将参考图像作为"原生词汇"直接嵌入文本指令的对应语义位置，解决多图像复杂交织指令下的对象绑定失效问题。

🔍 问题背景

现有方法的两个核心缺陷

1. 间接引用机制（Indirect Referencing）
   • 现有模型采用"图像前置 + 显式索引"范式，例如：[Image1][Image2][Image3] + "A robot in image 1 holds a vase from image 2..."
   • 模型需要跨越长距离依赖，将抽象索引与远端视觉特征对齐
   • 随着参考图像数量增加，模型频繁出现属性绑定失败或忽略特定图像的问题
2. 复杂交织数据稀缺（Data Scarcity）
   • 现有交织数据集规模小、序列短、图文交互简单
   • 缺乏支持复杂组合推理的长程交织样本

💡 核心贡献

🏗️ 方法详解

3.1 统一交织建模（Unified Interleaved Modeling）

核心思路：Native Interleaved Formulation

旧范式（间接引用）：
[Image1][Image2][Image3] + "A robot in image 1 holds a vase from image 2..."

INSET 新范式（原生嵌入）：
"A [Image1_tokens] robot holds a [Image2_tokens] flower vase for a [Image3_tokens] dog."

• 视觉特征被直接放置在文本的对应语义槽位
• 充分利用 Transformer 的上下文局部性（Contextual Locality），让相邻 token 自然关联
• 将图像视作"稠密、富表达力的语言 token"

模型架构

• 基于 BAGEL 的 Mixture-of-Transformer 架构
  • 理解分支：处理交织图文指令
  • 生成分支：负责图像合成