摘要

本文介绍了一种名为DenseFusion-1M的新型数据集，该数据集通过整合视觉专家的见解和采用低成本但高效的标题引擎，为图像生成全面且准确的描述。DenseFusion-1M数据集包含100万张高代表性的未筛选LAION数据集图像，通过Perceptual Fusion技术生成密集描述。实验验证表明，该数据集显著提升了现有MLLMs在多种视觉语言基准测试中的感知和认知能力，特别是在高分辨率图像输入方面。

原理

DenseFusion-1M的工作原理基于Perceptual Fusion技术，该技术通过集成多样化的视觉专家作为图像先验，并采用一个高效的MLLM作为中心枢纽来模拟高级MLLMs的感知能力。具体来说，视觉专家包括图像标签、对象检测、文本识别等模型，它们提供详细的视觉元素信息。这些信息被输入到一个低成本的MLLM中，该模型通过学习如何整合这些信息来生成详细的图像描述。

流程

DenseFusion-1M的工作流程首先是从LAION数据集中筛选出高分辨率的图像，然后通过视觉专家模型提取图像的详细信息，如对象位置、文本内容等。这些信息随后被输入到MLLM中，通过特定的提示工程（prompt engineering）来指导模型生成详细的图像描述。整个流程确保了图像描述的准确性和全面性。

应用

DenseFusion-1M数据集的应用前景广泛，特别是在提升多模态大型语言模型（MLLMs）的视觉感知能力方面。该数据集可以用于训练和改进MLLMs在视觉问答、图像理解、文本条件图像生成等任务中的表现。此外，由于其高分辨率和详细描述的特点，DenseFusion-1M也有潜力应用于图像编辑和生成等高级视觉任务。