UniMedVL: Unifying Medical Multimodal Understanding and Generation through Observation-Knowledge-Analysis

临床诊断需要能够处理多模态医学输入（图像、病史、实验室结果）并生成多样化输出（文本报告和视觉内容如标注、分割掩码和图像）的模型。然而，现有医学AI系统割裂了这一统一过程：医学图像理解模型能解释图像但无法生成视觉输出，而医学图像生成模型能合成图像但无法提供文本解释。这导致了数据表示、特征集成和任务级多模态能力的缺失。

为此，我们提出了一个多层次框架，通过观察-知识-分析（OKA）范式模拟临床诊断流程。具体来说：在观察层面，我们构建了包含超过560万样本的UniMed-5M数据集，将多样化的单模态数据重新格式化为多模态配对数据；在知识层面，我们提出了渐进式课程学习，系统性地引入医学多模态知识；在分析层面，我们推出了UniMedVL——基于OKA范式设计的医学统一多模态模型，在单一架构内全面实现图像理解与生成任务的综合分析。

UniMedVL在5个医学图像理解基准上取得卓越性能，同时在8种医学成像模态的生成质量上媲美专用模型。更重要的是，我们的统一架构实现了双向知识共享——生成任务增强了视觉理解特征，证明了在单一医学框架内整合传统上分离的能力能够解锁跨多样化临床场景的改进。