TITAN，一种为组织病理学通用切片表征学习设计的多模态全切片视觉-语言模型

2025年12月2日

一个名为“基于Transformer的病理图像与文本对齐网络”的多模态全切片病理基础模型，能够为各种下游任务生成强大的通用切片表征，甚至无需针对特定任务进行微调。从癌症分型到分子分类，TITAN的表现持续超越其他先进的切片编码器。这种优势在数据受限的场景中得以保持，例如罕见疾病分类和组织学切片检索，这凸显了TITAN表征的高质量。

图片来源：ESMO

根据美国马萨诸塞州波士顿麻省总医院布莱根卫生系统、哈佛医学院病理科的LongPhiLe博士、Faisal Mahmood博士及其同事的报告，对经过视觉预训练的TITAN进行进一步对齐，使其具备了多模态能力，例如零样本诊断、切片-报告检索和病理报告生成。他们于2025年11月5日在《自然·医学》上报告了其切片基础模型的通用能力。

作者在背景介绍中写道，基础模型正在变革计算病理学，它加速了从数字化组织切片中进行诊断、预后和生物标志物预测的人工智能工具的开发。这些模型通过对数百万组织学图像块（或感兴趣区域）进行自监督学习来开发，能够捕获组织学图像块嵌入中的形态学模式，例如组织结构和细胞结构。这些表征可作为从全切片图像预测临床终点（如诊断或生物标志物状态）的模型的“基础”。

然而，由于十亿像素级全切片图像的巨大规模，加上真实世界证据中患者队列规模较小，尤其是在训练数据有限的罕见疾病中，将当前基于图像块的基础模型的能力转化为解决患者和切片层面的临床挑战仍然很复杂。同样，给定一张具有诊断挑战性的全切片图像，通过切片搜索检索相似的图像，或通过跨模态报告搜索检索病理报告，通常需要专门的算法来弥合细粒度图像块嵌入与切片级信息之间的差距，这给临床采用带来了障碍。

为了克服这些限制，近期提出了新型基础模型，用于将整个全切片图像编码为切片级的通用特征表征。这些全切片表征模型无需从头开始在图像块嵌入之上训练额外模型，而是可以通过预训练从大规模全切片图像集合中提炼病理特异性知识，并通过其开箱即用的应用简化临床终点预测。随之而来的突出挑战是开发能够基于一组图像块嵌入忠实编码组织微环境，同时又能处理任意大尺寸全切片图像的全切片基础模型。

尽管相关探索相对不足，但切片级的自监督学习可以通过纯视觉预训练（例如通过掩码图像重建或切片内对比学习）进行，也可以以涉及病理报告、批量转录组学或免疫组化的多模态方式进行。此外，可以忽略长程上下文建模（本质上将全切片图像视为一袋独立特征），也可以使用Transformer进行显式建模。随着通用切片表征学习的努力日益加强，将成功的图像块级方案应用于整个全切片图像将产生强大的通用切片表征。

尽管具有广泛的应用潜力，但先前关于预训练切片基础模型的工作存在一些不足。这些模型主要使用纯视觉建模进行预训练，这不仅忽视了病理报告中丰富的监督信号，而且排除了零样本视觉-语言理解和跨模态检索等多模态能力，而这是基础模型的一个基本特征。

当前的图像块基础模型使用数百万个组织学图像块进行训练，而切片基础模型的开发使用的样本数量少几个数量级，且对自监督学习方案的优化有限，导致生成的切片表征泛化能力受限。即使采用如视觉-语言预训练这样的多模态技术，通过病理报告扩充预训练数据集，当前的切片基础模型仍需要进行端到端训练或微调，并且缺乏为具有挑战性的临床场景学习可迁移切片表征的能力。

最后，由于在当前模型在诊断相关环境（如少样本学习或切片检索）中的评估有限，其在变革病理AI模型开发方面尚处于起步阶段。

TITAN，一种多模态全切片视觉-语言模型，专为组织病理学中的通用切片表征学习而设计。基于知识蒸馏和掩码图像建模在图像块编码器预训练中的成功，TITAN引入了一种大规模的预训练范式，利用数百万个高分辨率感兴趣区域（在20倍放大倍数下为8，192×8，192像素）进行可扩展的全切片图像编码。

该模型使用涵盖20种器官类型的33.5万个全切片图像进行训练，纯视觉版本的TITAN产生了通用的切片表征，可以直接应用于切片级任务，如癌症分型、生物标志物预测、结果预后和切片检索任务，其表现优于有监督的基线模型和现有的多模态切片基础模型。

为了增强TITAN的语言能力，作者进一步对其进行了微调，方法是与42.3万个使用PathChat生成的合成细粒度感兴趣区域描述进行对比对齐，并在切片级别与18.3万份病理报告对齐。PathChat是一个用于病理学的多模态生成式AI助手。通过利用自由文本的形态学描述，TITAN获得了生成病理报告、执行零样本分类以及实现组织学切片与临床报告之间跨模态检索的能力。

与现有的切片基础模型相比，在广泛的多模态病理数据存储库上进行预训练使TITAN解锁了更高水平的性能，尤其是在低数据机制、语言引导的零样本分类和罕见癌症检索方面。此外，作者展示了使用合成的细粒度形态学描述进行预训练的实用性，表明了TITAN利用合成数据进行预训练的扩展潜力。

通过对大量临床任务进行全面评估，包括在罕见癌症检索中的应用，他们证明了其视觉-语言预训练方法的有效性，展示了其切片基础模型的通用能力。

作者设想，TITAN及其未来的迭代版本将被纳入从业者的日常工具箱，用于常规应用并与其它针对特定任务的有监督框架进行比较，共同在重要的临床任务中达到更高水平的性能。