医疗数据本质上是多模态的,包括电子病历(EHR)、医学图像和多组学数据。整合这些多模态数据源有助于更好地了解人们的健康,进而提供最佳的个性化医疗服务。在使用多模态数据时,最重要的问题是如何融合它们——这是研究人员越来越感兴趣的领域。人工智能(AI)技术的进步,特别是机器学习(ML),使这些不同的数据模态能够融合,从而提供多模态的见解。
为此,在这篇范围综述中,重点综合和分析了使用人工智能技术融合不同临床应用的多模态医学数据的文献。更具体地说,是专注于那些为了开发用于临床应用的各种人工智能方法而仅将电子病历与医学成像数据进行融合的研究。本综述对各种融合策略、利用多模态融合的疾病和临床结果、用于执行每种临床应用的多模态融合所使用的ML算法以及可用的多模态医学数据集进行了全面分析。
本文作者遵循PRISMAScR(系统评价的首选报告项目和范围综述的荟萃分析扩展)指南,搜索了Embase、PubMed、Scopus和Google Scholar以检索相关研究文献。经过预处理和筛选,从34项符合纳入标准的研究文献中提取了数据。
研究发现,近年将成像数据与电子病历融合的研究正在增加,且翻了一番。在分析中,观察到了一个典型的工作流:输入原始数据,通过应用传统的机器学习(ML)或深度学习(DL)算法融合不同的数据模态,最后通过临床结果预测评估多模态融合。具体而言,早期融合是多模态学习大多数应用中使用最多的技术(34项研究中有22项)。还发现,对于相同的任务,多模态融合模型的性能优于传统的单模态模型。从临床结果的角度来看,疾病诊断和预测是最常见的临床结果(分别在20项和10项研究中报道)。神经系统疾病是主要类别(16项研究)。从人工智能的角度来看,传统的机器学习模型使用最多(19项研究),其次是深度学习模型(16项研究)。在所纳入的研究中,所使用的多模态数据大多来自私有数据库(21项研究)。
这一范围综述为有兴趣了解该研究领域当前知识状况的研究人员提供了新的见解。