当前位置:
X-MOL 学术
›
IEEE Trans. Med. Imaging
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
3D Multimodal Fusion Network With Disease-Induced Joint Learning for Early Alzheimer’s Disease Diagnosis
IEEE Transactions on Medical Imaging ( IF 8.9 ) Pub Date : 2024-04-12 , DOI: 10.1109/tmi.2024.3386937 Zifeng Qiu , Peng Yang , Chunlun Xiao , Shuqiang Wang , Xiaohua Xiao , Jing Qin , Chuan-Ming Liu , Tianfu Wang , Baiying Lei
IEEE Transactions on Medical Imaging ( IF 8.9 ) Pub Date : 2024-04-12 , DOI: 10.1109/tmi.2024.3386937 Zifeng Qiu , Peng Yang , Chunlun Xiao , Shuqiang Wang , Xiaohua Xiao , Jing Qin , Chuan-Ming Liu , Tianfu Wang , Baiying Lei
Multimodal neuroimaging provides complementary information critical for accurate early diagnosis of Alzheimer’s disease (AD). However, the inherent variability between multimodal neuroimages hinders the effective fusion of multimodal features. Moreover, achieving reliable and interpretable diagnoses in the field of multimodal fusion remains challenging. To address them, we propose a novel multimodal diagnosis network based on multi-fusion and disease-induced learning (MDL-Net) to enhance early AD diagnosis by efficiently fusing multimodal data. Specifically, MDL-Net proposes a multi-fusion joint learning (MJL) module, which effectively fuses multimodal features and enhances the feature representation from global, local, and latent learning perspectives. MJL consists of three modules, global-aware learning (GAL), local-aware learning (LAL), and outer latent-space learning (LSL) modules. GAL via a self-adaptive Transformer (SAT) learns the global relationships among the modalities. LAL constructs local-aware convolution to learn the local associations. LSL module introduces latent information through outer product operation to further enhance feature representation. MDL-Net integrates the disease-induced region-aware learning (DRL) module via gradient weight to enhance interpretability, which iteratively learns weight matrices to identify AD-related brain regions. We conduct the extensive experiments on public datasets and the results confirm the superiority of our proposed method. Our code will be available at: https://github.com/qzf0320/MDL-Net
.
中文翻译:
具有疾病诱导联合学习的 3D 多模态融合网络用于阿尔茨海默病的早期诊断
多模态神经影像学检查提供了对阿尔茨海默病 (AD) 的准确早期诊断至关重要的补充信息。然而,多模态神经影像之间固有的可变性阻碍了多模态特征的有效融合。此外,在多模态融合领域实现可靠和可解释的诊断仍然具有挑战性。为了解决这些问题,我们提出了一种基于多融合和疾病诱导学习 (MDL-Net) 的新型多模态诊断网络,通过有效融合多模态数据来增强早期 AD 诊断。具体来说,MDL-Net 提出了一个多融合联合学习 (MJL) 模块,该模块有效地融合了多模态特征,并从全局、局部和潜在学习的角度增强了特征表示。MJL 由三个模块组成,全局感知学习 (GAL)、局部感知学习 (LAL) 和外部潜在空间学习 (LSL) 模块。GAL 通过自适应 Transformer (SAT) 学习模态之间的全局关系。LAL 构造本地感知卷积来学习本地关联。LSL 模块通过外积运算引入潜在信息,以进一步增强特征表示。MDL-Net 通过梯度权重集成疾病诱导的区域感知学习 (DRL) 模块以增强可解释性,从而迭代学习权重矩阵以识别与 AD 相关的大脑区域。我们在公共数据集上进行了广泛的实验,结果证实了我们提出的方法的优越性。我们的代码将在以下网址提供: https://github.com/qzf0320/MDL-Net .
更新日期:2024-04-12
中文翻译:
具有疾病诱导联合学习的 3D 多模态融合网络用于阿尔茨海默病的早期诊断
多模态神经影像学检查提供了对阿尔茨海默病 (AD) 的准确早期诊断至关重要的补充信息。然而,多模态神经影像之间固有的可变性阻碍了多模态特征的有效融合。此外,在多模态融合领域实现可靠和可解释的诊断仍然具有挑战性。为了解决这些问题,我们提出了一种基于多融合和疾病诱导学习 (MDL-Net) 的新型多模态诊断网络,通过有效融合多模态数据来增强早期 AD 诊断。具体来说,MDL-Net 提出了一个多融合联合学习 (MJL) 模块,该模块有效地融合了多模态特征,并从全局、局部和潜在学习的角度增强了特征表示。MJL 由三个模块组成,全局感知学习 (GAL)、局部感知学习 (LAL) 和外部潜在空间学习 (LSL) 模块。GAL 通过自适应 Transformer (SAT) 学习模态之间的全局关系。LAL 构造本地感知卷积来学习本地关联。LSL 模块通过外积运算引入潜在信息,以进一步增强特征表示。MDL-Net 通过梯度权重集成疾病诱导的区域感知学习 (DRL) 模块以增强可解释性,从而迭代学习权重矩阵以识别与 AD 相关的大脑区域。我们在公共数据集上进行了广泛的实验,结果证实了我们提出的方法的优越性。我们的代码将在以下网址提供: https://github.com/qzf0320/MDL-Net .