1、Vol.40 No.2第40 卷第2 期2023年0 6 月Chinese J Magn Reson,2023,40(2):220-238波谱学杂志Chinese Journal of Magnetic ResonanceJun.2023doi:10.11938/cjmr20223013基于深度学习的阿尔兹海默症影像学分类研究进展钱程一，王远军*上海理工大学医学影像技术研究所，上海2 0 0 0 93摘要：随着全球老龄化的加剧与深度学习的发展，基于深度学习的阿尔兹海默症（AD）影像学分类成为当前的一个研究热点本文首先阐述了AD影像学分类任务中常用的深度学习模型、评估标准及公开数据集；接着讨论了
2、不同图像模态在AD影像学分类中的应用；然后着重探讨了应用于AD影像学分类的深度学习模型改进方法；进一步引入了对模型可解释性研究的探讨；最后总结并比较了文中提及的分类模型，归纳了与AD影像分类相关的大脑区域，并对该领域未来的研究方向进行了展望.关键词：阿尔茨海默症（AD）；深度学习；医学影像；分类；可解释性中图分类号：TP391文献标识码：AResearch Progress on Imaging Classification of Alzheimers DiseaseBased on Deep LearningQIAN Chengyi,WANG Yuanjun*Institute of Med
3、ical Imaging Technology,University of Shanghai for Science and Technology,Shanghai 200093,ChinaAbstract:As global aging worsens and deep learning advances,the imaging classification of Alzheimers disease(AD)based on deep learning has become a hot topic of research.This paper reviewed the common deep
4、 learning models,evaluationcriteria and public datasets in AD imaging classification tasks,discussed the application of different image modalities in ADimaging classification.The content was focused on the improvement of deep learning models applied to AD imagingclassification.The studies of model i
5、nterpretability were also introduced.Finally,the paper summarized and compared theclassification models mentioned,identified the brain regions related to AD image classification,and outlined the futureresearch directions in this field.Keywords:Alzheimers disease(AD),deep learning,medical imaging,cla
6、ssification,interpretability收稿日期：2 0 2 2-0 8-12；在线发表日期：2 0 2 2-11-0 7基金项目：上海市自然科学基金资助项目(18 ZR1426900).通信作者(Corresponding author):*Tel:13761603606,E-mail:.第2 期引言阿尔兹海默症（Alzheimerdisease，A D）是痴呆症最常见的类型，占所有痴呆症的50 7 0%，其症状为认知、功能和行为的退化，通常始于对于最近发生事件记忆的丧失：AD患者的脑组织病理特征是脑脊液中淀粉蛋白（A42）水平下降，总Tau蛋白或磷酸化Tau蛋白升高，从而在
7、细胞内聚集成神经原纤维缠结（neurofibrillarytangles，NFT），全球有约50 0 0 万人患有AD，由于人口老龄化，预计到2 0 50 年，患者数量将增加两倍，即8 5人中就有一人患有AD，这样的趋势无疑对残疾风险、疾病负担和医疗费用是个巨大的挑战2 .AD的加重也不是突然的，而是存在一个很长的被称为轻度认知障碍（mild cognitive impairment,MCI）的发展阶段，MCI 的早期诊断对于AD的治疗至关重要3 临床评估仍然是目前最主要的AD诊断手段，特别是针对患者本人的临床访谈，同时对患者进行神经衰退记录，辅助方法包括检测海马体积完整性、追踪白质纤维4 等
8、这样的评估方法非常耗时耗力，针对一个患者就需要耗费大量的医疗资源对其AD状态进行评估，如果可以开发一种省时且无创的辅助诊断方法，则可大大降低医疗资源的消耗，减少患者被漏诊的可能随着机器学习方法被引入到医学影像分类中，许多研究者通过大量医学影像数据与机器学习算法提出了针对AD与MCI的预测方法5-7 ，且准确率已经接近人类专家的诊断效果，但是传统的机器学习算法依赖于人工提取的特征，需要复杂的数据预处理操作而在实际应用场景中，人们更倾向于进行较少的数据预处理步骤就可以得到可靠的结果，这样端到端的学习模式正符合深度学习的特性。在基于机器学习的AD影像学分类领域，以往的综述论文往往从机器学习和深度学习
9、两大方面进行讨论8,9，或者着重于特定算法在AD影像学分类中的应用10,1 而本文针对深度学习的讨论超出特定算法层面，着重于迁移学习、集成学习和多任务学习这些方法对基于深度学习的AD影像学分类效能的提升；针对深度学习的黑箱特性所带来的可解释性难题，本文对目前可解释性的研究进展也做了分类探讨；同时还讨论了脑龄预测任务与AD影像学分类任务的相关性，这一方向未来或许会成为该领域新的研究重点.本文第一节介绍AD影像学分类常用的深度学习算法模型、评估标准及公开数据集；第二节讨论不同图像模态在AD影像学分类中的应用；第三节讨论迁移学习、集成学习和多任务学习方法应用于深度学习后，对AD影像分类性能的提升效果
10、；第四节对可解释性方法进行分类讨论；第五节对本文提及的分类模型和与AD影像分类相关的大脑区域进行总结，并对未来研究方向进行展望.钱程一等：基于深度学习的阿尔兹海默症影像学分类研究进展2211常用的深度学习模型、评估标准及公开数据集以往用于AD影像分类的传统机器学习算法，如支持向量机12 、决策树13 和随机森林14 等，均依赖于人工对图像特征进行提取：通常需要先使用脑模板，例如自动解剖标记（automated anatomical labeling，AAL），手动划分感兴趣区域（regionofinterest，R O I)，然后从ROI中提取灰度直方图14、灰质体积、皮层表面积12 、皮层分
11、形结构5、海马体体积7 等作为图像特征。该类特征提取方法依赖于专家的先验知识，同时手动划分的ROI具有不可避免的人为误差，从而影响到机器学习算法的表现.而深度学习端到端学习的特性解决了这样的难题，只需进行简单的预处理，例如将图像进行配准、归一化和平滑后直接作为矩阵输入到模型中，就可以自动进行特征提取，然后使用全连接层或者传统机器学习方法作为分类器在实际的临床应用场景中，不同的医院以及不同的采集设备都会影响到成像效果，而不依赖于人工图像特征提取的深度学习算法往往会得到更好的效果，而且泛化能力也可以得到保证.2221.1AD影像学分类中常用的深度学习模型1.1.1 卷积神经网络(convoluti
12、onal neural network，CNN)随着图形处理器（graphics processingunit，G PU）计算集群对复杂神经网络的支持，CNN在计算机视觉领域被广泛运用.ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库，在基于该数据库的大规模视觉识别挑战赛（ImageNet large scale visual recognition challenge，ILSVR C）中，参赛算法被要求将140 0 万张图片分为10 0 0 个类别，而CNN多次成为优胜算法因此，CNN及其改进算法成为基于深度学习的医学影像处理热门算法，是AD影像学分类任务中使用最为广泛的
13、深度学习算法.图1展示了最为常见的输入二维图像的CNN模型，主要包含输入层、卷积层、池化层、全连接层和输出层，除了输入和输出层，CNN中其他层均会被多次堆叠卷积层用于特征提取，随着网络的加深，特征图的尺寸也会随之减小越靠近网络输入端，网络学习到的特征越初级，如纹理信息、面积信息；而越靠近网络输出端，网络越能学习到更高级的语义信息。池化层用于特征选择和信息过滤，极大降低网络计算量全连接层不具备特征提取能力，而是对高阶特性进行非线性组合得到最终的输出.输入层全连接层池化层波谱学杂志卷积层第40 卷输出层图1CNN模型示意图Fig.1 Schematic diagram of CNN model很多
14、机器学习算法对于问题的目标函数都会做一些必要的先验假设，称为归纳偏置，而CNN就具有两个重要的归纳偏置：局部性和空间不变性局部性即图像中越相邻的图像特征具有越强的相关性；空间不变性即不论图像中的物体如何平移，同样的卷积核可以提取到同样的特征这使得CNN在训练之前就拥有了对图像分类极为重要的先验知识，所以CNN在小样本的医学影像处理问题上具有优秀的性能VGGNet、M o b i l e Ne t、A l e x Ne t、In c e p t i o n Ne t、残差网络（residual network，R e s Ne t）、密集连接网络（d e n s e l y c o n n e
15、c t e d c o n v o l u t i o n a l n e t w o r k，D e n s e Ne t）和全卷积神经网络（fully convolutional network，FCN）都是基于CNN改进后的经典模型.1.1.2循环神经网络（recurrent neural network，R NN）RNN具有CNN不具备的记忆性，适用于对序列非线性特征的学习，所以通常被应用于自然语言处理领域.虽然RNN不常被应用于计算机视觉领域，但由于AD是长期发展的疾病，具有明显的时间序列性，所以依然有少量研究者将RNN应用于AD影像学分类任务中如Abuhmed等15 使用RNN学习
16、受试者在过去时间上的影像特征，对该受试者未来的状况进行预测总体而言，RNN在AD影像学分类中应用不如CNN广泛.由图2 可以直观地看到，RNN在每一个时刻都有一个输入x,，经过网络t时刻的状态A,获得当前时刻的输出h,，而t时刻的网络状态由（t-1）时刻的网络状态以及输入共同决定，这样的设计使得网络在第2 期时间序列上具有记忆功能之后提出的双向循环神经网络（bidirectional recurrentneuralnetwork，BR NN）以及双向长短期记忆网络（bidirectional long short-term memory，Bi LST M）都是基于RNN改进后的模型.钱程一等：基于深度学习的阿尔兹海默症影像学分类研究进展223hA0AA20图2 RNN模型示意图Fig.2 Schematic diagram of RNN model1.1.3自自动编码机（autoencoder，A E）AE作为一种无监督学习模型，不需要对训练样本打上标签，降低了获取数据的难度，所以也常被用于医学图像处理。如Ju等16 使用AE对图像特征进行提取后分类，使MCI与健康对照组（health
