1、2023 年 2 月 25 日第 7 卷第 4 期现代信息科技Modern Information Technology Feb.2023 Vol.7 No.41091092023.022023.02收稿日期：2022-09-30基于 3D 卷积神经网络对局部晚期 NSCLC 患者的生存预测马亚楠，宋玥，郝天宇（兰州财经大学，甘肃 兰州 730020）摘 要：目前关于非小细胞肺癌（NSCLC）患者生存分析的研究已经有很多，但是大多数都是在医生勾画出肿瘤的基础上进行影像组学特征提取，其次结合临床以及治疗前患者的肿瘤 PET/CT 图像特征进行生存分析的研究。在无医生勾画肿瘤的基础上，采用深度学习
2、的方法，基于患者治疗前后 FDG-PET 是否可以对局部晚期 NSCLC 患者进行生存分析。在采用治疗前和治疗后 FDG-PET 时，基于 3D 卷积神经网络（3D CNN）的深度生存模型的一致性指数（C-index）为 0.67。研究表明，同时使用治疗前后 PDG-PET 进行阅片可以预测出患者的风险概率。关键词：非小细胞肺癌；治疗前后 PDG-PET；3D 卷积神经网络；生存分析中图分类号：TP391 文献标识码：A 文章编号：2096-4706（2023）04-0109-05Survival Prediction of Patients with Locally Advanced NSC
3、LC Based on 3D CNNMA Yanan,SONG Yue,HAO Tianyu(Lanzhou University of Finance and Economics,Lanzhou 730020,China)Abstract:There have been many studies on the survival analysis of patients with non-small cell lung cancer(NSCLC).However,most of the studies are based on the extraction of tumor radiomics
4、 features based on the tumour label outlined by the physician,followed by a combination of clinical and pre-treatment PET/CT image features of the patient for survival analysis.Survival analysis of patients with locally advanced NSCLC based on whether pre-treatment and post-treatment FDG-PET can be
5、performed by using a deep learning approach without the basis of tumors label of the physician.The consistency index(C-index)of the deep survival model based on 3D CNN is 0.67 when using pre-treatment and post-treatment FDG-PET.The study shows that simultaneous reading with pre-treatment and post-tr
6、eatment PDG-PET can predict the risk probability of patient.Keywords:non-small cell lung cancer;pre-treatment and post-treatment PDG-PET;3D CNN;survival analysis0 引 言癌症是世界范围内的主要公共卫生问题。肺癌是世界范围内最常见的癌症类型，也是导致癌症死亡的主要原因1。肺癌可以大致分为小细胞肺癌（Small Cell Lung Cancer,SCLC,15%）和非小细胞肺癌（Non-small cell lung cancer,NSC
7、LC,85%）。其中 NSCLC 患者中超过三分之一（33%50%）的患者表现为局部晚期疾病2。局部晚期 NSCLC 通常是指期的 NSCLC3。PET 对 NSCLC 分期有效，与常规分期相比，对局部或远端转移疾病的敏感性和特异性更高4；并且已经有研究证明，放化疗后相对较快获得的 18-氟脱氧葡萄糖（FDG）PET 可以预测长期预后。但是由于 PET/CT 检查非常昂贵，极少有病人会在治疗后再次进行 PET/CT 筛查，导致治疗后图像数据非常稀缺。并且肿瘤金标准勾画非常昂贵和耗时，如果可以在不勾画肿瘤金标准的基础上，对 PET 图像进行阅片来对患者进行生存分析可以节省极大的人力和时间。Cox
8、 比例风险模型可以对比与事件和事件发生时间相关DOI:10.19850/ki.2096-4706.2023.04.028的变量，是医学研究5中常用的分析方法。该方法不仅提供了结果（即是否死亡），还提供了事件发生的时间，这对临床实践更有模型帮助。Cox比例风险模型表现出较高的性能，但也有局限性。它假设是线性分析，而不是进行非线性分析。非线性分析可以更好地反映实际的特征与患者预后之间的相关性5。在过去的几年里，深度学习已经成为一个跨越广泛的成像领域的强大工具，如分类、预测、检测、分割、诊断、解释、重建等。虽然深度神经网络最初在计算机视觉社区中发现，但它们很快传播到医学成像应用。深度学习在诊断疾病方
9、面的加速力量将使医生在临床环境中加快决策。近年来，现代医疗器械的应用和医疗保健的数字化产生了大量的医学图像。在这个大数据领域，用于高效数据处理、分析和生成数据建模的新深度学习方法和计算模型对于临床应用和理解潜在的生物过程至关重要。近年来，深度学习在医学领域引起了关注6，7。通过深度学习，有可能提取出特征与个体预后之间复杂的线性和非线性关系。将深度学习集成到 Cox 比例风险模型中，导致了深度学习生存神经网络（DeepSurv）的发展8。在具有线性和非线性协变量的生存数据上，这已被证明与其他生存分析1101102023.022023.02第 4 期现代信息科技方法一样好或更好。死亡时间估计的优点
10、是它比传统的二值分类任务能提供更多的信息。传统的二元分类并不估计患者在死亡风险增加之前的多少天。另一方面，死亡时间模型可以从一个固定时间点（在该模型中的入院时）的数据中估计随时间变化的死亡风险。假设可以通过使用 FDG-PET 建立一个可以直接从医学影像中提取图像特征的预后模型。由于 DeepSurv 没有处理图像的机制，整合了卷积神经网络（CNN），这是DeepSurv 的深度学习领域之一。可以用端到端的形式直接使用和处理图像，以评估预后。本文的研究重点是基于患者治疗前和治疗后的 FDG-PET 图像，并采用深度学习的卷积神经网络模型对 NSCLC患者进行生存分析。1 相关知识1.1 生存分
11、析生存数据由三个要素组成：患者的基线数据 x、事件发生的时间间隔 T 和事件指示器 E。如果观察到事件（例如死亡），时间间隔 T 对应于收集基线数据的时间和事件发生的时间之间的时间，并且事件指示器为 E=1。如果没有观察到一个事件，时间间隔 T 对应于收集基线数据到与患者最后一次接触（如研究结束）之间经过的时间，事件指标为 E=0。在这种情况下，病人被认为是正确审查的。如果选择使用标准回归方法，右截尾数据被认为是一种缺失数据。这通常会被丢弃，这可能会在模型中引入偏差。因此，对右截尾数据进行建模需要特别考虑或使用生存模型。生存和风险函数是生存分析中的两个基本功能。生存函数用S(t)=Pr(Tt)
12、表示，它表示一个个体在时间t后“存活”的概率。风险函数(t)的定义为：风险函数是一个人不能存活额外的时间 的概率，假设他们已经存活到时间t。因此，危险越大，死亡的风险就越大。生存分析模型包括两个部分，包括线性分析模型以及非线性分析模型。常用的线性生存分析模型指的是 Cox 比例风险回归模型，用来处理特征与生存时间以及生存状态之间的线性关系。但是通常得到的特征，其与患者生存状态以及时间之间的关系并非是线性关系，因此会采用深度学习生存神经网络来处理特征进行生存分析，并且深度学习可以直接用来处理图像，为使用深度学习进行生存分析提供了一种端到端的方式。1.2 CNN在深度学习和医学图像处理领域，CNN
13、 是最常用的神经网络。CNN 结构由三层类型组成：（a）卷积，（b）池化层和（c）全连接层，分层有序，堆叠在多层中。除了这些层之外，还有一个输入层和一个输出层。每一层的功能都是学习图像9的具体特征。CNN 模型的性能会在很大程度上受到数据的影响。此外，它可能对结果产生误导，以及模糊图像特征从而影响到CNN 最终的预测结果，因为已知放射图像有噪声、人工制品和其他因素，可能影响医疗和计算机应用程序的感知10。因此，医学图像分析的第一步通常是图像预处理，以改善图像的质量、对比度、噪声去除等特征11。2 实验数据2.1 数据来源本文所采用的数据为公开数据集，患者数据来自美国放射影像网络（ACRIN）6
14、668/放射治疗肿瘤组（RTOG）/0235。该数据集总共有 250 名患者，共有 242 名非小细胞肺癌患者的影像数据。其中239名患者有PDG-PET图像数据，180 名患者有治疗前和治疗后的 FDG-PET 图像，156 名患者有治疗前和治疗后的 FDG-PET/CT 图像。2.2 数据预处理所采用的数据中每名患者都有治疗前和治疗后的 FDG-PET/CT 图 像，首 先，将 患 者 的 FDG-PET/CT 图 像 经 过3DSlicer 医学图像处理软件得到其 PET 图像对应的 SUV 图像；然后，去除处理异常和 SUV 图像异常的数据以及临床分期非B、A、B的患者，然后将所有的患
15、者切片进行重采样到相同的层厚，最后手动挑选出所有病人肩膀以下、膀胱以上的部分，最终纳入 144 名患者。并将图像进行了归一化，剔除图像中可能存在的一些噪声以及干扰信息。从中随机选取 80%的数据作为训练集，其余 20%的数据为测试集。本实验采用的数据情况如表 1 所示。表 1 数据情况Demorgraphic or ClinicalCharacteristicAll Patients Registered(N=250)Accepted Patients(N=144)No.PCT（%）No.PCT（%）Clinical stageIIB93.653.5IIIA12349.28256.9IIIB1
16、1445.65739.6Other41.600.0SexMale16264.89566.0Female8835.24934.0Age（years）Median65.565Range36 8537 823 实验方法3.1 模型结构本文采用的生存分析模型如图 1 所示。将同一名患者治疗前后的 FDG-PET 同时输入到由 3D 卷积神经网络组成的特征提取器中，用来进行图像特征提取；然后将提取到的特征通过通道数叠加到一起，最后经过全连接层预测患者的风险概率。pre_imgpost_imgfeatureextractionfeatureextractionriskpre_img featurepost_img featurefc3D CNN3D CNN图 1 生存分析模型1111112023.022023.02第 4 期具体来说就是将一个 CNN 合并到 DeepSurv8中：将CNN 的输出连接到 DeepSurv 的全连接层，以创建一个端到端深度学习模型。该模型同时由 CNN 和 MLP 结构组成。在正向传播过程中，将从影像中提取到的 CNN 的特征传递给MLP。损失根据 MLP 的输出值