1、 年第卷第期医学理论与实践 层螺旋 薄层扫描结合计算机人工神经网络对小肠病变的诊断价值研究廖忠剑 文兴林 刘艳平 邓星星 范存庚 雷 剑江西省赣州市人民医院 室 摘要 目目的的:运用图像识别和图像描述技术研究 层螺旋 薄层扫描结合计算机人工神经网络在小肠病变诊断上的应用价值 方方法法:建立基于 、的小肠 图像识别描述人工神经网络模型采用 和 联合提取图像特征信息进行 融合建立图像编码采用 进行图像解码输出 图像诊断报告 设计 个病变图像特征标签选择我院 年 月 年 月行 层螺旋 薄层扫描病例材料 套材料覆盖正常图像及出血、炎性息肉等 种病变类型按 随机分为训练组和测试组对模型进行训练并展开性能
2、测试评价模型输出的 诊断文字报告质量、诊断准确率及病变部位提取正确率 结结果果:文字报告质量评分为(.)分出现错误评估项样本占比.仅语句结合约 存在不合理现象各病变类型诊断准确率均在 左右仅腺癌存在轻微的诊断为腺瘤性息肉现象整体病变类型诊断正确率.病变部位正确识别提取率.结结论论:基于 、建立人工神经网络模型进行小肠 层螺旋 扫描图像的诊断识别可准确定位图像病变部位根据病变部位图像特征准确进行病变类型诊断并就 个 图像特征进行文字化描述输出符合医师阅读理解的图像诊断报告并发现部分医师人工阅片遗漏错误的地方可为医师提供更为丰富、有效、准确的 图像诊断信息有利于医师作出正确的诊断 基金项目:赣州市
3、卫生健康委员会市级科研计划项目()关键词 小肠病变 人工智能 薄层扫描 图像诊断描述中图分类号:文献标识码:/.:.:.:.:.医学理论与实践 年第卷第期 近年小肠癌发病率明显上升早期检测并采取有效的治疗措施可有效提高存活率避免病情继续恶化 但小肠结构迂曲复杂、活动度大、长度大难以通过常规检查手段有效检测病灶同时小肠病变多具有隐匿性特点临床症状无明显的特异性因此小肠病变的诊断一直是一大难题 目前在小肠病变辅助检测中常用的有气钡双重造影、影像、灌肠造影、胶囊内镜、双气囊内镜造影几种检查方法但这些检查方式诊断价值有限或因有创性而存在一定的局限性 相较而言小肠 造影技术具有成像速度快、分辨率高的优势
4、在小肠血管性病变、炎性病变、小肠肿瘤、不明原因消化道出血等病变诊断方面都有较高的价值 但小肠 造影技术主要获取扫描影像依赖于医师对影像的解读能力主观性较强易造成误诊、漏诊现象 大量人工智能技术在图像识别方面的研究应用显示利用人工智能技术能准确地提取图像特征找出图像的特异性 为此本研究以 层螺旋薄层扫描小肠 图像和病理报告为基础基于卷积神经网络 、目标检测算法模型()结合长短期记忆网络()构建小肠图像特征提取描述循环迭代模型(以下简称)通过模型输出小肠病变图像特征信息和病变类型为医师诊断提供更为客观的特征数据以提高小肠疾病诊断的准确性材料与方法.材料及设备筛选我院 年 月年 月行 层螺旋 薄层扫
5、描重建图像及相应的病理诊断报告共计 套每套材料包括 平扫、动脉期、静脉期、延迟期轴位和冠位图像及病理报告主要包含了出血、糜烂、溃疡、炎性息肉、腺瘤性息肉、脂肪瘤、腺癌、间质瘤、淋巴瘤等病变类型部分病例存在多种病变 按 比例随机分为训练组和测试组具体见表 纳入标准:()图像显示清晰结构显示清晰()图像上无标线、标注等非原始扫描图像记号()病例均经过病理诊断图像有相应的病理报告()每套图像中 平扫、动脉期、静脉期、延迟期轴位、冠位图像均完整表 样本材料病变类型及数量病变类型训练组病例(例)图像(张)测试组病例(例)图像(张)总量病例(例)图像(张)正常 出血 糜烂 溃疡 炎性息肉 腺瘤性息肉 脂肪
6、瘤 腺癌 间质瘤 淋巴瘤 本研究中所收集的病例图像均在我院由 公司 排 层螺旋 行小肠薄层 扫描 图像经、进行后处理重建图像重建层厚 .重建间隔.采用 编程语言编程构建模型采用 深度学习框架.数据预处理及增强本研究中所收集的图像资料为 重建图像其尺寸较大而 模型的输入尺寸为 因此需要对原始图像资料进行压缩处理统一压缩至 对病理报告进行处理并由 位医师盲读图像补充描述性标签通过分词建立规整且符合模型输入要求的语料主要包括病变类型、肠壁状态、平扫 值、增强 值、肠管壁密度特征、肠管周围脂肪间隙 值、肠壁黏膜完整性、病灶形态、边缘特征、积液、系膜特征 测试样本图像诊断后收集影像特征医师判断错误结果汇
7、总数据用以检验模型图像识别能力对训练组的样本数据进行增广处理采用几何变换的方法来增加样本的多样性 具体方法为对训练组图像进行小比例缩小和放大、对图像进行一定裁剪对图像进行旋转使训练组样本量增加 倍训练样本数据增广至 例共计 张 图像.模型构建本研究中构建的 模型包括编码器和解码器两个模块编码器负责图像特征的提取解码器负责将提取出的图像特征翻译为病变信息搭建一个 的端对端图像描述神经网络模型 编码器采用卷积神经网络 和目标检测算法 构建图像输 入 后 首 先 通 过 提 取 图 像 特 征()采用 来结合 提取的图像特征探索疑似病变区域提取疑似病变区特征再将 提取的图像特征与 提取的疑似病变区图
8、像特征进行特征融合将融合后的新特征转换为特征向量输入解码器解码器采用长短期记忆网络模型 作为语言模型根据编码器提取的图像特征生成文字解释词汇经过反复迭代后直至产生完整的描述输出病变特征的语言描述模型结构见图 图 模型结构图.图像特征提取方法图像特征的提取采用 模型结合 提取图像特征的 年第卷第期医学理论与实践方法 首先使用 模型对输入的 图像进行卷积和池化根据病变类型和病变复合状态组建 分类网络 .学习率.默认优化方法采用提取图像特征数据构建 的图像特征向量 再根据 模型提取出的图像特征利用 以图像特征为中心铺设锚框判断锚框内是否含有疑似病变部位并修正锚框边界挑选出疑似病变部位概率 .的目标区
9、域提取出疑似病变区域的图像特征数据构建图像特征向量 最后将 提取出的图像特征与 提取出的疑似病变区域图像特征进行融合提高图像特征的准确度和丰富性降低信息冗余干扰最终形成新的疑似病变部位图像特征向量.图像诊断文本生成图像特征的文字解码采用 模型来完成采用表现效果的单向循环神经网络来构建模型进行解码信息的传递采用从前往后的单向传递方式 根据抽取的图像特征参数捕捉图像特征语义自上而下的循环迭代遍历语料库找到最合理的描述词语组成诊断文本.评价指标采用诊断文本质量评价指标、诊断准确率(正确判断病变类型数量占总数量的比例)、病变部位提取正确率指标三个指标对模型性能进行评价 各病变类型随机抽取 张图像 个病
10、变类型共计 张由 名医师采用五级量化方法结合病理报告对模型生成诊断文本质量进行评分 分 质量极低 个特征描述错误项 项 分 质量较低描述错误项 项以内 分 一般无错误项仅词句结构不完全合理可用于辅助诊断分 极匹配无错误项词句结构基本合理并能少量发现人工阅片遗漏错误的地方 分 完美无错误项仅少量词句结构不合理并能发现较多人工阅片遗漏错误的地方有极大的辅助诊断价值 重点筛选 分、分样本进行分析.统计学方法采用.软件对数据进行统计分析符合正态分布统计数据以均值 标准差()表示采用配对样本 检验对模型诊断准确率、病变部位提取正确率与医师诊断进行对比分析.)名医师对质量极低、质量较低的模型输出样本评价完
11、全一致在 分、分、分评价上存在显著差异具有统计学意义(.)见表.诊断准确率统计病变类型模型判断正确与表 医师人工评价各分段分布情况(例)医师 分 分 分 分 分医师 医师 医师 医师.错误的图像样本数量计算诊断正确率并与医师仅凭图像的诊断正确率对比见表 各病变类型图像的病变判断中正确率均高于 其中对腺癌的判断正确率稍低为.表 模型诊断准确率统计结果病变类型总图像(张)正确(张)错误(张)正确率()医师诊断正确率()正常 .出血.糜烂.溃疡.炎性息肉.腺瘤性息肉.脂肪瘤.腺癌.间质瘤.淋巴瘤.病变部位提取正确率在病变部位的提取上提取病变组织部位图像的正确率均超过 见表 表 模型病变部位提取正确率
12、统计结果病变类型总图像正确(张)错误(张)正确率()正常 .出血.糜烂.溃疡.炎性息肉.腺瘤性息肉.脂肪瘤.腺癌.间质瘤.淋巴瘤.讨论图像描述技术是一种通过计算机视觉、机器学习、自然语言处理等技术对图像进行分析识别并生成文本描述的技术 在早期图像描述研究领域主要采用基于模板匹配的方法利用事先制定的规则生成图像描述但检测精度和准确率不高 随着人工智能技术的发展尤其是深度学习技术的进步循环神经网络()和卷积神经网络()被应用于图像描述技术中以结合性地解决图像描述精度和准确率不高的问题并形成了多种模型如 模型、模型、模型、自适应 模型等使得图像描述技术得到极大提高大量研究显示图像描述技术应用中生成的
13、描述文本往往对语义信息考虑不足 刘茂福等针对视觉关联和上下文信息差异问题采用双注意力机制建立了 模型结果显示采用双注意力机制医学理论与实践 年第卷第期 能有效提高文本描述的语义表达能力 傅煦熙等针对这一问题则采用了融合 网络的方法对内容信息分配不同的权重以获得更准确的描述语义表达能力有较明显的提升 刘青茹等针对复杂场景图像的细节描述深层语义不足现象采用多尺度特征环路融合、多分支空间分步注意的方法建立了多重注意力结构模型提取图像特征基于 解码进行图像描述结果显示多重注意力结构能有效提升图像描述的深层语义表达能力目前相关研究和应用虽然已经在社会生产生活的多个领域展开且成为人工智能领域研究的一大热点
14、但在医疗影像辅助诊断领域的研究和应用还较少 张俊三等采用共同力机制进行视觉特征和语义特征的综合处理结合对抗网络 和强化学习 方法建立模型结果显示该模型能较好地输出高质量报告 林玉萍等以青光眼影像数据为材料采用深度水平集算法结合自然语言处理生成影像的文本标注结果显示模型有较好的信息表征能力 沈秀轩等基于医学图像全局特征采用卷积神经网络和 模型进行融合建模基于深度学习生成医学影像报告实验表明在医学影像报告的生成上有极大的有效性 但医学报告的语言结构和语义表达需要极高的准确性目前研究多采用、等指标来评价文本质量对语义特征的评价能力不足 同时现在研究还未见关于小肠病变 图像的智能化图像描述研究 本研究
15、中采用医师人工评价模型输出的影像报告文本质量的方式构建基于 、的图像描述模型对 层螺旋 薄层扫描重建图像进行文本描述医师评价文本质量平均分在 分左右在 项特征描述中仅.的样本产生错误描述项其余样本均能进行正确描述但有约 左右的样本存在词句结构较明显的不合理现象表明模型能进行正确的病变影像特征判断但在词句结构组合上还有所不足不过模型能发现较多医生肉眼未能识别出的病变影像特征并进行文本描述可为医生临床诊断提供更为丰富的信息本研究中对模型的 病变类型及正常样本诊断准确率进行了分析结果显示模型能很好地通过 影像辨识小肠病变类型正确率均高于 在出血、糜烂、息肉、肿瘤等病变类型上均有极强的识别能 力 仅
16、对 腺 癌 的 识 别 能 力 稍 弱 正 确 率 为.分析发现对腺癌识别能力稍弱主要是由于其 图像特征与腺瘤性息肉极为近似因此易出现误诊为腺瘤性息肉的现象 医师在各病变类型的误诊漏诊上都明显高于模型识别结果正确率基本处 于 以 下 对 腺 癌 的 正 确 诊 断 率 更 仅.实验显示模型能更为准确地借助 影像识别病变类型可为医师提供有效的辅助诊断信息分析其原因在仅依靠 图像进行病变类型诊断时医师更多地依靠主观经验和图像认识水平进行诊断在对图像的精细特征信息把握上不足而模型能更多地识别出 图像中的精细特征信息从而作出更准确的判断 与其他部分利用人工智能技术进行小肠病变类型定性诊断的研究结果相比
17、本研究对小肠病变类型的诊断准确率普遍更优分析其原因与本研究中所建立的模型采用 和 两个模型提取图像特征进行融合有关两个模型提取图像征特信息进行 融合后能获得更为丰富的图像特征信息有利于病变类型的诊断识别 而在病变部位的提取准确率上本研究所建立的模型能极为准确地定位病变部位提取正确率均达到 但在正常图像上略有所不足出现在.的正常图像样本中识别出病变部位的现象 分析其原因主要因为错误提取的正常图像中存在一定的与病变部位近似的图像特征被错误地认为存在糜烂、炎性息肉等病变当前图像描述技术在各领域均有较多的应用和研究并展现出极高的应用价值 本研究中基于 和 构建编码器提取 层螺旋 薄层扫描小肠重建图像的
18、图像特征参数进行 融合采用 进行解码对病变类型和影像特征进行描述共包含了正常图像和 种小肠病变类型设计了 个病变部位影像特征标签 研究结果显示模型对病变类型有较好的识别能力并能较为准确地描述病变部位影像特征同时还能正确辨识部分医师人工阅片未能准确判断的影像特征能为医师临床诊断提供更为丰富、准确的辅助诊断信息具有一定的研究及推广应用价值 采用 和 构建编码器可有效提取 层螺旋 薄层扫描小肠重建图像的病变特征参数运用 对病变特征进行解码可以准确根据图像病变特征识别病变类型并以中文输出病变部位影像特征和病变类型同时还可识别部分医师人工阅片无法判断的影像特征可为医师临床诊断提供更为丰富的辅助诊断信息具
19、有研究及推广应用价值参考文献 王煜晔白朝辉祁兴顺等.双气囊小肠镜对不同年龄患者小肠疾病诊断价值研究.临床军医杂志():.赵凯杨云锋王俊平.胶囊内镜在小肠疾病诊断中的价值.中华内科杂志():.钟颖孙晓敏刘占举等.胶囊内镜与小肠 成像在小肠克罗恩病诊断中的应用价值.胃肠病学():.刁磊洪汝涛韩玮等.小肠成像与双气囊小肠镜在疑似小肠出血诊断中的临床应用.中华全科医学():.吴慧程静云徐国斌等.小肠 成像淋巴结特征对肠结核及 病鉴别诊断价值.临床误诊误治():.(下转第 页)年第卷第期医学理论与实践究根据多因素分析筛选的剖宫产术后并发下肢 的危险因素建立风险预测诺谟图模型包含年龄、产前、产褥期卧床时间
20、等共 个变量根据各变量得分值而计算出总分值其对应的下方下肢 并发风险刻度值即为该产妇剖宫产术后并发下肢 的概率具备个体化预测能力 进一步对该风险预测诺谟图模型进行验证结果显示建模组、验证组一致性指数分别为.、.校准曲线与理想曲线均吻合较好 曲线下面积分别为.、.曲线显示当阈值概率为 .时可获得较高的净获益率表明该诺谟图模型具备良好的临床应用价值有利于指导临床对剖宫产产妇的评估与认知积极采取预防措施综上所述年龄 岁、产前/、产褥期卧床时间、产后出血、糖尿病史、均是剖宫产术后并发下肢 的危险因素基于此构建的风险预测诺谟图模型能够较为准确地对剖宫产产妇术后并发下肢 风险进行预测可作为预防下肢 的简便
21、有效评估工具参考文献 .()():.:?.():.():.李婧高守君王静.剖宫产围手术期下肢深静脉血栓形成的相关因素及护理措施.海南医学():.惠新云王媛丽.剖宫产术后下肢深静脉血栓形成的相关因素与护理措施.血栓与止血学():.():.李晓强张福先王深明.深静脉血栓形成的诊断和治疗指南(第三版).中国血管外科杂志(电子版)():.:.()():.张春梅杨涛安娜等.孕产妇发生下肢深静脉血栓的相关影响因素.中国医药导报():.史怀淮刘扬.例围生期孕产妇下肢深静脉血栓形成的临床研究及预后影响因素分析.中国性科学 ():.张宇阴鑫哲.髋关节置换术后凝血纤溶相关指标血栓弹力图指标变化与下肢深静脉血栓形成
22、的关系.血栓与止血学():.杨春利杜格丽.围产期下肢深静脉血栓形成的相关危险因素及护理对策.血栓与止血学():.杨小杰高丹丽韩秀青.剖宫产术后下肢静脉血栓形成危险因素分析.疑难病杂志():.():.:.():.:.():.收稿日期 (编辑 羽飞)(上接第 页)曹海燕何松.人工智能技术在胶囊内镜图像识别中的应用进展.胃肠病学():.周小雪张莹莹张烨等.人工智能技术在胎儿超声心动图四腔心切面筛查中的应用.中华超声影像学杂志():.蒋西然于韬孙嘉瑶等.深度学习人工智能技术在医学影像辅助分析中的应用.中国医疗设备():.李素琴吴练练宫德馨等.基于 算法和 深度卷积神经网络的结直肠息肉检测(含视频).中
23、华消化内镜杂志():.王启胜王凤随陈金刚等.融合自适应注意力机制的 目标检测算法.激光与光电子学进展():.于伸庭刘萍.基于长短期记忆网络卷积神经网络()的北京市.浓度预测.环境工程():.秦颖.机器生成语言的质量评价方法综述.计算机工程与科学():.刘茂福施琦聂礼强.基于视觉关联与上下文双注意力的图像描述生成方法.软件学报():.傅煦嘉周家乐王慧锋等.融合多重视觉特征与语义信息的图像描述生成.计算机工程与设计():.刘青茹李刚赵创等.基于多重注意结构的图像密集描述生成方法研究.自动化学报():.张俊三程俏俏万瑶等.:一种基于 的医学影像报告生成模型.山东大学学报(工学版)():.林玉萍郑尧月郑好洁等.基于医学影像分割方法的多模态语料库构建.模式识别与人工智能():.沈秀轩吴春雷冯叶棋等.基于双分支特征融合的医学报告生成方法.计算机工程():.收稿日期 (编辑 倩楠)