1、医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023基于光流计算与增强网络的颈椎 CT 图像层间插值算法研究王明1，吴晓红1，滕奇志1，杨毅2，任超1*（1.四川大学电子信息学院，成都 610065；2.四川大学华西医院骨科，成都 610041）摘要目的：为了解决人体颈椎 CT 序列图像横向点长度和纵向点长度不匹配带来的矢状面和冠状面结构变形问题，提出一种基于 CT 图像双向光流计算网络和 CT 图像双向光流增强网络的层间插值图像生成算法。方法：首先基于残差密集网络设计 CT 图像双向光流计算网络，
2、计算上下层图像之间的双向光流；其次，利用 CoTBlock 模块改进UNet 网络设计 CT 图像双向光流增强网络，提高双向光流精度并生成最终的层间插值图像。为验证算法的有效性，进行对比实验和消融实验验证。结果：提出的算法可以生成较高质量的层间插值图像，且在计算速度和模型参数量上有更好的表现。结论：该算法生成的插值图像毛刺伪影少、质量好，且经过层间插值后的人体颈椎 CT 序列图像更贴近人体颈椎的真实情况，有利于颈椎形态结构的研究和分析。关键词深度学习；光流计算；增强网络；层间插值；颈椎 CT 图像中国图书资料分类号R318文献标志码A文章编号1003-8868（2023）01-0027-08D
3、OI：10.19745/j.1003-8868.2023005Research on interlayer interpolation method of cervical spine CT imagesbased on optical flow computation and enhancement networkWANG Ming1,WU Xiao-hong1,TENG Qi-zhi1,YANG Yi2,REN Chao1*(1.College of Electronics and Information Engineering,Sichuan University,Chengdu 610
4、065,China;2.Department ofOrthopedics,West China Hospital,Sichuan University,Chengdu 610041,China)AbstractObjectiveTo propose an interlayer interpolation image generation method based on bidirectional optical flowcalculation network and enhancement network for CT images so as to solve the problem of
5、structural deformation in thesagittal and coronal planes caused by the mismatch between the transverse and longitudinal point lengths of human cervicalspine CT image sequences.MethodsFirstly,a bi-directional optical flow calculation network for CT images was designedbased on the residual dense netwo
6、rk to calculate the bi-directional optical flow between the upper and lower images;secondly,a bi-directional optical flow enhancement network for CT images was developed by improving UNet network usinga CoTBlock module so as to increase the bi-directional optical flow accuracy and form interlayer in
7、terpolation images.Comparison and ablation experiments were carried out to verify the effectiveness of the proposed algorithm.ResultsThemethod proposed could generate high-quality interlayer interpolation images and gained advantages in computational speedand number of model parameters.ConclusionThe
8、 interpolation images generated by this method have few burr artifacts andhigh quality,and the CT image sequences of human cervical spine after interlayer interpolation are close to the real situationof human cervical spine,which facilitate the study and analysis of the morphological structure of ce
9、rvical spine.ChineseMedical Equipment Journal，2023，44（1）：27-34Key wordsdeep learning;optical flow computation;enhancement network;interlayer interpolation;cervical spine CTimage0引言人体颈椎 CT 序列图像通过 X 射线对人体颈椎作连续的断面扫描得到。通过观察患者的颈椎 CT图像，医疗人员可以诊断出患者颈椎是否发生病变。但由于 X 射线对人体组织有损伤1，为节省拍摄时间，CT 图像的采样间隔较大，导致 CT 图像的纵向
10、点长度远大于片层内的横向点长度。因此，直接由人体颈椎 CT 序列图像的横截面生成的矢状面和冠状面王明，吴晓红，滕奇志，等.基于光流计算与增强网络的颈椎 CT 图像层间插值算法研究J.医疗卫生装备，2023，44（1）：27-34.Thesis论著Thesis论著 27 医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023图像会产生明显变形（如图 1 所示），与颈椎的真实情况不符。变形的矢状面和冠状面图像会对后续颈椎椎骨的终板形态分型研究带来影响。为解决此问题，一般先对人体颈椎 CT 序列图像中相邻层
11、的 CT 图像进行层间插值，缩短 CT 序列图像的纵向点长度，再生成矢状面和冠状面图像，其形态结构就会与颈椎真实情况相符，更有利于后续对人体颈椎模型进行分析。基于配准的插值方法2-4在医学领域得到了广泛应用，这种插值方法先通过配准得到 2 张 CT 图像的形变场，由形变场进行拟合插值。张杰等3提出了基于曲面拟合与配准的插值算法，针对非刚性配准后的 B 样条插值算法对异常点不敏感的问题，引进了薄板曲面拟合的方法，有效地去除了异常点的影响，并且更进一步利用双向形变场将 2 个形变场融合后再结合样条插值与曲面拟合来得到插值图像。这种做法一定程度上提高了插值图像的精度，但是插值图像在细节的局部放大中仍
12、然有毛刺、伪影现象。张耀等4利用非下采样轮廓波变换（nonsubsampled contourlet transform，NSCT）对图像进行分解，对 NSCT 分解后的高频和低频子图分别采用不同插值算法生成新插值图像的高频和低频子图，再将二者逆 NSCT 生成新插值图像。这种算法生成的图像仍然有模糊现象，并且由于迭代运算和非下采样技术，运算十分耗时，在速度上需要进一步优化。基于光流信息配准后再进行插值的研究中，Ehrhardt 等5基于光流对序列图像插值，不仅提高了插值图像的精度还尽可能保留了目标原始结构，但是边缘轮廓依然不清晰。林毓秀等6先利用联合全局与局部（combined local
13、and global，CLG）算法生成光流模型，通过此光流模型进行配准与生成插值图像，再利用序列图像的帧间非局部自相似性来解决插值后图像中的像素缺失问题，从而能够生成高质量的中间层图像。但是，当图像层间距较大时，GLG 算法生成的中间图像准确性不高。视频插帧7-13和颈椎 CT 图像层间插值具有一定的相似性，可以借鉴视频插帧算法完成 CT 图像的层间插值任务。视频插帧算法是给定 2 个连续帧生成中间帧，以形成空间和时间上一致的视频序列。文献7使用卷积神经网络（convolutionalneuralnetwork，CNN）直接合成中间帧，由于网络没有学习相邻帧之间光学变化信息导致生成的图像十分模
14、糊。文献8使用空间自适应卷积核来估计每个像素值，当卷积核变大时，运算成本很高。文献9先对相邻帧的光流进行估计，再对遮挡进行处理。文献10引入了上下文纹理特征进行帧插值，减少了插值图像的伪影现象。文献11综合了光流估计、深度图和上下文纹理特征对输入帧进行处理，有效增强了中间帧的质量。文献12提出了一种基于双边运动估计的视频插帧算法，首先使用近似双向运动网络来预测双边运动，然后利用2 个输入帧和双向运动生成中间帧，最后使用动态混合过滤器网络过滤中间帧来生成输出帧。文献13提出了自适应协作流网络（adaptive collaboration offlows，AdaCoF）来估计每个像素点的核权重和偏
15、移向量以合成输出帧，其可以处理复杂的运动且能生成更真实的输出图像。如果将视频插帧算法应用到层间插值任务上，还需要考虑 CT 图像本身每一像素点的横向点长度和纵向点长度信息，不能在 2 张 CT 图像间任意插入图像。并且由于人体 CT 图像采样间隔较大，CT 图像的变化比较剧烈，所以相邻上下层图像对中间层图像有更重要的参考性。因此，为了解决人体颈椎 CT 序列图像横向点长度和纵向点长度不匹配带来的矢状面和冠状面结构变形问题，本文基于残差密集网络和 UNet 网络，针对人体颈椎 CT 图像的特点制作专用数据集，通过CT图像双向光流计算与增强网络来进行人体颈椎 CT图像的层间插值。1人体颈椎CT图像
16、层间插值算法1.1算法整体概述CT 图像层间插值算法利用相邻的上下层图像之间的变化生成中间层图像，而视频插帧算法是在时间序列上的两帧之间根据前后帧图像之间的变化和时间信息生成中间帧，二者具有较强的相似性，因此，借鉴视频插帧算法9，将相邻的 3 张序列图像分图1原始颈椎CT图像的矢状面和冠状面（a）矢状面（b）冠状面基金项目：四川省重点研发计划项目(2022YFS0098)；成都市科学技术局重点研发项目（2021-YF08-00113-GX）；四川省卫生健康委员会普及应用项目（21PJ037）作者简介：王明（1996），男，硕士研究生，研究方向为图像处理与识别，E-mail：。通信作者：任超，E-mail：王明，吴晓红，滕奇志，等.基于光流计算与增强网络的颈椎 CT 图像层间插值算法研究J.医疗卫生装备，2023，44（1）：27-34.Thesis论著 28 医疗卫生装备2023年1月第44卷第1期Chinese Medical Equipment JournalVol 44No 1January2023为上层图像 Iu，需要插值生成的中间层图像 Im和下层图像 Id。先计算 Iu和I
