1、第 卷第期 年月太 原 师 范 学 院 学 报(自然科学版)J OUR NA LO FT A I YUANNO RMA LUN I V E R S I T Y(N a t u r a lS c i e n c eE d i t i o n)V o l N o M a r 收稿日期:基金项目:国家自然科学基金资助项目();北京市自然科学基金资助项目();北京市科委资助项目(D );北京市医院管理局提升计划(D F L )作者简介:刘晨旭(),女,山西代县人,在读硕士研究生,主要从事嵌入式系统与物联网技术研究通信作者:阴桂梅,女,副教授,E m a i l:y i n g u i m e i c
2、n c o m基于G C N的精神分裂症自动识别诊断模型研究刘晨旭,阴桂梅,肖易勇,符永灿,盛志林(太原师范学院 计算机科学与技术学院,山西 晋中 )摘要目前基于深度学习的精神分裂症脑网络研究,大多忽略了脑电通道之间的空间拓扑信息.为了解决这个问题,提出一种基于图卷积神经网络的精神分裂症自动识别诊断模型,利用各脑电节点间的相关性构建图结构,与脑网络局部特征一起作为图卷积的输入,并利用卷积核的不同内核大小深入挖掘数据信息.将该方法应用于首发精分数据集,实验结果表明首发精神分裂症患者在T h e t a频段的识别准确率最高,达到了 ,且与其他方法相比取得了更好的识别效果,为精神分裂症的识别诊断提供
3、了一种新的思路和方法.关键词脑网络;图卷积神经网络;精神分裂症;深度学习 文章编号 ()中图分类号T P 文献标识码A 引言精神分裂症是一种严重的精神疾病,临床表现为认知、行为和情感表达障碍,且给家庭和社会带来巨大的经济负担,因此及时准确的诊断和治疗至关重要目前大量研究表明,精神分裂症与异常的大脑结构和功能有关,且通过脑功能网络分析精神分裂症逐渐成为脑电领域的一个研究热点传统的脑网络研究大多是利用功能连接指标构建脑网络,提取脑网络的全局和局部特征,最后将脑网络特征与机器学习算法相结合,以此来进行分类识别孙丽婷等使用相位锁定值构建大脑功能网络,计算脑网络的全局和局部特征,对计算得到的特征值进行K
4、 S检验,找出差异显著的特征及节点,用对应的特征值训练S VM分类器,进而实现分类在传统的脑网络研究中需要人为参与特征工程,因此造成大量时间和精力的消耗,且机器学习的学习能力很难有大的突破近年来,深度学习因其在分类任务中的良好表现而在许多领域中引起了大量的关注大量研究表明,深度学习将在脑电信号的分析中发挥关键作用目前基于深度学习的脑网络分析方法主要是通过人为选择一种连接指标构建脑网络,即关联矩阵,再利用卷积神经网络(C o n v o l u t i o n a lN e u r a lN e t w o r k s,C N N)、长短期记忆网络(L o n gS h o r t T e r
5、m M e m o r y,L S TM)等经典的深度学习算法进行特征提取和分类识别 B i等探讨了两种类型的脑网络深度特征,采用C NN和L S TM方法直接从构建好的脑网络中学习深度特征并进行分类识别 M o o n等开发了一种利用大脑连通性的C NN分类模型,利用C NN提取脑网络特征,并提出了两种数据驱动的关联矩阵构造方法,以最大限度地提高分类性能经典的深度学习算法在提取脑网络的深度特征时没有考虑不同大脑区域之间的拓扑信息,也即节点之间的拓扑信息在研究中是被忽略的图卷积神经网络(G r a p hC o n v o l u t i o n a lN e u r a lN e t w o
6、 r k,G C N)的出现,为脑网络分析提供了新的方法G C N是一种可以学习节点之间拓扑信息的深度学习算法,是传统的卷积思想在图结构上的应用,通过卷积将节点自身的特征信息及节点之间的关联信息充分的结合起来,深入挖掘脑电图(E l e c t r o e n c e p h a l o g r a m,E E G)的内在信息 W a n g等 利用相位锁定值矩阵来表示脑电通道间的关系,在构建脑网络的基础上结合不同频段的种脑电特征,经过图卷积运算来提取脑电功能连接的时空特征和内在信息,最后得出分类识别 结果 W a g h等 提出了一种新的基于图卷积神经网络的方法,用于改进使用E E G信号对
7、神经系统疾病的诊断为此本文提出了一种基于G C N的精神分裂症自动识别诊断模型,利用相位锁定值构建脑功能网络,并将脑网络局部特征作为每个节点的输入特征,将节点特征矩阵和脑功能网络一起作为图信息输入图卷积层进行卷积运算与传统的G C N模型相比,本文提出的模型考虑了多个卷积核内核大小(K值)的影响,并在首发精分数据集上对模型的性能进行评估 基于G C N的精神分裂症自动识别诊断模型本文提出了一种基于G C N的精神分裂症自动识别诊断模型,模型框架如图所示模型主要分为以下三部分:)划分时间窗;)构建图信息:包括E E G特征提取和构建图结构两部分;)图卷积和分类预测:经过图卷积层、批标准化层和L
8、e a k yR e L U激活层,最后全连接层分类预测下文将进行详细地描述图模型框架 划分时间窗目前的一些研究表明,时间窗较短时,脑电信号的功能连接测量相对更有效,并建议使用至少s的分段长度,因此将每个被试的E E G信号分成连续的不重叠的时间窗,每个窗口s 每个窗口中的信号独立于同一E E G信号中的其他窗口,每个窗口作为一个样本进行节点特征提取和脑网络构建 构建图信息在E E G信号的研究中,脑功能网络可以用来描述不同脑区之间的内在联系,且目前最常用的功能连接指标为相位锁定值(P h a s eL o c k i n gV a l u e,P L V),因此本文采用相位锁定值构建脑功能网
9、络相位锁定值表示的是任意两个信号之间平均相位差的绝对值,常用来量化窄带信号之间的相位同步性P L V的公式定义为:P L V(t)NNne x p(j(n(t)()式()中,nt()xt()yt(),表示t时刻电极信号x与电极信号y之间的瞬时相位差,N为时间序列的长度P L V的取值范围为,通过使用P L V构建脑功能网络,即关联矩阵,将构建好的脑功能网络作为脑图的邻接矩阵形成图卷积层的输入提取脑网络的局部特征作为E E G信号的节点特征,对于脑网络的局部特征,计算度、介数、聚类系数和局部效率,参照目前相关的研究成果,实验选择 的稀疏度范围(步长为),计算了局部特征曲线下面积(A r e aU
10、 n d e r t h eC u r v e,AU C),将局部特征值在稀疏度范围内的AU C值作为每个节点的特征,形成节点特征矩阵每个时间窗中脑图的邻接矩阵作为图结构和节点特征矩阵一起作为图信息输入图卷积层进行卷积运算 图卷积分类预测从卷积的角度,可以将图卷积神经网络分为谱域图卷积和空域图卷积,其中谱域图卷积的发展基础是图论,谱域图卷积是将卷积核和图信号同时转换到傅里叶域来实现卷积操作,其理论基础完善第期刘晨旭,等:基于G C N的精神分裂症自动识别诊断模型研究本文采用谱域图卷积神经网络进行分类识别谱域图卷积被定义为信号x与卷积核g的乘积,公式如下所示:xgU gUTx()其中,UTx是对
11、图中某一节点信号x做傅里叶变换,将其转换到频域,U g是将卷积核映射到频域,U为归一化拉普拉斯矩阵L的特征向量矩阵,其计算公式如下:LINDA DUUT()其中,IN为单位矩阵,D为度矩阵,A为邻接矩阵,为L的特征值对角矩阵为了降低计算的复杂度,提升计算效率,采用特征值对角矩阵的切比雪夫多项式逼近卷积核,切比雪夫多项式被定义为:Tix()x Ti x()Ti x(),且Tx(),Tx()x,对信号x进行卷积操作,其计算公式如下:xgkiiTiL()x()其中LL/m a xIN,m a x表示L的最大特征值图卷积网络中样本s的第j个输出特征图可以表示为:ys,jFi nigi,j(L)xs,i
12、Rn()其中xs,i是输入的特征图,Fi nFo u t训练切比雪夫系数i,j本文搭建的基于G C N的精神分裂症自动识别诊断模型的图卷积部分的详细信息如图所示,模型采用了个图卷积层受G o o g L e N e t结构的启发,模型的第一个图卷积层由两个并行且K值不同的C h e b N e t图卷积构成,得到个特征矩阵,并在特征维度上进行拼接,然后输入第二个图卷积层进行卷积运算,最后,将最后一层图卷积运算输出的节点特征矩阵压平输入全连接层,经过s o f t m a x将每个类别概率化,模型最终的预测结果为输出概率最大的类别图图卷积神经网络结构 实验分析 数据采集与预处理本次实验所用数据由
13、北京回龙观医院精神病学研究中心进行采集,数据集包括 例首发精分患者和 例健康被试的静息态脑电数据,两组被试在年龄、性别和受教育程度上均不存在统计学差异,如表所示数据采集设备使用 导电极帽,阻抗不超过k 表两组被试人口统计学和临床数据统计表特征精分病人(n )健康被试(n)统计值平均年龄(y e a r s)F,受教育时间(y e a r s)F,p 性别(男/女)/c ,p P AN S S分数 阳性分数 阴性分数 太 原 师 范 学 院 学 报(自然科学版)第 卷使用E E G L A B工具箱对原始采集到的脑电数据进行预处理操作首先导入原始采样数据,进行电极定位;其次剔除记录水平眼电和垂直
14、眼电的电极数据并且选用平均电极进行重参考;接着对E E G信号进行滤波操作,选择H z的高通滤波以及 H z的低通滤波,为了消除工频干扰,设置 H z的凹陷滤波;最后用I C A独立成分分析去除眼电和肌电干扰,若观察E E G波形后发现坏导,则对坏导进行插值,剔除坏段为了讨论不同频段下脑网络分析的差异,将首发精分患者和健康被试的E E G信号进行降采样,将采样频率统一为 H z,并对每个被试的脑电信号进行分频处理,保留了D e l t a(H z)、T h e t a(H z)、A l p h a(H z)、B e t a(H z)、G a mm a(H z)个频段的信号实验选用 个电极和每个
15、被试 s的E E G信号进行实验 实验设置对于首发精分数据集,其中 被选为训练集,其余 作为测试集,在 的训练集中选择 作为验证数据集模型由个C h e b N e t图卷积层和个全连接层组成,每层的D r o p o u t率设置为 模型的初始学习率为 ,随着迭代次数以 倍进行衰减,批量大小为 模型采用交叉熵损失函数,A d a m优化器用于训练,训练次数为 个e p o c h对于G C N模型使用了P y T o r c h进行实现,并在具有 G B显存的G e F o r c eR T X T i上进行训练 分类性能评价指标将本文构建的图卷积神经网络模型用于首发精分患者的识别诊断,并采
16、用不同的评价指标:准确率A(A c c u r a c y),精确率P(P r e c i s i o n),召回率R(R e c a l l)和F S c o r e评价模型的性能,各评价指标的公式如下:AT PT NT PF NF PT N()PT PT PF P()RT PT PF N()FPRPR()其中,T P表示真阳性(预测和实际均为首发精分患者),F P表示假阳性(预测为首发精分患者,实际为正常被试),TN表示真阴性(预测和实际均为正常被试),FN表示假阴性(预测为正常被试,实际为首发精分患者)实验结果及分析对于首发精分数据集,本文所提出的模型在不同频段、不同评价指标下的结果如表
17、所示首发精分患者在T h e t a频段的识别准确率均高于A l p h a、B e t a、G a mm a和D e l t a频段,这表明,T h e t a频段与首发精分患者E E G活动的关系可能更密切,且患者组和正常组存在显著性差异表不同频段下模型的性能比较频段APRFA l p h a B e t a G a mm a D e l t a T h e t a 为了评价验证本文所提出的模型的有效性,选择了以下几个具有代表性的方法进行复现并作为基线与本文提出的图卷积神经网络模型进行比较,如表所示本文将脑网络局部特征构成的节点特征矩阵用作随机森林(R a n d o mF o r e s
18、 t,R F)的输入特征,进行分类识别 C NN 表示利用卷积神经网络来学习脑网络结构的拓扑信息,具有三个卷积层和两个最大池化层 G C N 表示具有两个图卷积层,且K值固定(K)的传第期刘晨旭,等:基于G C N的精神分裂症自动识别诊断模型研究统图卷积神经网络模型表各方法识别结果方法APRFR F C NN G C N O u r s 结果表明,本文所提出的模型在准确率、精确率、F S c o r e这些评价指标上明显优于其他模型,这是因为图卷积神经网络能够更好的捕捉电极通道之间的关联,充分学习脑网络的拓扑信息,而C NN以二维(D)方式学习脑网络中的拓扑信息,但整个脑网络并不位于 D空间,
19、因此使用C NN可能会在训练过程中丢失一些信息本文所提出的模型优于传统G C N模型是因为传统的G C N模型在所有层中使用恒定的卷积核大小,以固定的K值来学习每个节点的特征.模型通过在图卷积层上并列使用不同的K值,从而可以提取更加丰富的特征信息,更有利于首发精分患者的识别诊断 结束语针对传统深度学习方法难以学习脑电通道间关系的问题,提出了基于G C N的精神分裂症自动识别诊断模型,并将模型用于脑网络的分析识别并在首发精分数据集上进行了实验,与R F、C NN和传统的G C N模型进行了比较,证明了本文所提出的模型的有效性鉴于其他图神经网络模型的性能可能优于G C N模型,因此,在未来的工作中
20、,将尝试用其他图神经网络模型代替G C N模型参考文献:HUAN GJ,Z HA OYL,QU W,e ta l A u t o m a t i cr e c o g n i t i o no f s c h i z o p h r e n i a f r o mf a c i a l v i d e o su s i n g Dc o n v o l u t i o n a l n e u r a l n e t w o r kJ A s i a nJ o u r n a l o fP s y c h i a t r y,:L IX,YAN GCJ,X I EP,e t a l T h ed
21、 i a g n o s i so f a m n e s t i cm i l dc o g n i t i v e i m p a i r m e n t b yc o m b i n i n g t h e c h a r a c t e r i s t i c so f b r a i nf u n c t i o n a ln e t w o r ka n ds u p p o r tv e c t o rm a c h i n ec l a s s i f i e rJ J o u r n a l o fN e u r o s c i e n c eM e t h o d s,:孙
22、丽婷,阴桂梅,谭淑平,等精神分裂症患者工作记忆E E G功能网络属性分析J计算机工程与应用,():王思源,何先波基于深度神经网络的医药专利文本聚类模型研究J太原师范学院学报(自然科学版),():S A R KA R A,S I N GH A,C HAK R A B O R T Y R Ad e e pl e a r n i n g b a s e dc o m p a r a t i v es t u d yt ot r a c km e n t a ld e p r e s s i o nf r o mE E Gd a t aJ N e u r o s c i e n c e I n f o
23、 r m a t i c s,():刘想,赵海军,陈毅红基于粒子群算法优化C NN的入侵检测研究J太原师范学院学报(自然科学版),():C HE N H,S ON GY,L IXL Ad e e p l e a r n i n g f r a m e w o r k f o r i d e n t i f y i n gc h i l d r e nw i t hA DHDu s i n ga nE E G b a s e db r a i nn e t w o r kJ N e u r o c o m p u t i n g,:B IX,Z HA OXG,HUAN GH,e t a l F
24、u n c t i o n a l b r a i nn e t w o r kc l a s s i f i c a t i o n f o rA l z h e i m e rs d i s e a s ed e t e c t i o nw i t hd e e p f e a t u r e sa n de x t r e m e l e a r n i n gm a c h i n eJ C o g n i t i v eC o m p u t a t i o n,():MO ONSE,C HE NCJ,H S I EHCJ,e t a l E m o t i o n a lE E
25、Gc l a s s i f i c a t i o nu s i n gc o n n e c t i v i t y f e a t u r e s a n dc o n v o l u t i o n a l n e u r a ln e t w o r k sJ N e u r a lN e t w o r k s,:WUZH,P ANSR,C HE NFW,e t a l Ac o m p r e h e n s i v e s u r v e yo ng r a p hn e u r a l n e t w o r k sJ I E E ET r a n s a c t i o n
26、 so nN e u r a lN e t w o r k sa n dL e a r n i n gS y s t e m s,():L E ID,Q I N K,P I NAYA W H L,e ta l G r a p hc o n v o l u t i o n a ln e t w o r k sr e v e a lN e t w o r k L e v e l f u n c t i o n a l d y s c o n n e c t i v i t yi ns c h i z o p h r e n i aJ S c h i z o p h r e n i aB u l l
27、 e t i n,():WAN GZ M,T ON G Y,HE N GX P h a s e l o c k i n gv a l u eb a s e dg r a p hc o n v o l u t i o n a ln e u r a ln e t w o r k sf o re m o t i o n r e c o g n i t i o nJ I E E EA c c e s s,:WA GH N,VA R A THA RA J AH Y E E G G C NN:a u g m e n t i n ge l e c t r o e n c e p h a l o g r a
28、m b a s e dn e u r o l o g i c a ld i s e a s ed i a g n o s i su s i n gad o m a i n g u i d e dg r a p hc o n v o l u t i o n a ln e u r a ln e t w o r kCP r o c e e d i n g so ft h eM a c h i n eL e a r n i n gf o rH e a l t hN e u r I P SW o r k s h o p,V i r t u a l:PML R,:太 原 师 范 学 院 学 报(自然科学版
29、)第 卷 F R A S C H I N IM,D EMURU M,C R O B EA,e ta l T h ee f f e c to fe p o c hl e n g t ho ne s t i m a t e dE E Gf u n c t i o n a lc o n n e c t i v i t ya n db r a i nn e t w o r k o r g a n i s a t i o nJ J o u r n a l o fN e u r a lE n g i n e e r i n g,():L A C HAUXJP,R O D R I GU E ZE,MA R
30、T I N E R I EJ,e ta l M e a s u r i n gp h a s es y n c h r o n yi nb r a i n s i g n a l sJ H u m a nB r a i nM a p p i n g,():曹锐非线性与复杂网络理论在脑电数据分析中的应用研究D太原:太原理工大学,曾笛飞基于层次图卷积神经网络的E E G癫痫检测D杭州:浙江大学,K T E NASI,P A R I S O TS,F E R R AN T EE,e ta l M e t r i c l e a r n i n gw i t hs p e c t r a lg r a
31、 p hc o n v o l u t i o n so nb r a i nc o n n e c t i v i t y n e t w o r k sJ N e u r o I m a g e,:MO ONSE,J AN GS,L E EJS C o n v o l u t i o n a l n e u r a l n e t w o r ka p p r o a c hf o rE E G b a s e de m o t i o nr e c o g n i t i o nu s i n gb r a i nc o n n e c t i v i t ya n d i t ss p
32、 a t i a l i n f o r m a t i o nC I E E EI n t e r n a t i o n a lC o n f e r e n c eo nA c o u s t i c s,S p e e c ha n dS i g n a lP r o c e s s i n g(I C A S S P),C a l g a r y:I E E E,:许学添,蔡跃新基于图卷积网络的运动想象识别J计算机工程与应用,():R e s e a r c ho nA u t o m a t i c I d e n t i f i c a t i o nD i a g n o s
33、t i cM o d e lo fS c h i z o p h r e n i aB a s e do nG C NL I UC h e n x u,Y I NG u i m e i,X I A OY i y o n g,F UY o n g c a n,S H E N GZ h i l i n(S c h o o l o fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,T a i y u a nN o r m a lU n i v e r s i t y,J i n z h o n g ,C h i n a)A b s t r a
34、 c tC u r r e n tr e s e a r c ho ns c h i z o p h r e n i ab r a i nn e t w o r k sb a s e do nd e e pl e a r n i n gh a sm o s t l y i g n o r e dt h es p a t i a l t o p o l o g i c a l i n f o r m a t i o nb e t w e e nE E Gc h a n n e l s T oa d d r e s st h i sp r o b l e m,ag r a p hc o n v o
35、 l u t i o n a ln e u r a ln e t w o r k b a s e dm o d e l f o ra u t o m a t i cs c h i z o p h r e n i a i d e n t i f i c a t i o na n dd i a g n o s i s i sp r o p o s e d T h ec o r r e l a t i o nb e t w e e ne a c hE E Gn o d e i su s e dt oc o n s t r u c t t h eg r a p hs t r u c t u r e,w
36、 h i c h i su s e da s t h e i n p u to f t h eg r a p hc o n v o l u t i o nt o g e t h e rw i t ht h e l o c a l f e a t u r e so ft h eb r a i nn e t w o r k,a n dt h ed i f f e r e n tk e r n e l s i z e so f t h ec o n v o l u t i o nk e r n e l a r eu s e dt od i gd e e p e ri n t ot h ed a t
37、a i n f o r m a t i o n T h em e t h o dw a sa p p l i e dt ot h ef i r s t e p i s o d es c h i z o p h r e n i ad a t a s e t,a n dt h ee x p e r i m e n t a l r e s u l t ss h o w e dt h a t t h e f i r s t e p i s o d es c h i z o p h r e n i ap a t i e n t sh a dt h eh i g h e s t r e c o g n i
38、 t i o na c c u r a c y i nT h e t ab a n d,r e a c h i n g ,a n da c h i e v e db e t t e rr e c o g n i t i o nr e s u l t sc o m p a r e dw i t ho t h e rm e t h o d s,p r o v i d i n gan e wi d e aa n dm e t h o df o rt h er e c o g n i t i o na n dd i a g n o s i so fs c h i z o p h r e n i a K e yw o r d sb r a i nn e t w o r k;g r a p hc o n v o l u t i o n a ln e u r a ln e t w o r k;s c h i z o p h r e n i a;d e e pl e a r n i n g第期刘晨旭,等:基于G C N的精神分裂症自动识别诊断模型研究
