1、2 人工神经网络基础知识人工神经网络基础知识 2.1人工神经网络的生物学基础人工神经网络的生物学基础 人的智能来自于大脑，大脑是由大量的人的智能来自于大脑，大脑是由大量的神经细胞或神经元神经细胞或神经元组成的。每个神经元可以看作为一个小的组成的。每个神经元可以看作为一个小的处理单元处理单元，这些神经，这些神经元按照某种方式元按照某种方式互相连接互相连接起来，构成了大脑内部的起来，构成了大脑内部的生物神经元生物神经元网络网络，他们中各神经元之间连接的强弱，按照外部的激励信号他们中各神经元之间连接的强弱，按照外部的激励信号作自适应变化，而每个神经元又随着接收到的多个激励信号的作自适应变化，而每个神
2、经元又随着接收到的多个激励信号的综合大小呈现兴奋或抑制状态。综合大小呈现兴奋或抑制状态。据现在的了解，据现在的了解，大脑的学习过大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，大脑处理信息的结果确由神经元的状态表现出来。程，大脑处理信息的结果确由神经元的状态表现出来。显然，显然，神经元是信息处理系统的最小单元。虽然神经元的类型有很多神经元是信息处理系统的最小单元。虽然神经元的类型有很多种，但其基本结构相似。种，但其基本结构相似。神经元是大脑处理信息的基本单元神经元是大脑处理信息的基本单元 人脑约由人脑约由101l-10
3、12个神经元组成，其中，每个神经元个神经元组成，其中，每个神经元约与约与104-105个神经元通过突触联接，形成极为错纵复个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络杂而且又灵活多变的神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突和突触主要由细胞体、树突、轴突和突触(Synapse，又称神，又称神经键经键)组成组成 一、生物神经元一、生物神经元 生物神经元网络结构生物神经元网络结构 树突是树状的神
4、经纤维接收网络，它将电信号传送到细胞体树突是树状的神经纤维接收网络，它将电信号传送到细胞体 细胞体对这些输入信号进行整合并进行阈值处理细胞体对这些输入信号进行整合并进行阈值处理 轴突是单根长纤维，它把细胞体的输出信号导向其他神经元轴突是单根长纤维，它把细胞体的输出信号导向其他神经元 一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触 神经元的排列和突触的强度神经元的排列和突触的强度(由复杂的化学过程决定由复杂的化学过程决定)确立了神经网络确立了神经网络的功能。的功能。生物学研究表明一些神经结构是与生俱来的，而其他部生物学研究表明一些神经
5、结构是与生俱来的，而其他部分则是在学习的过程中形成的。分则是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。使以前的一些连接消失。这个过程在生命早期最为显著。二、突触的信息处理二、突触的信息处理 生物神经元传递信息的过程为多输入、单输出；生物神经元传递信息的过程为多输入、单输出；神经元各组成部分的功能来看，信息的处理与传递主要神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近；发生在突触附近；当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到当神经元细胞体通过轴突传
6、到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质；隙释放神经传递的化学物质；突触有两种类型，兴奋性突触和抑制性突触。前者产生突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。正突触后电位，后者产生负突触后电位。抑制性抑制性-神经神经元虽然接收到其他神经元传递的信息，但没有向外传递元虽然接收到其他神经元传递的信息，但没有向外传递信息，该神经元称“抑制性”的；信息，该神经元称“抑制性”的；兴奋性兴奋性-当一个神经当一个神经元的树突接收的兴奋信息累计超过阈值，该神经元被激
7、元的树突接收的兴奋信息累计超过阈值，该神经元被激活并传递出信息给其他神经元。活并传递出信息给其他神经元。三、信息传递功能与特点三、信息传递功能与特点 具有时空整合能力具有时空整合能力 时间整合时间整合各输入脉冲抵达神经元的先后时间不同，一个脉冲引起的突触后电各输入脉冲抵达神经元的先后时间不同，一个脉冲引起的突触后电位很小，但随着时间延续，另有脉冲到达，总的突触后电位就增大。位很小，但随着时间延续，另有脉冲到达，总的突触后电位就增大。空间整合空间整合在同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激在同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。这种累
8、加求和称空间整合。引起的膜电位变化的代数和。这种累加求和称空间整合。不可逆性，脉冲只从突触前传到突触后，不逆向传递不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1 1150m150ms s之间之间 信息传递时延和不应期，一般为信息传递时延和不应期，一般为0.30.3lmslms 可塑性，突触传递信息的强度是可变的，即具有学习功能可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应存在学习、遗忘或疲劳（饱和）效应 对应突触传递作用增强、减弱和饱和对应突触传递作用增
9、强、减弱和饱和 2、生物神经系统的六个基本特征：生物神经系统的六个基本特征：1）神经元及其联接；神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的信号可以是起刺激作用的，也可以是起抑制作用的；也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状一个神经元接受的信号的累积效果决定该神经元的状态；态；6)每个神经元可以有一个每个神经元可以有一个“阈值阈值”。2.人工神经元模型人工神经元模型 人工神经网络是在现代神经生物学
10、研究基础上提出的模人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反映人脑某些特性的计算结构。它不是人脑神拟生物过程以反映人脑某些特性的计算结构。它不是人脑神经系统的真实描写，而只是它的某种抽象、简化和模拟。根经系统的真实描写，而只是它的某种抽象、简化和模拟。根据前面对生物神经网络的研究可知，据前面对生物神经网络的研究可知，神经元及其突触是神经神经元及其突触是神经网络的基本器件网络的基本器件。因此，。因此，模拟生物神经网络应首先模拟生物模拟生物神经网络应首先模拟生物神经元神经元。在人工神经网络中，神经元常被称为“处理单元”。在人工神经网络中，神经元常被称为“处理单元”。有时从网络的
11、观点出发常把它称为“节点”。有时从网络的观点出发常把它称为“节点”。人工神经元人工神经元是对生物神经元的一种形式化描述，是对生物神经元的一种形式化描述，它对生物神经元的信它对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；对生物神息处理过程进行抽象，并用数学语言予以描述；对生物神经元的结构和功能进行模拟，并用模型图予以表达。经元的结构和功能进行模拟，并用模型图予以表达。目前人们提出的神经元模型已有很多，其中最早提出且目前人们提出的神经元模型已有很多，其中最早提出且影响最大的，是影响最大的，是1943年年心理学家心理学家McCulloch和数学家和数学家WPitts在分析总结神经元基本特
12、性的基础上首先提出的在分析总结神经元基本特性的基础上首先提出的MP模型模型。该模型经过不断改进后，形成目前广泛应用的形。该模型经过不断改进后，形成目前广泛应用的形式神经元模型。式神经元模型。关于神经元的信息处理机制，该模型在简化的基础上提关于神经元的信息处理机制，该模型在简化的基础上提出以下出以下6点约定进行描述：点约定进行描述：（1）每个神经元都是一个多输入单输出的信息处理单元；）每个神经元都是一个多输入单输出的信息处理单元；（2）突触分兴奋性和抑制性两种类型；）突触分兴奋性和抑制性两种类型；（3）神经元具有空间整合特性和阈值特性；）神经元具有空间整合特性和阈值特性；（4）神经元输入输出间有
13、固定的时滞，主要取决于突触延搁；）神经元输入输出间有固定的时滞，主要取决于突触延搁；（5）忽略时间整合作用和不应期；）忽略时间整合作用和不应期；（6）神经元本身是非时变的，即其突触时延和突触强度均为常）神经元本身是非时变的，即其突触时延和突触强度均为常数。数。MP模型：模型：称为作用函数或激发函数称为作用函数或激发函数 MP模型模型 作用函数作用函数 求和操作求和操作 1()()niijijijyf xfw uijnjjiiuwx1 MP模型模型 f(x)是作用函数是作用函数(Activation Function)，也称激发函数。，也称激发函数。MP神经元模型中的作用函数为单位阶跃函数：神经
14、元模型中的作用函数为单位阶跃函数：其表达式为：其表达式为：0,00,1)(xxxf激发函数的基本作用激发函数的基本作用 控制输入对输出的激活作用控制输入对输出的激活作用 对输入、输出进行函数转换对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输出将可能无限域的输入变换成指定的有限范围内的输出 可知当神经元可知当神经元i i的输入信号加权和超过阈值时，输出为的输入信号加权和超过阈值时，输出为“1 1”，即，即“兴奋兴奋”状态；反之输出为状态；反之输出为“0 0”，是，是“抑制抑制”状态。状态。MP模型模型 例例、实现逻辑函数“与门”（AND gate）运算。1 真，0假 人工
15、神经元的数学模型描述人工神经元的数学模型描述：第第j个神经元，接受多个其它神经元个神经元，接受多个其它神经元i在在t时刻的输入时刻的输入xi(t)，引起，引起神经元神经元j的信息输出为的信息输出为yj(t):nijijiijjtxwfty1)()(式中式中 wij神经元神经元i到到j的突触连接系数，即加权值；的突触连接系数，即加权值；j神经元神经元j的阈值；的阈值；ij输入、输出间的突触时延；输入、输出间的突触时延；f()神经元转移（激活）函数神经元转移（激活）函数.为简单起见，将上式中的突触时延取为单位时间，则为简单起见，将上式中的突触时延取为单位时间，则 )()()1(1jnijiijjn
16、etftxwftynijiijxw1式中式中 netjj单元激活值；单元激活值；netj=其它各单元对第其它各单元对第j个单元的输入，通过加权，按某种运算把输个单元的输入，通过加权，按某种运算把输入信号的综合作用整合起来，给出它们的总效果称净输入。净入信号的综合作用整合起来，给出它们的总效果称净输入。净输入整合表达应有多种方式，人们探索到的人脑空间整合方式输入整合表达应有多种方式，人们探索到的人脑空间整合方式近似为线性求和。即单元净输入表为近似为线性求和。即单元净输入表为 )(1txwnetiniijj为简便起见，省去式中（为简便起见，省去式中（t）,而且常用向量表示而且常用向量表示 XWnetTjj式中式中 均为列向量：均为列向量：XWj和TnjTnwwwWxxxX.,.2121若令若令 表为则激活值则有netxwwxjj,.,10000XWxwnetTjniiijj0至此，人工神经元数学模型可简化为至此，人工神经元数学模型可简化为)()(XWfnetfyTjjj看到，人工神经元模型较全面表现了前述点约定：看到，人工神经元模型较全面表现了前述点约定：（）单输入多输出（显见）；（）单输
