1、人工(rngng)神经元模型,MP模型、感知器模型及其训练学习(xux)算法,第一页，共三十七页。,树突（Dendrite）,胞体(Soma),轴突（Axon）,突触（Synapse）,大脑皮层(dno-pcng)，每立方毫米中，神经元超过104个，连接长度超过几公里,大脑神经元的工作(gngzu)原理,第二页，共三十七页。,二、人工神经网络的历史(lsh),早期阶段（1960s）1943 McCulloch和Pitts 提出神经元的数学模型（MP模型）1949 Hebb 提出权重加强的学习机理1957 Rosenblatt 感知机（perceptron）有认知学习功能1969 Mingsky
2、 专著“perceptron”证明线性（单层）感知(gnzh)机不能解决XOR问题，ANN进入低潮,第三页，共三十七页。,二、人工神经网络的历史(lsh),过渡期（1970s）低潮中，许多学者深入研究ANN理论、模型(mxng)。MIT的Marr提出视觉模型Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一 ANN的数学理论Fuknshima 神经认知网络理论芬兰的Kohonen 自组织联想记忆,第四页，共三十七页。,二、人工神经网络的历史(lsh),高潮（1980）1982 加州理工 Hopfield提出结点全互联ANN
3、模型（Hop模型），用单层ANN解决了TSP问题1987.6 ICNN（International Conference on NN）召开1987 加州理工 Abnmostafa，Psaitis 2D联想存储输入残缺图案也可识别1988 AT&T Bell lab 120*120元件的ANN1989 三菱 光学ANN芯片，32个神经元识别26个字母1989 日立 5“硅片集成576个神经元1990 Bell Lab 黄庭钰 数字光学处理器1990 IBM AS400 提供ANN仿真开发环境1992 SGI 将ANN用于航天飞机控制(kngzh)臂ANN已在专家系统、智能控制等领域广泛应用,第五
4、页，共三十七页。,神经元建模的六点假定(jidng),神经元模型是在以下六条假设的基础上建立的：每个神经元都是一个多输入单输出的信息处理单元神经元输入分兴奋性输入和一致性输入两种类型神经元具有空间整合(zhn h)特性和阈值特性神经元输入与输出间有固定的时滞，主要取决于突触延搁忽略时间整合作用和不应期神经元本身是非时变的，即其突触时延和突触强度均为常数,第六页，共三十七页。,假设(jish)1：多输入单输出,图(a)表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时(tngsh)输入神经元j，神经元的单输出用oj表示。,第七
5、页，共三十七页。,假设(jish)2：输入类型：兴奋性和抑制性,生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制(yzh)，其大小则代表了突触的不同连接强度。,第八页，共三十七页。,假设3：空间整合特性(txng)和阈值特性(txng),作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和(zngh)值”，相应于生物神经元的膜电位。神经元激活与否取决于
6、某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。,第九页，共三十七页。,神经元的输出(shch),图(d)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入(shr)之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。,第十页，共三十七页。,神经元模型(mxng)示意图,第十一页，共三十七页。,神经元模型(mxng)示意图,x1,x2,.,xn是来自其它人工(rngng)神经元的信息作为该人工(rngng)神经元的输入，权值w1,w2,.,wn表示各输入的连接强度。是神经元兴奋时的内部阈值
7、，当神经元输入的加权和大于时，神经元处于兴奋状态。,该输出为1或0取决于其输入之和大于或小于内部(nib)阈值,即0时，该神经元被激活，进入兴奋状态，f()=1,当0时，该神经元被抑制，f()=0,第十二页，共三十七页。,神经元的数学模型,ij 输入输出间的突触时延；Tj 神经元j的阈值(y zh)；wij 神经元i到 j 的突触连接系数或称权重值；f()神经元转移函数。,第十三页，共三十七页。,神经元的数学模型,净输入与阈值(y zh)之差可表示为：,综合以上(yshng)各式，神经元模型可以简化为：,oj=f(netj)=f(WjTX),第十四页，共三十七页。,神经元的转移(zhuny)函
8、数,神经元各种不同数学模型的主要区别在于采用了不同的转移(zhuny)函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。,第十五页，共三十七页。,神经元的转移(zhuny)函数,常用的非线性转移函数有阈值型、分段线性型、Sigmoid函数型（简称S型）和双曲正切(zhngqi)型。如下图所示：,第十六页，共三十七页。,神经元的转移(zhuny)函数,阈值(y zh)型转移函数,1 x0f(x)=0 x0,图中所示为单极性阈值型转移函数，具有这一作用方式的神经元成为阈值型神经
9、元，这是神经元模型中最简单(jindn)的一种，MP模型就属于这一类。,第十七页，共三十七页。,M-P模型(mxng),是1943年心理学家McCulloch和数学家W.Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型。指出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行(zhxng)逻辑功能，从而开创了人工神经网络研究的时代。,第十八页，共三十七页。,MP模型神经元特性(txng)函数可表示为,u的输入输出关系(gun x)如表：ET，I=0y=1ET，I00E00,第十九页，共三十七页。,MP模型(mxng)的逻辑表示,MP模型可以表示布尔逻辑关系（与 或 非）
10、例如逻辑(lu j)与：设T=2，I=0，E=x1W+x2W=x1+x2当x1=1，x2=1，E=1+1=2，触发y=1当x1=1，x2=0，E=1+0=1，不触发y=0当x1=0，x2=1，E=0+1=1，不触发y=0当x1=0，x2=0，E=0+0=0，不触发y=0满足y=x1.x2逻辑与关系。,第二十页，共三十七页。,MP模型的逻辑(lu j)表示,逻辑或：令T=1，I=0，E=x1+x2（二个兴奋性输入）当x1=1,x2=1,E=1+1=2,触发 y=1当x1=1,x2=0,E=1+0=1,触发 y=1当x1=0,x2=1,E=0+1=1,触发 y=1当x1=0,x2=0,E=0+0=
11、0,不触发 y=0满足(mnz)y=x1+x2逻辑或关系,第二十一页，共三十七页。,MP模型(mxng)的逻辑表示,逻辑非：令T=0，E=0，I=xW=x（一个(y)抑制性输入）当x=1，I=10,不触发y=0当x=0，I=0，触发y=1满足逻辑非关系,第二十二页，共三十七页。,MP模型(mxng),能够构成逻辑与、或、非，就可进而组成任意复杂的逻辑关系，因此，MP模型是按一定方式组织起来，可以构成具有逻辑功能的神经网络。MP模型是最简单的网络，但是由于生物神经元本质上是模拟(mn)过程，过早地把物理量抽象为0和1，会丢失许多有用信息，因此神经计算应当将模拟的和数字的技术结合起来。从最简化的观
12、点看，仍具有一定指导意义。,第二十三页，共三十七页。,MP模型(mxng)应用,MP模型应用：可用于实现分类、模式识别等，当前已经有许多成功的基于M-P神经元模型的神经网络得到(d do)应用，如BP算法，这种算法是实现人脸识别的主要算法之一。,第二十四页，共三十七页。,感知器（Perceptron）模型(mxng),1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，成为Perceptron,即为感知器。感知器是一种前馈网络，同层内无互连，不同层间无反馈，由下层向上层传递。其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数(hnsh)决定其输出
13、。单层感知器的结构与功能都非常简单，但却是要就其他网络的基础。,第二十五页，共三十七页。,感知器模型(mxng),j=1,2,m,第二十六页，共三十七页。,设定输入向量X=(x1,x2)T输出：则由方程：w1jx1+w2jx2-Tj=0可以确定平面(pngmin)上的一条直线,感知器模型(mxng),第二十七页，共三十七页。,设定输入向量X=(x1,x2,x3)T输出：则由方程：w1jx1+w2jx2+w3jx3-Tj=0可以确定三维空间上的一个分界(fn ji)平面,感知器模型(mxng),第二十八页，共三十七页。,感知器的功能(gngnng),感知器在线性神经元中加入了阈值函数，也称为线性
14、阈值元。它可接受实数型信号，而输出(shch)二值离散量(0,1)。即：一个单计算节点感知器具有分类功能。,第二十九页，共三十七页。,例 用感知器实现(shxin)逻辑“与”功能,第三十页，共三十七页。,感知器结构,wix1+w2x2-T=0 0.5x1+0.5x2-0.75=0,例 用感知器实现(shxin)逻辑“与”功能,第三十一页，共三十七页。,感知器的学习(xux)算法,第三十二页，共三十七页。,感知器的学习(xux)算法,感知器学习规则(guz)的训练步骤：,(1)对各权值w0j(0),w1j(0),wnj(0)，j=1,2,m（m为计算层的节点(ji din)数）赋予较小的非零随机
15、数；,(2)输入样本对Xp,dp，其中Xp=(-1,x1p,x2p,xnp)，dp为期望的输出向量（教师信号），上标p代表 样本对的模式序号，设样本集中的样本总数为P，则p=1,2,P；,第三十三页，共三十七页。,(3)计算各节点(ji din)的实际输出ojp(t)=sgnWjT(t)Xp,j=1,2,.,m；,(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+djp-ojp(t)Xp,j=1,2,m,其中为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛(shulin)速度变慢，一般取01；,(5)返回到步骤(2)输入(shr)下一对样本，周而复始直到对所有 样
16、本，感知器的实际输出与期望输出相等。,第三十四页，共三十七页。,感知器学习(xux)规则的训练步骤：,（1）权值初始化（2）输入样本对（3）计算输出（4）根据感知器学习规则调整权值（5）返回(fnhu)到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。,第三十五页，共三十七页。,谢谢(xi xie)！,第三十六页，共三十七页。,内容(nirng)总结,人工神经元模型。神经元具有空间整合特性和阈值特性。神经元本身(bnshn)是非时变的，即其突触时延和突触强度均为常数。假设3：空间整合特性和阈值特性。该输出为1或0取决于其输入之和大于或小于内部阈值。ij 输入输出间的突触时延。是1943年心理学家McCulloch和数学家W.Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型。则由方程：w1jx1+w2jx2+w3jx3-Tj=0。谢谢,第三十七页，共三十七页。,