1、人工神经元模型 MP模型、感知器模型及其训练学习算法 树突树突（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）大脑皮层，每立方毫米中，神经元超过104个，连接长度超过几公里 大脑神经元的工作原理大脑神经元的工作原理 二、人工神经网络的历史二、人工神经网络的历史 早期阶段（1960s）1943 McCulloch和和Pitts 提出神经元的数学模型（提出神经元的数学模型（MP模型）模型）1949 Hebb 提出权重加强的学习机理 1957 Rosenblatt 感知机（perceptron）有认知学习功能 1969 Mingsky 专著“perceptr
2、on”证明线性（单层）感知 机不能解决XOR问题，ANN进入低潮 二、人工神经网络的历史二、人工神经网络的历史 过渡期（1970s）低潮中，许多学者深入研究ANN理论、模型。MIT的Marr提出视觉模型 Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一 ANN的数学理论 Fuknshima 神经认知网络理论 芬兰的Kohonen 自组织联想记忆 二、人工神经网络的历史二、人工神经网络的历史 高潮（1980）1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题 1987.
3、6 ICNN（International Conference on NN）召开 1987 加州理工 Abnmostafa，Psaitis 2D联想存储输入残缺图案也可识别 1988 AT&T Bell lab 120*120元件的ANN 1989 三菱 光学ANN芯片，32个神经元识别26个字母 1989 日立 5“硅片集成576个神经元 1990 Bell Lab 黄庭钰 数字光学处理器 1990 IBM AS400 提供ANN仿真开发环境 1992 SGI 将ANN用于航天飞机控制臂 ANN已在专家系统、智能控制等领域广泛应用 神经元建模的六点假定 神经元模型是在以下六条假设的基础上建立
4、的：神经元模型是在以下六条假设的基础上建立的：每个神经元都是一个多输入单输出的信息处理单元 神经元输入分兴奋性输入和一致性输入两种类型 神经元具有空间整合特性和阈值特性 神经元输入与输出间有固定的时滞，主要取决于突触延搁 忽略时间整合作用和不应期 神经元本身是非时变的，即其突触时延和突触强度均为常数 假设1：多输入单输出 图(a)表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。假设2：输入类型：兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元
5、产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。假设3：空间整合特性和阈值特性 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。神经元的输出 图(d)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对
6、应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。神经元模型示意图 神经元模型示意图 x1,x2,.,xn是来自其它人工神经元的信息作为该人工神经元的输入，权值w1,w2,.,wn表示各输入的连接强度。是神经元兴奋时的内部阈值，当神经元输入的加权和大于时，神经元处于兴奋状态。该输出为1或0取决于其输入之和大于或小于内部阈值 即0时，该神经元被激活，进入兴奋状态，f()=1,当0 0 ET，I=0 0 E0 0 MP模型的逻辑表示 MP模型可以表示布尔逻辑关系（与 或 非）例如逻辑与：设设T=2，I=0，E=x1W+x2W=x1+x2 当当x1=1，x2=1，E=1+1=2，
7、触发触发y=1 当当x1=1，x2=0，E=1+0=1，不触发不触发y=0 当当x1=0，x2=1，E=0+1=1，不触发不触发y=0 当当x1=0，x2=0，E=0+0=0，不触发不触发y=0 满足y=x1.x2逻辑与关系。MP模型的逻辑表示 逻辑或：令令T=1，I=0，E=x1+x2（二个兴奋性输入二个兴奋性输入）当当x1=1,x2=1,E=1+1=2,触发触发 y=1 当当x1=1,x2=0,E=1+0=1,触发触发 y=1 当当x1=0,x2=1,E=0+1=1,触发触发 y=1 当当x1=0,x2=0,E=0+0=0,不触发不触发 y=0 满足y=x1+x2逻辑或关系 MP模型的逻辑
8、表示 逻辑非：令令T=0，E=0，I=xW=x（一个抑制性输入一个抑制性输入）当当x=1，I=10,不触发不触发y=0 当当x=0，I=0，触发触发y=1 满足逻辑非关系 MP模型 能够构成逻辑与、或、非，就可进而组成任意复杂的逻辑关系，因此，MP模型是按一定方式组织起来，可以构成具有逻辑功能的神经网络。MP模型是最简单的网络，但是由于生物神经元本质上是模拟过程，过早地把物理量抽象为0和1，会丢失许多有用信息，因此神经计算应当将模拟的和数字的技术结合起来。从最简化的观点看，仍具有一定指导意义。MP模型应用 MP模型应用：可用于实现分类、模式识别等，当前已经有许多成功的基于M-P神经元模型的神经
9、网络得到应用，如BP算法，这种算法是实现人脸识别的主要算法之一。感知器（Perceptron）模型 1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，成为Perceptron,即为感知器。感知器是一种前馈网络，同层内无互连，不同层间无反馈，由下层向上层传递。其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数决定其输出。单层感知器的结构与功能都非常简单，但却是要就其他网络的基础。感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xnj=1,2,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj
10、2j1j,.,w,.w,ww)(W 设定输入向量X=(x1,x2)T 输出：则由方程：w1jx1+w2jx2-Tj=0 可以确定平面上的一条直线 感知器模型 设定输入向量X=(x1,x2,x3)T 输出：则由方程：w1jx1+w2jx2+w3jx3-Tj=0 可以确定三维空间上的一个分界平面 感知器模型 感知器的功能 感知器在线性神经元中加入了阈值函数，也称为线性阈值元。它可接受实数型信号，而输出二值离散量(0,1)。即：一个单计算节点感知器具有分类功能。v3v1v2w0w1w2w3输入输入输出输出阈值阈值u例例 用感知器实现逻辑“与”功能用感知器实现逻辑“与”功能 x1 x2 y 0 0 0
11、 0 1 0 1 0 0 1 1 1 逻辑“与”真值逻辑“与”真值表表 感知器结构感知器结构 x1 0.5 0.5 y x2 0.75 -1wix1+w2x2-T=0 0.5x1+0.5x2-0.75=0 例例 用感知器实现逻辑“与”功能用感知器实现逻辑“与”功能 感知器的学习算法 感知器的学习算法 感知器学习规则的训练步骤：(1)对各权值w0j(0),w1j(0),wnj(0)，j=1,2,m （m为计算层的节点数）赋予较小的非零随机数；(2)输入样本对Xp,dp，其中Xp=(-1,x1p,x2p,xnp)，dp为期望的输出向量（教师信号），上标p代表 样本对的模式序号，设样本集中的样本总数
12、为P，则p=1,2,P；(3)计算各节点的实际输出ojp(t)=sgnWjT(t)Xp,j=1,2,.,m；(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+djp-ojp(t)Xp,j=1,2,m,其中 为学习率，用于控制调整速度，太大 会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取01；(5)返回到步骤(2)输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。感知器学习规则的训练步骤：（1）权值初始化（2）输入样本对（3）计算输出（4）根据感知器学习规则调整权值（5）返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。谢谢！谢谢！