1、6/26/2023,1,第7章 循环(xnhun)网络,主要内容Hopfield网络实现的自相联存储稳定性分析统计Hopfield网与Boltzmann机基本双联存储器(BAM)的结构(jigu)与训练几种相联存储网络用Hopfield网解决TSP问题。,第一页，共七十三页。,6/26/2023,2,第7章 循环(xnhun)网络,重点Hopfield网络实现的自相联存储基本双联存储器的结构与训练。难点(ndin)稳定性分析用Hopfield网解决TSP问题,第二页，共七十三页。,6/26/2023,3,第7章 循环(xnhun)网络,7.1 循环网络的组织 7.2 稳定性分析 7.3 统计H
2、opfield网与Boltzmann机 7.4 双联存储器的结构 7.5 异相联存储 7.6 其它(qt)的双联存储器 7.7 Hopfield网用于解决TSP问题,第三页，共七十三页。,6/26/2023,4,第7章 循环(xnhun)网络,循环(xnhun)网络称为Hopfield网,循环网络对输入信号的处理是一个逐渐“修复(xif)”、“加强”的过程。,强烈变化,较弱的变化,不变化,第四页，共七十三页。,6/26/2023,5,7.1 循环网络(wnglu)的组织,网络结构,第五页，共七十三页。,6/26/2023,6,7.1 循环网络(wnglu)的组织,联接：神经元之间都是互联的wi
3、j，每个神经元都没有到自身的联接wii=0。神经元个数h，输入(shr)向量维数n，输出向量维数m。hn，hm，n1，m1。神经元：输入、输出、隐藏状态变化：非同步、同步输入向量：X=(x1，x2，xn)输出向量：O=(o1，o2，om),第六页，共七十三页。,6/26/2023,7,7.1 循环(xnhun)网络的组织,神经元的网络(wnglu)输入：,阈值(y zh)函数：oj=,1if netjj,0if netjj,ojif netj=j,第七页，共七十三页。,6/26/2023,8,最基本(jbn)的Hopfield网,n=m=h,第八页，共七十三页。,6/26/2023,9,最基本
4、(jbn)的Hopfield网,希望网络的联接(lin ji)矩阵存放的是一组这样的样本，在联想过程中实现对信息的“修复”和“加强”，要求：它的输入向量和输出向量是相同的向量，即，X=Y 样本集：S=Y1，Y2，Ys,第九页，共七十三页。,6/26/2023,10,最基本(jbn)的Hopfield网,wii=01inW是一个对角线元素为0的对称矩阵：W=Y1T Y1+Y2TY2+YsTYs-W0W是各个(gg)样本向量自身的外积的和网络实现的是自相联映射。,权矩阵(j zhn)：wij=,ij,第十页，共七十三页。,6/26/2023,11,最基本(jbn)的Hopfield网,第十一页，共
5、七十三页。,6/26/2023,12,第十二页，共七十三页。,6/26/2023,13,由式7一3知，对任意(rny)的i和j(ij),所以(suy)，W是一个对角线元素为0的对称矩阵。,与前面遇到过的训练方法不同，在这里是根据样本集直接地计算出网络的联接矩阵。显然，这种训练方法效率要高许多。另外，由于W是各个样本向量(xingling)自身的外积的和，所以，有时称该网络实现的是自相联映射。,第十三页，共七十三页。,6/26/2023,14,最基本(jbn)的Hopfield网,激活函数：改为S形函数后，系统就成为一个连续系统 多级循环网络除输出向量被反馈到输入层外，其它各层之间的信号传送(c
6、hun sn)均执行如下规定：第i-1层神经元的输出经过第i个连接矩阵被送入第i层。一般不考虑越层的信号传送、中间的信号反馈和同层的神经元之间进行信号的直接传送,第十四页，共七十三页。,6/26/2023,15,网络的异步工作方式 网络的异步工作方式是一种串行方式。网络运行时每次只有一个神经元i按下式进行状态的调整计算(j sun)，其他神经元的状态均保持不变，即,第十五页，共七十三页。,6/26/2023,16,神经元状态的调整次序可以按某种规定的次序进行(jnxng)，也可以随机选定。每次神经元在调整状态时，根据其当前净输入值的正负决定下一时刻的状态，因此其状态可能会发生变化，也可能保持原
7、状。下次调整其他神经元状态时，本次的调整结果即在下一个神经元的净输入中发挥作用。网络的同步工作方式 网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即 xj(t+1)sgnnetj(t)j1，2,n,第十六页，共七十三页。,6/26/2023,17,7.2 稳定性分析(fnx),网络的稳定性是与收敛性不同的问题 Cohen和Grossberg1983年:Hopfield网络的稳定性定理 如果(rgu)Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数 网络的稳定性与吸引子,第十七页，共七十三页。,6/2
8、6/2023,18,反馈网络是一种能存储若干个预先(yxin)设置的稳定点(状态)的网络。运行时，当向该网络作用一个起原始推动作用的初始输入模式后，网络便将其输出反馈回来作为下次的输入。经若干次循环(迭代)之后，在网络结构满足一定条件的前提下，网络最终将会稳定在某一预先(yxin)设定的稳定点。设X(0)为网络的初始激活向量，它仅在初始瞬间t0时作用于网络，起原始推动作用。X(0)移去之后，网络处于自激状态，即由反馈回来的向量X(1)作为下一次的输入取而代之。反馈网络作为非线性动力学系统，具有丰富的动态特性，如稳定性、有限环状态和混沌(chaos)状态等。,第十八页，共七十三页。,6/26/2
9、023,19,1网络的稳定性 由网络工作状态的分析可知，DHNN网实质上是一个离散的非线性动力学系统(xtng)。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)X(t)，则称该网络是稳定的,第十九页，共七十三页。,6/26/2023,20,如果网络是稳定的，它可以从任一初态收敛到一个(y)稳态，如图62(a)所示；若网络是不稳定的，由于DHNN网每个节点的状态只有1和-l 两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络，图62(b)给出了它的相图。如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为
10、无穷多个，轨迹也不发散到无穷远，这种现象称为混沌，其相图如图62(c)所示。对于DHNN网，由于网络的状态是有限的，因此不可能出现混沌现象。,第二十页，共七十三页。,6/26/2023,21,网络的稳定性与下面将要介绍的能量函数密切相关，利用网络的能量函数可实现优化求解功能。网络的能量函数在网络状态(zhungti)按一定规则变化时，能自动趋向能量的极小点。如果把一个待求解问题的目标函数以网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态(zhungti)就是问题的最优解。网络的初态可视为问题的初始解，而网络从初态向稳态的收敛过程便是优化计算过程，这种寻优搜索是在网络演变 过程中
11、自动完成的。,第二十一页，共七十三页。,6/26/2023,22,2吸引子与能量函数 网络达到稳定时的状态X，称为网络的吸引子。一个动力学系统的最终行为是由它的吸引子决定的，吸引子的存在为信息的分布存储记忆和神经优化计算提供了基础(jch)。如果把吸引子视为问题的解，那么从初态朝吸引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。,第二十二页，共七十三页。,6/26/2023,23,下面给出DHNN网吸引子的定义和定理。定义71 若网络的状态X满足Xf(WX T)，则称X为网
12、络的吸引子。能使网络稳定在同一吸引子的所有(suyu)初态的集合，称为该吸引子的吸引域。下面给出关于吸引域的两个定义。定义72 若Xa是吸引子，对于异步方式，若存在一个调整次序，使网络可以从状态X演变到Xa，则称X弱吸引到Xa；若对于任意调整次序，网络都可以从状态X演变到 Xa，则称X强吸引到Xa。,第二十三页，共七十三页。,6/26/2023,24,定义73 若对某些X，有X弱吸引到吸引子Xa，则称这些X的集合为Xa的弱吸引域；若对某些X，有X强吸引到吸引子Xa，则称这些X的集合为Xa的强吸引域。欲使反馈网络(wnglu)具有联想能力，每个吸引子都应该具有一定的吸引域。只有这样，对于带有一定
13、噪声或缺损的初始样本，网络(wnglu)才能经过动态演变而稳定到某一吸引子状态，从而实现正确联想。反馈网络(wnglu)设计的目的就是要使网络(wnglu)能落到期望的稳定点(问题的解)上，并且还要具有尽可能大的吸引域，以增强联想功能。,第二十四页，共七十三页。,6/26/2023,25,例62 有一DHNN网，n4，Tj0，jl，2，3，4，向量Xa、Xb和权值矩阵(j zhn)W分别为,检验Xa和Xb是否(sh fu)为网络的吸引子，并考察其是否(sh fu)具有联想记忆能力。,第二十五页，共七十三页。,6/26/2023,26,解 本例要求验证(ynzhng)吸引子和检查吸引域，下面分两
14、步进行。检验吸引子 由吸引子定义,第二十六页，共七十三页。,6/26/2023,27,所以Xa是网络的吸引子，因为XbXa，由吸引子的性质1知，Xb也是网络的吸引子。考察联想记忆能力 设有样本Xl(1，1，1，1)T、X2(1，1，1，1)T、X3(1，1，1，1)T，试考察网络以异步方式工作时两个吸引子对3个样本的吸引能力。令网络初态X(0)X1(1，1，1，1)T。设神经元状态(zhungti)调整次序为1234，有 X(0)(1，1，1，1)TX(1)(1，1，1，1)TXa 可以看出该样本比较接近吸引子Xa，事实上只按异步方式调整了一步，样本X1即收敛于Xa。,第二十七页，共七十三页。
15、,6/26/2023,28,令网络(wnglu)初态X(0)X2(1，1，1，1)T。设神经元状态调整次序为1234，有X(0)(1,1,1,1)TX(1)(1,1,1,1)TXb 可以看出样本X2比较接近吸引子Xb，按异步方式调整一步后，样本X2收敛于Xb。令网络初态X(0)X3(1,1,1,1)T，它与两个吸引子的海明距离相等。若设神经元状态调整次序为1234，有 X(0)(1,1,1,1)TX(1)(1,1,1,1)T X(2)(l,1,l,1)TXb,第二十八页，共七十三页。,6/26/2023,29,若将神经元状态调整次序改为3412，则有 X(0)=(1,1,1,1)TX(1)(1
16、,1,1,1)TX(2)(1,1,l,1)TXa 从本例可以看出，当网络的异步调整次序一定时，最终稳定于哪个(n ge)吸引子与其初态有关；而对于确定的初态，网络最终稳定于哪个(n ge)吸引子与其异步调整次序有关。,第二十九页，共七十三页。,6/26/2023,30,定理71 对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。下面通过对能量函数的分析(fnx)对定理71进行证明。定义网络的能量函数为：,第三十页，共七十三页。,6/26/2023,31,第三十一页，共七十三页。,6/26/2023,32,第三十二页，共七十三页。,6/26/2023,33,Lyapunov函数(hnsh)能量函数,作为(zuwi)网络的稳定性度量wijoioj：网络的一致性测度。xjoj：神经元的输入和输出的一致性测度。joj：神经元自身的稳定性的测度。,第三十三页，共七十三页。,6/26/2023,34,当ANk的状态(zhungti)从ok变成ok,1、ANk是输入(shr)神经元,第三十四页，共七十三页。,6/26/2023,35,当AN
