1、2023/2/24 1 第第7章章 循环网络循环网络 主要内容主要内容 Hopfield网络实现的自相联存储网络实现的自相联存储 稳定性分析稳定性分析 统计统计Hopfield网与网与Boltzmann机机 基本双联存储器基本双联存储器(BAM)(BAM)的结构与训练的结构与训练 几种相联存储网络几种相联存储网络 用用Hopfield网解决网解决TSP问题问题。2023/2/24 2 第第7章章 循环网络循环网络 重点重点 Hopfield网络实现的自相联存储网络实现的自相联存储 基本双联存储器的结构与训练基本双联存储器的结构与训练。难点难点 稳定性分析稳定性分析 用用Hopfield网解决网
2、解决TSP问题问题 2023/2/24 3 第第7章章 循环网络循环网络 7.1 循环网络的组织循环网络的组织 7.2 稳定性分析稳定性分析 7.3 统计统计Hopfield网与网与Boltzmann机机 7.4 双联存储器的结构双联存储器的结构 7.5 异相联存储异相联存储 7.6 其它的双联存储器其它的双联存储器 7.7 Hopfield网用于解决网用于解决TSP问题问题 2023/2/24 4 第第7章章 循环网络循环网络 循环网络称为循环网络称为Hopfield网网 循环网络对输入信号的处理是一个逐渐循环网络对输入信号的处理是一个逐渐“修复修复”、“加强加强”的过程。的过程。强烈变化强
3、烈变化 较弱的变化较弱的变化 不变化不变化 2023/2/24 5 7.1 7.1 循环网络的组织循环网络的组织 网络结构网络结构 X1 Xn o1 om 2023/2/24 6 7.1 7.1 循环网络的组织循环网络的组织 联接：联接：神经元之间都是互联的神经元之间都是互联的wij，每个神经每个神经元都没有到自身的联接元都没有到自身的联接wii=0。神经元个数神经元个数h，输入向量维数输入向量维数n，输出向量维输出向量维数数m。hnn，hmhm，nn1 1，mm1 1。神经元神经元：输入：输入、输出输出、隐藏隐藏 状态变化：状态变化：非同步非同步、同步同步 输入向量输入向量：X=(x1，x2
4、，xn)输出向量输出向量：O=(o1，o2，om)2023/2/24 7 7.1 7.1 循环网络的组织循环网络的组织 神经元的网络输入：神经元的网络输入：hjiijiijjxownet&1阈值函数阈值函数：oj=1 if netjj 0 if netj0，ok=1&ok=0，ok由由0 0变到变到1，netkk，netk-k0 所以，所以，-(netk-k)ok0故故 0 结论：网络的目标函数总是下降结论：网络的目标函数总是下降 ok0,ok=0&ok=1，ok由由1 1变到变到0 netkk，netk-k0 -(netk-k)ok0故故 r 则使则使ANi的状态为的状态为1，否则使否则使A
5、Ni的状态为的状态为0；3 3 逐渐降低温度逐渐降低温度T，如果温度足够低，则算法结束。，如果温度足够低，则算法结束。否则，重复否则，重复2 2023/2/24 41 BoltzmannBoltzmann机的训练机的训练 Boltzmann机是多级循环网络机是多级循环网络，是是Hopfield网网的一种扩展的一种扩展。神经元神经元ANi实际输出状态实际输出状态oi=1的概率为：的概率为：)exp(11TnetpiiiT T趋近于趋近于0 0时时，神经元的状态不再具有随机性神经元的状态不再具有随机性，BoltzmannBoltzmann机退化成一般机退化成一般HopfieldHopfield网网
6、。2023/2/24 42 BoltzmannBoltzmann机的训练机的训练 2023/2/24 43 BoltzmannBoltzmann机的训练机的训练 2023/2/24 44 BoltzmannBoltzmann机的训练机的训练 Boltzmann机是多级循环网络机是多级循环网络，是是Hopfield网网的一种扩展的一种扩展。神经元神经元ANi网络输入为：网络输入为：jnjijiownetT T趋近于趋近于0 0时时，神经元的状态不再具有随机性神经元的状态不再具有随机性，BoltzmannBoltzmann机退化成一般机退化成一般HopfieldHopfield网网。2023/2/
7、24 45 BoltzmannBoltzmann机的训练机的训练 神经元神经元ANi实际输出状态实际输出状态oi=1的概率为的概率为 )1(*)1(1)0(/iioPeopopTuii神经元神经元ANi实际输出状态实际输出状态oi=0的概率为的概率为 )exp(11)1(Tnetopiii显然显然 越大越大，则则 oi 取取1 1的概率越大的概率越大 inet2023/2/24 46 BoltzmannBoltzmann机的训练机的训练 神经元神经元ANi在运行中状态发生了变化在运行中状态发生了变化 hjjjjijiijooowE1jijijiiiowoEoEE)1()0(BoltzmannB
8、oltzmann机的能量函数机的能量函数(一致性函数一致性函数 )2023/2/24 47 BoltzmannBoltzmann机的训练机的训练 如果如果 i0，神经元神经元ANi处于状态处于状态1的概率的概率就应该越大就应该越大，否则否则，神经元神经元ANi处于状态处于状态0 0的概就应该越大的概就应该越大。i的值越大，神经元的值越大，神经元ANi应该处于状态应该处于状态1的概率就应该越大。反之，的概率就应该越大。反之，i的值越小，的值越小，神经元神经元ANi应该处于状态应该处于状态1的概率就应该越的概率就应该越小。从而，小。从而，oi=1的概率为：的概率为：)exp(11TEpii2023
9、/2/24 48 BoltzmannBoltzmann机的训练机的训练 处于状态处于状态a，b的概率的概率Pa和和Pb，对应于，对应于oi=1和和oi=0，其它的神经元在，其它的神经元在a，b状态下不变状态下不变 Pa=pi Pb =（1 1-pi）)TEEexp(PPbaba当系统的温度较低时，如果当系统的温度较低时，如果EaPb：网络处于较低能量状态的概率较大网络处于较低能量状态的概率较大 2023/2/24 49 BoltzmannBoltzmann机的训练机的训练 网络进行足够多次迭代后网络进行足够多次迭代后，处于某状态的处于某状态的概率与此状态下的能量和此时系统的温度有概率与此状态下
10、的能量和此时系统的温度有关关。由于高温时网络的各个状态出现的概率基由于高温时网络的各个状态出现的概率基本相同本相同，这就给它逃离局部极小点提供了机这就给它逃离局部极小点提供了机会会。2023/2/24 50 BoltzmannBoltzmann机的训练机的训练 1986年年，Hinton和和Sejnowski训练方法训练方法 自由概率自由概率P Pijij-：没有输入时没有输入时ANi和和ANj同时同时处于激发状态的概率处于激发状态的概率。约束概率约束概率P Pijij+：加上输入后：加上输入后ANi和和ANj同时同时处于激发状态的概率处于激发状态的概率。联接权修改量联接权修改量：wij=(P
11、ij+-Pij-)2023/2/24 51 算法算法7 7-2 Boltzmann2 Boltzmann机训练算法机训练算法 1 1 计算约束概率计算约束概率 1.1 对样本集中每个样本对样本集中每个样本，执行如下操作：执行如下操作：1.1.1 将样本加在网络上将样本加在网络上（输入向量及其输入向量及其对应的输出向量对应的输出向量）；1.1.2 让网络寻找平衡；让网络寻找平衡；1.1.3 记录下所有神经元的状态；记录下所有神经元的状态；1.2 计算对所有的样本计算对所有的样本，ANi和和ANj的状态同的状态同时为时为1的概率的概率P Pijij+；2023/2/24 52 算法算法7 7-2
12、Boltzmann2 Boltzmann机训练算法机训练算法 2 计算自由概率计算自由概率 2.1 从一个随机状态开始从一个随机状态开始，不加输入不加输入、输输出出，让网络自由运行让网络自由运行，并且在运行过程中并且在运行过程中多次纪录网络的状态；多次纪录网络的状态；2.2 对所有的对所有的ANi和和ANj，计算它们的状计算它们的状态同时为态同时为1的概率的概率P Pijij-；3 对权矩阵进行调整对权矩阵进行调整 wij=(Pij+-Pij-)2023/2/24 53 7.7 Hopfield7.7 Hopfield网解决网解决TSPTSP问题问题 1985年，年，J.J.Hopfield和
13、和D.W.Tank用循环用循环网求解网求解TSP。试验表明，当城市的个数不超。试验表明，当城市的个数不超过过30时，多可以给出最优解的近似解。而时，多可以给出最优解的近似解。而当城市的个数超过当城市的个数超过30时，最终的结果就不时，最终的结果就不太理想了太理想了 设问题中含有设问题中含有n个城市个城市,用用n*n个神经元构成个神经元构成网络网络 2023/2/24 54 应用应用CHNN网解决优化计算问题网解决优化计算问题 用用CHNN网解决优化问题一般需要以下几个步骤网解决优化问题一般需要以下几个步骤：(1)对于特定的问题，要选择一种合适的表示方法对于特定的问题，要选择一种合适的表示方法，
14、使得神经网络的输出与问题的解相对应；，使得神经网络的输出与问题的解相对应；(2)构造网络能量函数，使其最小值对应于问题的构造网络能量函数，使其最小值对应于问题的最佳解；最佳解；(3)将能量函数与将能量函数与Lyapunov函数函数标准形式进行比较标准形式进行比较，可推出神经网络的权值与偏流的表达式，从而确定，可推出神经网络的权值与偏流的表达式，从而确定了网络的结构；了网络的结构；(4)由网络结构建立网络的电子线路并运行，其稳由网络结构建立网络的电子线路并运行，其稳态就是在一定条件下的问题优化解。也可以编程模拟态就是在一定条件下的问题优化解。也可以编程模拟网络的运行方式，在计算机上实现。网络的运
15、行方式，在计算机上实现。2023/2/24 55 TSP问题是一个经典的人工智能难题。对问题是一个经典的人工智能难题。对n个城个城市而言，可能的路径总数为市而言，可能的路径总数为n!2n。随着。随着n的增的增加，路径数将按指数率急剧增长，即所谓“指加，路径数将按指数率急剧增长，即所谓“指数爆炸”。当数爆炸”。当n值较大时，用传统的数字计算机值较大时，用传统的数字计算机也无法在有限时间内寻得答案。例如，也无法在有限时间内寻得答案。例如，n50时时，即使用每秒，即使用每秒1亿次运算速度的巨型计算机按穷亿次运算速度的巨型计算机按穷举搜索法，也需要举搜索法，也需要51048年时间。即使是年时间。即使是
16、n20个城市，也需求解个城市，也需求解350年。年。1985年年Hopfield和和Tank两人用两人用CHNN网络网络为解决为解决TSP难题开辟了一条崭新的途径，获得难题开辟了一条崭新的途径，获得了巨大的成功。了巨大的成功。2023/2/24 56 其基本思想是把其基本思想是把TSP问题映射到问题映射到CHNN网网络中去，并设法用网络能量代表路径总长。这络中去，并设法用网络能量代表路径总长。这样，当网络的能量随着模拟电子线路状态的变样，当网络的能量随着模拟电子线路状态的变迁，最终收敛于极小值迁，最终收敛于极小值(或最小值或最小值)时，问题的较时，问题的较佳解佳解(或最佳解或最佳解)便随之求得。此外，由于模拟电便随之求得。此外，由于模拟电子线路中的全部元件都是并行工作的，所以求子线路中的全部元件都是并行工作的，所以求解时间与城市数的多少无关，仅是运算放大器解时间与城市数的多少无关，仅是运算放大器工作所需的微秒级时间，显著地提高了求解速工作所需的微秒级时间，显著地提高了求解速度，充分展示了神经网络的巨大优越性。度，充分展示了神经网络的巨大优越性。2023/2/24 57 1TSP问题描述
