基于改进自适应遗传算法的BP神经网络模型研究

作者:章义来;冯旖旎 刊名:福建电脑 上传者:申秋红

【摘要】针对自适应遗传算法容易陷入局部最优值的问题,提出了改进的自适应遗传算法,并将改进的自适应遗传算法应用于神经网络权值学习和训练中,提高网络的处理能力。

全文阅读

福 建 电 脑 2007 年第 1 期基于改进自适应遗传算法的 BP 神经网络模型研究 章义来, 冯旖旎 ( 景德镇陶瓷学院 信息工程学院 江西 景德镇 333403) 【摘 要】: 针对自适应遗传算法容易陷入局部最优值的问题, 提出了改进的自适应遗传算法, 并将改进的自适应遗传算法应用于神经网络权值学习和训练中, 提高网络的处理能力。 【关键词】: 自适应遗传算法、BP 神经网络模型、模拟退火算子 0. 引言 自 1943 年美国生物学家 McCulloch W S 和 Pitts W A 提出M-P 神经元模型, 人工神经网络理论和应用的发展就十分迅速[1]。尤其是近年来, 神经网络技术已在模式识别、图像处理等方面取得了巨大的进展。在各种神经网络模型中, 反向传播网络 BP 模型是应用最广泛的, 极大地推动了神经网络的研究。但是由于传统 BP 算法属于梯度下降算法, 不可避免地存在收敛速度慢, 易陷入局部极小点等缺点。 由美国 J.Holland 教授提出的遗传算法 (Genetic Algorithm, GA) 是一种基于自然选择和模仿生物进化过程的全局优化随机搜索算法。该算法具有很好的鲁棒性, 但同时也存在容易早熟和收敛速度慢两个问题。 本文将自适应遗传算法应用于优化神经网络模型权值学习和训练中, 并提出了一种改进的自适应遗传算法, 克服了标准自适应遗传算法容易陷入局部最优值的不足。 1. 基本概念 1.1 BP 神经网络模型 神经网络是由大量简单神经元按一定规则连接构成的非线性动力学系统。目前常用的神经网络结构主要有三种: 多层前馈神经网络、自组织神经网络和 Hopfield 神经网络。其中, 多层前馈神经网络模型是目前研究最多、应用最为广泛的模型, 其包括三层[2]: 输入层, 中间层( 隐含层) 和输出层, 上下层之间各神经元实现连接, 同层之间无连接。 若输入层有 n 个神经元 x∈Rn, x=(x0, x1, ⋯⋯xn-1)T; 中间层有u 个神经元, , t=(t0, t1, ⋯⋯tu-1)T; 输出层有 m 个神经元, , y=(y0, y1, ⋯⋯ym-1)T; 输入层与中间层的连接权为 wjk(j=0, 1, ⋯n-1;k= 0, 1, ⋯u-1), 阈值为 !K; 中间层与输出层的连接权为 wkl, 阈值为 !l, 那么各层神经元的输出满足下式: (k=0, 1, ⋯u-1) (l=0, 1, ⋯m-1) 式中:f 为激活函数, 通常取 Sigmoid 函数, 即 。 1.2 自适应遗传算法 Srinivas M,Patnaik L M提出的自适应遗传算法, 参数 Pc 和Pm 能够随适应度自动改变。当种群各个体适应度趋于一致或者趋于局部最优时, 使 Pc 和 Pm 增加, 而当群体适应度比较分散时, 使 Pc 和 Pm 减少。同时, 对于适应值高于群体平均适应值的个体, 对应于较低的 Pc 和 Pm, 使该解得以保护进入下一代; 而低于平均适应值的个体, 相对应于较高的 Pc 和 Pm, 使该解被淘汰掉。因此, 自适应的 Pc 和 Pm 能够提供相对某个解的最佳 Pc 和 Pm[3]。 2. 自适应遗传算法的改进 针对自适应遗传算法容易陷入局部最优值的问题, 本文对自适应遗传算法进行相应的改进, 以使自适应遗传算法能够跳出局部最优值。 自适应遗传算法只使用选择算子、交叉算子和变异算子, 为了提高自适应遗传算法的局部搜索能力, 本文改进的自适应遗传算法继续引入两个算子-- 模拟退火算子和保留算子。模拟退 火算子是将固体

参考文献

引证文献

问答

我要提问