基于自适应粒子群优化算法的神经网络的优化研究

作者:李辉;蔡敏;李宇;李跃志 刊名:江西师范大学学报(自然科学版) 上传者:王丽萍

【摘要】针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的自适应粒子群优化算法用于神经网络的训练.该算法通过改进自适应搜索策略以提高网络泛化性能,并结合Ionosphere雷达信号分类数据集进行仿真测试.研究结果表明:基于自适应粒子群优化算法训练的神经网络在分类准确率和分类误差上明显优于传统的BP算法,且很好地提高了网络泛化能力和优化效果.

全文阅读

第 34卷第 6期 江西师范大学学报 (自然科学版 ) Vol. 34 No. 6 2010年 11月   JOURNAL OF J IANGXINORMAL UN IVERSITY(NATURAL SCIENCE)  Nov. 2010 收稿日期 : 20100422 基金项目 :国家自然科学基金 (60802030)资助项目. 作者简介 :李  辉 (19852) ,男 ,安徽淮北人 ,硕士研究生 ,主要从事模式识别与智能系统的研究. 文章编号 : 100025862 (2010) 060632204 基于自适应粒子群优化算法的神经网络的优化研究 李  辉 ,  蔡  敏 ,  李  宇 ,  李跃志 (海军指挥学院埔口分院 信息战系 ,江苏 南京  211800) 摘要:针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷 ,提出一种新的自适应粒子群优化算法用于神经网络的训练. 该算法通过改进自适应搜索策略以提高网络泛化性能 ,并结合 Ionosphere雷达信号分类数据集进行仿真测试. 研究结果表明 :基于自适应粒子群优化算法训练的神经网络在分类准确率和分类误差上明显优于传统的 BP算法 ,且很好地提高了网络泛化能力和优化效果. 关键词:神经网络 ;自适应粒子群优化算法 ;仿真中图分类号: TP 301. 6    文献标识码:A 自人工神经网络 (本文后面简称为“神经网络 ”)创立以来 ,人们结合人脑神经网络系统的特点 ,不断地完善理论 ,特别是前向神经网络和 BP算法已经被广泛应用于图像处理、模式识别、非线性优化等领域 [1 ]. 然而 ,BP算法虽然具有简单可塑的优点 ,但它是基于梯度的方法 ,对于初始权向量异常敏感 ,不同的初始权向量可能导致完全不同的结果 ,且存在着容易陷入局部极值和收敛速度慢等缺点. 粒子群优化算法是采用实数求解 ,并且需要调节的参数较少 ,易于实现 ,是一种通用的全局优化算法 [2 ]. 因此 ,根据两者之间优缺点互补的改进思路 ,粒子群优化算法正逐渐被应用于神经网络训练中去. 本文研究神经网络基于改进粒子群优化的学习算法 ,将改进的粒子群优化算法用于神经网络的学习训练 ,并与基本的 BP神经网络进行比较. 1 BP神经网络 BP神经网络一般由输入层、隐含层和输出层组成. 对于输入信号 ,先向前传播到隐节点 ,经过节点作用函数后 ,再把隐节点的输出信息传播到输出节点 ,最后输出结果. 节点的作用函数通常选取 S型函数. BP算法的学习过程分为正向传播和反向传播过程. 如果正向传播输出的误差达不到预期精度 ,则沿误差的负梯度方向反复修改各层神经元的权值和阈值 ,直至网络全局误差信号最小 [324 ]. 由于传统 BP算法基于梯度下降 法 ,而梯度下降法通常具有收敛速度慢、易陷入局部极小值和振荡等缺点. 2 改进的粒子群算法 2. 1 基本粒子群算法 科学家通过对鸟群飞行的研究发现 :如果一群鸟随机寻找食物 ,且整个区域只有一块食物 ,那么找到食物最有效的办法就是搜寻目前距离食物最近鸟的周围区域. 虽然鸟只是追踪它有限的几个邻居 ,但最终的整体结果是整个鸟群好像在一个中心的控制下 ,即复杂的全局行为是由简单规则的相互作用引起的. 粒子群优化算法就是从这种生物种群特性而得出的. 在粒子群优化算法中 ,每个优化问题潜在的解都可以想象成 n维搜索空间上的一个点 ,称之为“粒子 ” . 粒子在搜索空间中以一定的速度飞行 ,其速度是由它本身的飞行经验和同伴的飞行经验来动态调整. 自己的飞行经验即目标函数决定的适应值和到目

参考文献

引证文献

问答

我要提问