基于改进sigmoid激活函数的深度神经网络训练算法研究

作者:黄毅;段修生;孙世宇;郎巍; 刊名:计算机测量与控制 上传者:黄涛

【摘要】针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数;个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效地增强了深度神经网络的训练;用DBN对MNIST数据集进行数字分类实验,实验表明双参数sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。

全文阅读

计 算 机 测 量 与 控 制 . 2 0 1 7 .2 5 ( 2 )丨设 计 与 应 用 ?1 2 6? Com pute rM eas u re men t&Cont rol v1 ̄ ̄J/U 文 章 编 号 :1 6 7 1- 45 9 8 ( 20 1 7 ) 0 2- 0 1 2 6- 04D( )I : 1 0 .1 6 52 6/j .c nki.1 1 - 4 76 2/t p .20 1 7 .02 .0 35中 图 分 类 号 : TP 1 8 3文 献 标 识 码 :A基 于 改 进 sigmoid 激 活 函 数 的 深 度 神 经 网 络训 练 算 法 研 究 4毅 \ 段 垮 4 1 , 私 普 守 \ 郎 巍 2 ( 1 ? 军 械工 程 学 院 电 子 与 光学工 程 系 , 石 家 庄 0 5 0003 ;2 .7 7 1 5 6 部 队 , 四 川 乐 山6 1 4 000 ) 摘 要 : 针对 深 度 神 经 网 络 训 练 过 程 中 残 差 随 着 其 传播 深 度 越 来 越 小 而 使 底 层 网 络 无 法 得 到 有 效 训 练 的 问 题 , 通 过 分 析 传 统 si g moid 激 活 函 数应 用 于 深 度 神 经 网 络 的 局 限性 , 提 出 双 参 数 si gm o id 激 活 函 数 ; 个 参 数 保 证 激 活 函 数 的 输 人 集 中 坐 标 原 点 两 侧 , 避 免 了 激 活 函数进 入 饱 和 区 , 一 个 参 数 抑 制 残 差 衰 减 的 速 度 , 双 参 数 结 合 有 效 地 增 强 了 深度 神 经 网 络 的 训 练 ; 用 DBN 对 MN I ST 数 据 集 进 行 数 字 分 类 实 验 , 实 验 表 明 双参 数 si gmo id 激 活 函 数 能 够 直 接 应 用 于无 预训 练 深度 神 经 网 络 , 而 且提 高 了si gmo id 激 活 函 数 在 有 预 训 练 深 度 神 经 网 络 中 的 训 练 效 果 。 关 键 词 : 深 度 神 经 网 络 ; 残 差 衰 减 ; si gmoid 激 活 函 数 AStudyofTrai n i ngAlgorithminDeepN e uralNetworksBasedon SigmoidActi vationFun ction H u a ngYi 1 ,D u a nX i u s he ng 1 ,S u nShi y u 1 ,La n gW ei2 ( 1 .Depa rt me n tofEl ec t ro ni ca ndOpt ic alEng inee ri ng ,Ord n a n c eEng in ee r in gColle ge ,Shij iaz h u a n g0 5 0003 ,Chi na ; 2 .7 7 1 5 6A rm y ?Lesha n6 1 4000 ,China ) A bst ract :Aim inga tt hep robl e mt ha tres id u ale r ro rge t ss ma ll e rwit ht hed e p t hofpro pagati o nin c r ea s inga ndt h ebo t t o mofDNNt ra i n s in e ffect ive ,byin v e s t i gati n gt h elimit a t io n

参考文献

引证文献

问答

我要提问