基于RNN汉语语言模型自适应算法研究

作者:王龙;杨俊安;刘辉;陈雷;林伟 刊名:《火力与指挥控制》 上传者:贺婉莹

【摘要】深度学习在自然语言处理中的应用越来越广泛。相比于传统的n-gram统计语言模型,循环神经网络(Recurrent Neural Network,RNN)建模技术在语言模型建模方面表现出了极大的优越性,逐渐在语音识别、机器翻译等领域中得到应用。然而,目前RNN语言模型的训练大多是离线的,对于不同的语音识别任务,训练语料与识别任务之间存在着语言差异,使语音识别系统的识别率受到影响。在采用RNN建模技术训练汉语语言模型的同时,提出一种在线RNN模型自适应(self-adaption)算法,将语音信号初步识别结果作为语料继续训练模型,使自适应后的RNN模型与识别任务之间获得最大程度的匹配。实验结果表明:自适应模型有效地减少了语言模型与识别任务之间的语言差异,对汉语词混淆网络进行重打分后,系统识别率得到进一步提升,并在实际汉语语音识别系统中得到了验证。

全文阅读

摘要:深度学习在自然语言处理中的应用越来越广泛。相比于传统的 n-gram 统计语言模型,循环神经网络(RecurrentNeuralNetwork,RNN)建模技术在语言模型建模方面表现出了极大的优越性,逐渐在语音识别、机 器 翻译等领域中得到应用。然而,目前 RNN 语言模型的训练大多是离线的,对 于 不同的语音识别任务,训练语料与识别任务之间存在着语言差异,使 语 音 识 别 系统的识别率受到影响。在采用 RNN 建模技术训练汉语语言模型的同时,提出一种在线 RNN 模型自适应(self-adaption)算法,将语音信号初步识别结果作为语料继续训练模型,使自适应后的RNN 模型与识别任务之间获得最大程度的匹配。实 验 结果表明:自适应模型有效地减少了语言模型与识别任务之间的语言差异,对 汉 语词混淆网络进行重打分后,系统识别率得到进一步提升,并在实际汉语语音识别系统中得到了验证。 关键词:语音识别,循环神经网络,语言模型,在 线 自适应中图分类号:TP391 文献标识码:A 基于 RNN 汉语语言模型自适应算法研究 * 王龙1,2,杨俊安 1,2,刘辉1,2,陈 雷 1 , 2 ,林伟3 (1.电子工程学院,合肥 230037;2.安徽省电子制约技术重点实验室,合肥 230037;3.安徽科大讯飞公司,合肥 230037) ResearchonaSelf-AdaptionAlgorithmofRecurrentNeuralNetwork BasedChineseLanguageModel WANGLong1,2 ,YANGJun-an1,2,LIUHui1,2,CHENLei1,2,LINWei3 (1.ElectronicEngineeringInstitute,Hefei230037,China;2.KeyLaboratoryofElectronicRestriction,AnhuiProvince,Hefei230037,China;3.AnhuiUSTCIFlytekCorporation,Hefei230037,China) Abstract:Deeplearningisusedmoreandmorewidelyinnaturallanguageprocessing.Compared withtheconventionaln-gramstatisticallanguagemodel,recurrentneuralnetwork(RNN)modeling technologyshowsgreatsuperiorityintheaspectoflanguagemodelmodeling,whichisgraduallyapplied inspeechrecognition,machinetranslationandotherfields.However,mostRNNlanguagemodelsare trainedoff-lineatpresent,fordifferentspeechrecognitiontasks,thereexistmanylanguagedifferences betweentrainingcorpusandrecognitiontasksthataffectstherecognitionrateofspeechrecognition systemdeeply.TheauthorsadoptRNNmodeltechnicalintrainingtheChineselanguagemodelandput fo

参考文献

引证文献

问答

我要提问