针对循环神经网络语言模型对长距离历史信息学习能力不足的问题,本文提出了结合全局词向量特征的循环神经网络语言模型。首先利用Glo Ve(Global Word Vectors)算法训练出全局词向量,然后将其作为特征向量输入到引入特征层的循环神经网...针对循环神经网络语言模型对长距离历史信息学习能力不足的问题,本文提出了结合全局词向量特征的循环神经网络语言模型。首先利用Glo Ve(Global Word Vectors)算法训练出全局词向量,然后将其作为特征向量输入到引入特征层的循环神经网络中进行训练。相对于局部词向量方法,全局词向量能够利用全局统计信息来训练出含有更加丰富的语义和句法信息词向量。为了验证新方法的性能,本文在Penn Treebank和Wall Street Journal语料库上分别进行困惑度和连续语音识别实验。实验结果表明结合全局词向量的循环神经网络语言模型的困惑度相比传统的循环神经网络语言模型降低了20.2%,同时语音识别系统的词错误率降低了18.3%。展开更多
空中危险接近事件是两机相撞事故的前兆事件,传统的依赖于分析人员知识和简单统计的致因分析模型无法适用于大量空中危险接近事件,因此提出了基于文本挖掘的空中危险接近事件致因研究框架,利用潜在狄利克雷分配模型(Latent Dirichlet Al...空中危险接近事件是两机相撞事故的前兆事件,传统的依赖于分析人员知识和简单统计的致因分析模型无法适用于大量空中危险接近事件,因此提出了基于文本挖掘的空中危险接近事件致因研究框架,利用潜在狄利克雷分配模型(Latent Dirichlet Allocation,LDA)提取空中危险接近事件致因主题和关键词,基于全局词向量模型(Global Vectors for Word Representation,GloVe)和关键词共现网络分析各个主题及其关键词之间的潜在关系,充分利用全局统计信息以准确挖掘大量事件报告。结果表明:利用LDA挖掘得到组织因素、现场运行管理和应急管理等6个主题,其中人的因素主题重要度最大;基于GloVe词向量模型分析得到现场运行管理主题与应急管理主题、陆空沟通及配合主题与人的因素主题2组主题存在较强关联;“意识”是空中危险接近事件发生的关键细节。提出的致因研究框架可以帮助安全管理人员准确认识和高效利用空中危险接近事件报告等文本数据,同时基于数据分析有效减少了人为分析的主观性,提高了致因分析的效率,为精准防控空中危险接近事件提供基于数据的科学决策支持。展开更多
文摘针对循环神经网络语言模型对长距离历史信息学习能力不足的问题,本文提出了结合全局词向量特征的循环神经网络语言模型。首先利用Glo Ve(Global Word Vectors)算法训练出全局词向量,然后将其作为特征向量输入到引入特征层的循环神经网络中进行训练。相对于局部词向量方法,全局词向量能够利用全局统计信息来训练出含有更加丰富的语义和句法信息词向量。为了验证新方法的性能,本文在Penn Treebank和Wall Street Journal语料库上分别进行困惑度和连续语音识别实验。实验结果表明结合全局词向量的循环神经网络语言模型的困惑度相比传统的循环神经网络语言模型降低了20.2%,同时语音识别系统的词错误率降低了18.3%。
文摘空中危险接近事件是两机相撞事故的前兆事件,传统的依赖于分析人员知识和简单统计的致因分析模型无法适用于大量空中危险接近事件,因此提出了基于文本挖掘的空中危险接近事件致因研究框架,利用潜在狄利克雷分配模型(Latent Dirichlet Allocation,LDA)提取空中危险接近事件致因主题和关键词,基于全局词向量模型(Global Vectors for Word Representation,GloVe)和关键词共现网络分析各个主题及其关键词之间的潜在关系,充分利用全局统计信息以准确挖掘大量事件报告。结果表明:利用LDA挖掘得到组织因素、现场运行管理和应急管理等6个主题,其中人的因素主题重要度最大;基于GloVe词向量模型分析得到现场运行管理主题与应急管理主题、陆空沟通及配合主题与人的因素主题2组主题存在较强关联;“意识”是空中危险接近事件发生的关键细节。提出的致因研究框架可以帮助安全管理人员准确认识和高效利用空中危险接近事件报告等文本数据,同时基于数据分析有效减少了人为分析的主观性,提高了致因分析的效率,为精准防控空中危险接近事件提供基于数据的科学决策支持。