基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

联合吸收马尔可夫链和骨架映射的视频分割

因严重遮挡和剧烈形变等挑战长期共存,精准鲁棒的视频分割已成为计算机视觉的热点之一.构建联合吸收马尔可夫链和骨架映射的视频分割方法,经由“预分割—后优化—再提升”逐步递进地生成精准目标轮廓.在预分割阶段,基于孪生网络和区域生成网络获取目标感兴趣区域,建立这些区域内超像素的吸收马尔可夫链,计算出超像素的前景/背景标签.吸收马尔可夫链可灵活有效地感知和传播目标特征,能从复杂场景初步预分割出目标物体.后优化阶段,设计短期时空线索模型和长期时空线索模型,以获取目标的短期变化规律和长期稳定特征,进而优化超像素标签,降低相似物体和噪声带来的误差.在再提升阶段,为减少优化结果的边缘毛刺和不连贯,基于超像素标签和位置,提出前景骨架和背景骨架的自动生成算法,并构建基于编解码的骨架映射网络,以学习出像素级目标轮廓,最终得到精准视频分割结果.标准数据集的大量实验表明:所提方法优于现有主流视频分割方法,能够产生具有更高区域相似度和轮廓精准度的分割结果.

基于片段充电数据和DEKF-WNN-WLSTM的锂电池健康状态实时估计

实时准确地评估电动汽车锂电池健康状态(SOH)对电动汽车的稳定行驶至关重要。因此,该文提出一种基于锂电池日常片段充电数据和双扩展卡尔曼滤波-小波神经网络-小波长短时记忆神经网络(DEKF-WNN-WLSTM)的电池全充时间估计模型,进而提高了片段充电数据评估电池健康状态的准确度。首先,设计双扩展卡尔曼滤波预测-校正算法,分别用来估计片段充电数据对应的全充时间和校正扩展卡尔曼滤波的状态初值,以提高估计的准确性。然后,设计了小波神经网络-小波长短时神经网络来学习扩展卡尔曼滤波递推过程的观测值。最后,通过实验仿真,验证了所提算法在锂电池健康状态实时估算中的准确性和有效性。

基于分段预测及天气相似日选择的区域电网短期负荷预测方法

为了提高对低谷、午间高峰、午间低谷、晚间高峰时段的负荷预测精度,提出一种基于分段预测及天气相似日选择的短期负荷预测方法。首先,分析包括气象及经济在内的不同因素对区域电网不同时段负荷的影响,并选取相关特征构建训练集;其次,采用长短期记忆神经网络模型实现对不同时间点的负荷预测;之后,利用互信息及欧式距离选取与待预测日天气条件接近的相似日,并将该日负荷曲线作为参考,与前述分段负荷预测结果结合作为待预测日的负荷预测结果。实验结果表明,所提出的短期负荷预测方法能够有效提高短期负荷预测精度,特别是对低谷、午间高峰、午间低谷、晚间高峰时段的预测精度有明显提升。

双向循环网络中文分词模型

针对统计方法的中文分词模型主要依赖于特征工程,难以捕捉句子中长距离依赖关系等问题,提出一种双向循环网络中文分词模型.为能有效获取待分类字符的上下文特征,避免局部窗口大小的限制,使用长短时记忆网络(Long Short-Term M emory Neural Netw ork,LSTM)作为神经网络隐藏层,同时增加一层反向LSTM抽取字符的将来信息特征.提出一种语言模型预训练的网络权值初始化方法,该模型同时得到中文字符embeddings分布式向量特征.在标准分词数据集上测试表明该模型取得比以往统计标注方法更好的效果.通过对比实验结果发现深层神经网络能提取出不逊于人工总结的分词特征.

高铁长大隧道洞内CPII网分多段建网方案探讨

现行高速铁路测量规范中规定:无砟轨道隧道洞内CPII控制网应在隧道贯通后一次性进行建网测量。然而,由于施工工期紧,一些高铁长大隧道洞内CPII控制网不得不分多段进行建网测量。以宝峰隧道洞内CPII控制网分三段建网为例,提出高速铁路长大隧道洞内CPII控制网分多段建网的测量技术,并且进行分析探讨。利用提出的自由测站边角交会网和交叉导线网混合构网的方法,以及段与段之间搭接数据顺推处理的技术,能够建立满足精度要求的洞内CPII控制网,并且避免各段单独建网时搭接误差大而难以处理的风险。该方案值得在高速铁路长大隧道洞内CPII控制网分多段建网时应用。

基于IPv6的WIA-PA网络优化AODV路由算法

将IPv6应用到WIA-PA网络中存在地址转换困难、路由发现开销大等问题。结合工业无线WIA-PA网络的双层通信架构及IPv6地址分配方式,提出一种应用于WIA-PA网络的分段式无状态地址编址策略,将WIA-PA网络地址转换为IPV6地址;最后利用环形层次路由搜索策略对AODV路由进行优化,提高路由发现效率,并降低数据报文间的冲突几率。实验结果表明,该编址方法能够在WIA-PA网络快速实现IPv6地址转换,改进后路由算法能有效提高数据传输过程中的报文投递率并降低端到端时延。

基于双向长短时记忆模型的中文分词方法

中文分词是中文自然语言处理中的关键基础技术之一.目前,传统分词算法依赖于特征工程,而验证特征的有效性需要大量的工作.基于神经网络的深度学习算法的兴起使得模型自动学习特征成为可能.文中基于深度学习中的双向长短时记忆(BLSTM)神经网络模型对中文分词进行了研究.首先从大规模语料中学习中文字的语义向量,再将字向量应用于BLSTM模型实现分词,并在简体中文数据集(PKU、MSRA、CTB)和繁体中文数据集(HKCity U)等数据集上进行了实验.实验表明,在不依赖特征工程的情况下,基于BLSTM的中文分词方法仍可取得很好的效果.

单洞对向超特长隧道通风方案优化研究

总长7.954km的巴朗山隧道为单洞双向交通,为国内最长的单洞公路隧道。设计采用平导压入式分段纵向式通风方式。通过建立通风网络进行优化,计算出随着横通道打开条数的增多,通风能耗成一个下降趋势,当横通道全部打开时,通风能耗最少。但横通道全部打开,通风系统较为复杂,需要在各条横通道间设置风窗调节,实施及运营管理较为复杂,建议开启三条横通道送风。针对巴朗山隧道具体工况,通过建立目标函数,得出开启三条横通道的位置除了中间第五条横通道开启外,左侧开启的一条横通道在距洞口2 284 m,右侧开启的一条横通道在距洞口2 192 m处所需风机风压最小,为最节能横通道位置。

基于时空特征的奶牛视频行为识别

准确、高效的奶牛行为识别有助于疾病检测、发现异常,是感知奶牛健康的关键。通过分析奶牛在牛场中各时段的行为,提出一种基于时空特征的奶牛行为识别模型,该模型在时域段网络(TSN)的基础上融合了时态移位模块(TSM)、特征注意单元(FAU)和长短期记忆(LSTM)网络。首先,利用TSM融合时间信息以提高时序建模能力,并将时序建模后的视频帧输入TSN。其次,利用FAU融合高分辨率空间信息和低分辨率语义信息,增强模型空间特征的学习能力。最后,由LSTM聚合过去和当前信息进行奶牛行为分类。实验表明,该方法对进食、行走、躺卧、站立行为识别准确率分别为76.7%、90.0%、68.0%、96.0%,平均行为识别准确率为82.6%,和C3D、I3D、CNN-LSTM网络相比,本文模型平均行为识别准确率分别提升7.9、9.2、9.6个百分点。光照变化会对奶牛行为识别准确率产生一定影响,但本文模型受光照影响相对较小。研究成果可为感知奶牛健康和疾病预防提供技术支持。

应用图像语义分割网络的微地震事件识别和初至拾取方法

微地震初至精确拾取是目前微地震监测关键环节之一,传统的人工拾取方法耗时长、效率低,在实际应用中容易导致无法及时预警等问题。近年来,基于深度学习的长短期记忆网络模型(LSTM)常用于微地震初至拾取,但在低信噪比环境下拾取准确率较低,且忽视了微地震数据中相邻道初至之间的关联性。针对上述问题,将微地震初至发生前、后看作是图像二分类问题,提出了一种应用图像语义分割网络的微地震事件识别和初至自动拾取方法。应用在矿井中采集的实际微地震数据进行实验,结果表明,对包含岩石破裂、工程爆破等多类型微地震事件,该方法的识别准确率较现有的深度学习方法明显提高,平均拾取误差大幅降低,特别是低信噪比数据的平均拾取误差远小于LSTM法,因而具有良好的实际工程应用价值。

基于深度神经网络模型的中文分词方案

针对目前已有的分词算法和程序在处理海量网络文本分词时性能下降的问题,本文提出了一种基于深度神经网络模型的中文分词方案。该方案利用基于长短期记忆网络的编码-解码模型对数据模型进行训练,并采用得到的模型进行分词。为了提升分词性能,进一步提出了一种基于词向量的修正方法,对采用上述模型的分词结果进行修正。对典型微博语料数据集的实验结果表明,提出基于模型的分词性能相对于传统的分词软件的分词性能有了较大提升。采用提出的词向量修正方法修正后的分词准确率和F值略优于未修正的分词准确率和F值,从而验证了论文提出的分词方案的有效性。

基于改进的多层BLSTM的中文分词和标点预测

目前主流的序列标注问题是基于循环神经网络(RNN)实现的。针对RNN和序列标注问题进行研究,提出了一种改进型的多层双向长短时记忆(BLSTM)网络,该网络每层的BLSTM都有一次信息融合,输出包含更多的上下文信息。另外找到一种基于序列标注的可以并行执行中文分词和标点预测的联合任务方法。在公开的数据集上的实验结果表明,所提出的改进型的多层BLSTM网络模型性能优越,提升了中文分词和标点预测的分类精度;在需要完成中文分词和标点预测两项任务时,联合任务方法能够大幅地降低系统复杂度;新的模型及基于该模型的联合任务方法也可应用到其他序列标注任务中。

基于过程神经网络的木材生长轮密度预测

提出一种基于过程神经网络的木材生长轮密度长期预测方法。本方法利用输入输出均为时变函数的过程神经网络输出为时变函数的特点,将原始数据拟合为输入函数并表示为一组正交基的展开形式后,使用混合遗传算法训练过程神经网络,得到过程神经网络的输出函数,以此实现木材生长轮密度的一次多步长期预测,通过与传统时间序列预测方法比较,预测精度得到显著提高,并为时间序列长期预测问题提供新方法。

一种基于双向LSTM的联合学习的中文分词方法

针对现有的基于深度学习的神经网络模型通常都是对单一的语料库进行训练学习,提出了一种大规模的多语料库联合学习的中文分词方法。语料库分别为简体中文数据集(PKU、MSRA、CTB6)和繁体中文数据集(CITYU、AS),每一个数据集输入语句的句首和句尾分别添加一对标志符。应用BLSTM(双向长短时记忆模型)和CRF(条件随机场模型)对数据集进行单独训练和多语料库共同训练的实验,结果表明大规模的多语料库共同学习训练能取得良好的分词效果。

基于长短时记忆和条件随机场藏文分词模型

[目的/意义]本文提出基于长短时记忆(Long short-term memory,LSTM)神经网络和条件随机场(Conditional Random Field,CRF)的藏文分词模型。[方法/过程]引入注意力机制,获取更多特征信息,提升模型关注上下文信息与当前音节之间联系;提出一种音节扩展方法,获取更多的输入特征信息与语料信息,增强模型单音节特征信息以获取更多语义信息的能力。[局限]本文在西藏大学数据集12261条的基础上,扩充至74384条,形成Tibetan-News数据集。[结果/结论]实验结果表明,在模型中加入注意力机制并使用音节扩展方法后,模型在Tibetan-News数据集上的精确率、召回率和F1分别提升2.9%、3.5%和3.2%。基于本文模型的分词系统已在工程上应用推广。

基于卷积神经网络的印刷电路板色环电阻检测与定位方法

色环电阻是印刷电路板(PCB)中最常用的电子元器件之一,主要依靠色环的排列顺序和颜色等视觉信息进行区分,易发生装配错误。但是色环电阻装配质量的人工检测方法效率低、误检率高,而传统的基于图像处理技术的自动检测方法鲁棒性较差,难以解决不同拍摄角度、物距及光照条件下的PCB板色环电阻检测问题。针对这一问题,该文提出一种基于卷积神经网络(CNN)的PCB板色环电阻自动检测与定位方法,首先采用编码器-解码器结构的卷积神经网络模型及带有权重的交叉熵损失函数的网络训练方法,较好地解决了复杂光照及场景下PCB板色环电阻的图像分割问题;然后采用最小面积外接矩形方法定位单个色环电阻,并通过仿射变换对色环电阻位置进行垂直校正;最后通过高斯模板匹配方法实现了色环电阻的色环定位。采用1270幅PCB图像对该文方法进行了实验和验证,并与传统的基于形态学和基于模板匹配的色环电阻检测方法进行了对比,结果表明,该文方法在召回率、准确率及重叠度等性能指标上具有明显优势,处理速度快,能满足实际应用要求。

基于注意力模型的多传感器人类活动识别

深度循环神经网络适用于处理时间序列数据,然而循环神经网络特征提取能力差,时间依赖关系挖掘不足。针对此问题,提出了3种注意力机制和长短时记忆(LSTM)神经网络结合的模型用于人类活动识别问题,并研究了3种注意力机制在不同数据集上单独及配合使用时对模型精度的影响。对于UCI_HAR数据集,3种注意力LSTM模型准确率分别为94.13%、95.15%和94.81%,高于LSTM模型识别准确率93.2%。此外,针对人类活动识别的传感器时间序列数据的标签特点,提出将时间段分类任务转化为分割任务,设计了2个基于分割任务的注意力门控循环单元(GRU)神经网络模型,Bahdanau注意力GRU模型在Skoda数据集和机会(Oppor)数据集准确率为84.61%和89.54%,高于基准UNet模型的70.40%和88.51%。

基于FCN-LSTM的工业烟尘图像分割

工业生产中常根据林格曼烟气黑度判断工业烟尘的污染等级,一种有效的方式是应用计算机视觉系统对工业烟尘进行监测,其中对烟尘目标进行准确分割是该系统的关键技术。因为工业烟尘具有形状不固定、和云相似度高等特点,现有算法在复杂场景下对烟尘进行分割时容易受到干扰,分割准确度有待提高。针对这一问题,提出一种基于FCN-LSTM的工业烟尘图像分割方法,在全卷积网络对图像空间特征提取的基础上,使用长短时记忆网络提取图像序列的时间信息,通过烟尘的动态特征对运动的烟尘和背景进行区分,增强复杂场景下的抗干扰能力。实验表明,本文模型相比于全卷积网络,在复杂场景下的抗干扰能力有显著提升,能够有效克服来自云的干扰,对全卷积网络分割结果中易出现干扰点的问题也有改善,IoU指标最高有8.04%的提升。

基于最简门单元的循环神经网络分词

为解决长短期记忆(long short-term memory,LSTM)单元循环神经网络结构复杂,训练时间长,标注推理速度慢的问题,结合现有文献分析循环神经网络及其单元结构的理论基础,提出一种基于最简门单元(minimalist gated unit,MGU)的循环神经网络进行中文分词研究。使用MGU单元替换LSTM单元自动提取特征,建立长期依赖信息。在中文分词评测常用语料Bakeoff 2005数据集上进行实验,实验结果表明,MGU网络与LSTM网络精度相当,训练时间减少一半,标注推理速度可提升至3倍。