基于IndRNN的机场起飞航班延误预测模型研究

由于没有综合考虑天气等突发状况,导致航班延误预测结果存在一定的偏差,降低用户飞行体验,对此,提出基于IndRNN的机场起飞航班延误预测模型研究方法。起飞航班延误划分为4个等级,利用ReLU激活函数代替IndRNN网络中的sigmod、tanh激活函数,使得每个神经元都有其独立的时空特征;分离所有神经元,避免梯度出现消失爆炸的情况;经过数据读取、数据预处理、数据融合等一系列操作后,完成航班延误预测模型的构建。通过开展对比仿真实验,在4项评判指标下,所提方法均展现出了优秀的预测性能,且预测延误航班数、延误时间与实际值非常接近。

基于LightGBM-IndRNN模型的现货市场日前电价预测

日前电价的准确预测对保障电力市场参与者的利益具有重要意义。针对高比例新能源参与现货市场交易导致日前电价预测难度加大的问题,提出一种基于轻型梯度提升机(LightGBM)的独立循环神经网络(IndRNN)日前电价预测方法。首先,使用LightGBM算法计算特征的重要性得分,根据计算值排序提取出重要特征;然后,将筛选得到的新数据集作为输入,运用IndRNN神经网络对其进行训练,从而实现对日前电价的预测;最后,采用北欧电力交易所Nord Pool的数据进行仿真分析。实验结果表明,所提算法与传统预测模型相比,充分考虑了新能源出力不确定性对日前电价的影响,有效提高了预测的准确性。

基于Bi-IndRNN的恶意URL分析与检测

本文提出一种基于双向IndRNN(Bidirectional Independently Recurrent Neural Network, Bi-IndRNN)的恶意URL分析与检测算法.通过对恶意URL分析与检测特点的研究,提取主机信息特征和URL信息特征.把主机信息特征与URL信息特征相融合,并利用Bi-IndRNN算法对恶意URL进行分析与检测.与k最邻近分类算法(k-NearestNeighbor, KNN)、高斯贝叶斯算法(GaussionNB)、LSTM(Long Short-Term Memory)算法、IndRNN(Independently Recurrent Neural Network)算法对比结果表明,该模型对恶意URL的分类检测准确率达到95.92%,明显高于其它算法模型.

基于Bi IndRNN和PSO的航班延误预测

针对普通循环神经网络在航班延误预测问题上精度不高、调试时间长的问题,提出基于Bi IndRNN和粒子群的机场短期航班延误预测模型。模型采用Bi IndRNN结构作为预测模型,使用粒子群算法对模型超参数进行全局寻优,使模型不仅能够处理长序列的数据,还能够高效率地选择合适的参数,使其预测准确度更高。实验在2018年国内某机场航班延误数据集上构建预测模型,并对所提模型预测结果与其他预测模型预测结果进行比较分析。结果表明,提出的预测模型提高了航班延误预测的准确率。

基于Deep-IndRNN的DGA域名检测方法

恶意服务常利用域名生成算法(DGA)逃避域名检测,针对DGA域名隐蔽性强、现有检测方法检测速度较慢、实用性不强等问题,采用深度学习技术,提出了一种基于Deep-IndRNN的DGA域名检测方法。方法运用词袋模型(BoW)将域名向量化,然后通过Deep-IndRNN提取域名字符间特征,并使用Sigmoid函数对域名分类检测。其主要特点在于:通过将Deep-IndRNN的多序列输入拼接为单向量输入,以单步处理代替循环处理,同时结合Deep-IndRNN能保存更长时间记忆的特点,可有效释放深度学习时占用的GPU、CPU等系统资源,且在保证高准确率和精确度的前提下提高训练、检测速度。实验结果表明,基于Deep-IndRNN的DGA域名检测方法在检测任务中具有较高的准确率和精确度,相比于DNN、CNN、LSTM、BiLSTM、CNN-LSTM-Concat等同类检测方法,能显著提高训练、检测速度,是有效可行的。

基于特征挖掘的indRNN光伏发电功率预测

光伏发电功率有明显的随机性、波动性和间歇性。准确地预测光伏发电功率对电网有序运行和调度有着极其重要的意义。本文提出一种基于特征挖掘的独立循环神经网络光伏发电功率预测模型。首先,探究环境因素与光伏发电功率的关系,并构造相应特征;然后,以构造后特征作为输入,输入到独立循环神经网络模型进行训练和预测;接着,用独立循环神经网络模型与传统循环神经网络和长短期记忆神经网络模型进行对比,独立循环神经网络模型不仅具有更强的记忆能力,更快的训练速度,同时也改善了循环神经网络的梯度弥散或爆炸问题;最后,采用实际光伏电站数据进行验证,验证了特征构造和独立循环神经网络模型的优越性,证明了特征构造后的独立循环神经网络模型预测精度比其他模型方法有显著提高。

基于IndRNN-Attention的用户意图分类

针对人机对话中的用户意图分类问题,提出了一种基于独立循环神经网络(independently recurrent neural network, IndRNN)和词级别注意力(word-level attention)融合的用户意图分类方法.通过构造一个多层独立循环神经网络模型实现对用户输入文本编码,有效解决了循环神经网络中容易出现的梯度消失和梯度爆炸问题;结合词级别注意力提高了领域相关词汇对用户输入文本编码的贡献度,有效提高了分类精度.实验结果表明:提出的方法在用户意图分类任务上的效果取得了显著的提升.

基于ATT-IndRNN-CNN的维吾尔语名词指代消解

该文提出一种基于注意力机制(attention mechanism,ATT)、独立循环神经网络(independently recurrent neural network,IndRNN)和卷积神经网络(convolutional neural network,CNN)结合的维吾尔语名词指代消解模型(ATT-IndRNN-CNN)。根据维吾尔语的语法和语义结构,提取17种规则和语义信息特征。利用注意力机制作为模型特征的选择组件计算特征与消解结果的关联度,结果分别输入IndRNN和CNN得到包含上下文信息的全局特征和局部特征,最后融合两类特征并使用softmax进行分类完成消解任务。实验结果表明,该方法优于传统模型,准确率为87.23%,召回率为88.80%,F值为88.04%,由此证明了该模型的有效性。

基于IndRNN与BN的深层图像描述模型

现有图像描述模型存在解码端层次不深、训练效率低下的问题,且生成的描述语句在语言连贯性和内容多样性方面效果欠佳,为此,提出一种基于独立循环神经网络的深层图像描述模型Deep-NIC。采用独立循环神经元与批标准化方法构建解码单元,通过解码单元的多层叠加建立深层解码端。使用谷歌inception V3作为编码端,构建深层图像描述模型。在数据集MS COCO2014上进行对比实验,结果表明,与基线模型相比,Deep-NIC模型的BLEU-4、METEOR、CIDER评分分别提升3.2%、10.3%、8.18%,其更容易训练且具有更好的拟合效果。

基于深度学习的复合电能质量扰动识别方法

精准的电能质量扰动识别是对电能质量扰动事件发生后需要解决的主要问题之一,这对划分责任和加快电力市场化进程均具有重要意义,而海量的电能质量监测数据则为电能质量扰动识别提供了条件与机遇。不同的电能质量扰动类型,其电气特征上也存在区别,故可利用不同电能质量扰动波形之间的差异来区分电能质量扰动类型。结合深度学习理论,建立一种基于双向独立循环神经网络的复合电能质量扰动识别方法,通过提取电能质量扰动信号的本质特征量,建立输入序列与输出序列之间的内在对应关系,克服了分析结果对物理特征量的依赖性,提升了电能质量扰动识别准确率。实验结果表明,所提方法可以有效应对复合电能质量扰动的多样性问题,可以直接从原始的底层数据中自主学习复合电能质量扰动信号中所隐藏的本质特征量,识别准确率高。

基于独立循环神经网络与变分自编码网络的视频帧异常检测

为了有效提取连续视频帧间的时间信息,提出一种融合独立循环神经网络(IndRNN)与变分自编码(VAE)网络的预测网络IndRNN-VAE。首先,利用VAE网络提取视频帧的空间信息,并通过线性变换得到视频帧的潜在特征;然后,将潜在特征作为IndRNN的输入以得到视频帧序列的时间信息;最后,通过残差块将获得的潜在变量与时间信息进行融合并输入到解码网络中来生成预测帧。通过在UCSD Ped1、UCSD Ped2、Avenue公开数据集上进行测试,实验结果表明,与现有的异常检测方法相比,基于IndRNN-VAE的方法性能得到了显著提升,曲线下面积(AUC)值分别达到了84.3%、96.2%和86.6%,错误率(EER)值分别达到了22.7%、8.8%和19.0%,平均异常得分的差值分别达到了0.263、0.497和0.293,且运行速度达到了每秒28帧。

基于独立循环神经网络方法的GDP预测

提高预测准确度对经济决策至关重要。通常,使用RNN网络进行预测会有梯度消失、梯度爆炸等问题,文章创新性地使用最新深度学习的方法独立循环神经网络(IndRNN)提升预测效果。结果发现:IndRNN能够对GDP进行精准预测,并且预测能力显著优于其他机器学习和时间序列方法;将相关宏观经济变量和互联网搜索行为代理变量依次加入模型能进一步提升预测效果;增加IndRNN层数也能提升该神经网络预测性能,而模型中训练窗口选择影响不大。由此证明IndRNN是当前更为有效的经济预测工具,在经济预测中具有较大应用价值。

基于Word Embedding的遥感影像检测分割

遥感影像检测分割技术通常需提取影像特征并通过深度学习算法挖掘影像的深层特征来实现.然而传统特征(如颜色特征、纹理特征、空间关系特征等)不能充分描述影像语义信息,而单一结构或串联算法无法充分挖掘影像的深层特征和上下文语义信息.针对上述问题,本文通过词嵌入将空间关系特征映射成实数密集向量,与颜色、纹理特征的结合.其次,本文构建基于注意力机制下图卷积网络和独立循环神经网络的遥感影像检测分割并联算法(Attention Graph Convolution Networks and Independently Recurrent Neural Network,ATGIR).该算法首先通过注意力机制对结合后的特征进行概率权重分配;然后利用图卷积网络(GCNs)算法对高权重的特征进一步挖掘并生成方向标签,同时使用独立循环神经网络(IndRNN)算法挖掘影像特征中的上下文信息,最后用Sigmoid分类器完成影像检测分割任务.以胡杨林遥感影像检测分割任务为例,我们验证了提出的特征提取方法和ATGIR算法能有效提升胡杨林检测分割任务的性能.

在线医疗问答文本的命名实体识别

本文主要是对在线问诊中产生的医疗文本进行命名实体识别的研究.使用在线医疗问答网站的数据,采用{B, I, O}标注体系构建数据集,抽取疾病、治疗、检查和症状四个医疗实体.以BiLSTM-CRF为基准模型,提出两种深度学习模型IndRNN-CRF和IDCNN-BiLSTM-CRF,并在自构建数据集上验证模型的有效性.将新提出的两种模型与基准模型通过实验对比得出:模型IDCNN-BiLSTM-CRF的F1值0.8116,超过了BiLSTM-CRF的F1值0.8009, IDCNN-BiLSTM-CRF整体性能好于BiLSTM-CRF模型;模型IndRNN-CRF的精确率0.8427,但该模型在召回率上低于基准模型BiLSTM-CRF.

联合分层注意力网络和独立循环神经网络的地域欺凌识别

为提高对文本语境深层次信息的利用效率,提出了联合分层注意力网络(HAN)和独立循环神经网络(IndRNN)的地域欺凌文本识别模型——HACBI。首先,将手工标注的地域欺凌文本通过词嵌入技术映射到低维向量空间中;其次,借助卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)提取地域欺凌文本的局部及全局语义特征,并进一步利用HAN捕获文本的内部结构信息;最后,为避免文本层次结构信息丢失和解决梯度消失等问题,引入IndRNN以增强模型的描述能力,并实现信息流的整合。实验结果表明,该模型的准确率(Acc)、精确率(P)、召回率(R)、F1和AUC值分别为99.57%、98.54%、99.02%、98.78%和99.35%,相比支持向量机(SVM)、CNN等文本分类模型有显著提升。

基于双流独立循环神经网络的人体动作识别

针对RGB视频中遮挡物以及其他外界因素对人体动作识别产生影响,以及识别精确度有待提升的问题,提出基于双流独立循环神经网络人体动作识别算法。在提取特征方面,时间网络采用分层IndRNN对时序中3D骨架坐标信息进行特征提取;空间网络采用深层的IndRNN对每个时刻骨架的空间位置关系进行特征提取,其中骨架的空间结构采用了图遍历的方法。对于空间网络和时间网络的特征融合采用加权求和的方式,最后用softmax对动作进行分类。在3D骨架动作数据集(NTU RGB+D)以及交互数据集(SBU Interaction Dataset)上验证了模型的有效性。