基于Transformer结构增强的神经网络架构搜索性能预测器

神经网络架构搜索(Neural Architecture Search,NAS)作为一种通过搜索算法设计神经网络架构的方法,在计算机视觉和自然语言处理等领域得到广泛应用,相较于人工设计网络,NAS方法可以减少设计成本并提高模型性能.但是NAS的性能评估需要对候选架构进行大量训练,由此带来的计算量占整个NAS的80%以上.为降低计算开销和时间成本,近年来已提出许多基于Transformer的NAS预测器,由于Transformer出色的结构编码能力可以更好地表示拓扑信息,因而得到广泛应用.但是,现有基于Transformer的NAS预测器依然存在三个问题:其一是在预处理阶段,传统的One-hot编码方式描述节点特征的能力较弱,只能区分不同操作节点类型,而难以表达操作的细节特征,如卷积核尺寸等.其二是在编码阶段,Transformer的自注意力机制导致模型结构信息缺失;其三是在评估阶段,现有的Transformer预测器仅使用多层感知机(MultilayerPerceptron,MLP)对前向传播图进行精度预测,忽略了反向传播梯度流对预测精度的影响,因此难以真正拟合NAS评估中的正、反向交替信息流图,导致预测器精度与实际运行精度误差波动极大(10%~90%).为解决上述问题,本文提出了一种基于Transformer结构增强的NAS性能预测方法.首先,在预处理阶段,本文提出了一种超维嵌入方法增加输入数据维度以强化节点操作的参数描述能力,其次,在编码阶段将Transformer编码后的信息与图结构信息共同输人一个图卷积网络(GraphConvolutional Network,GCN),弥补由自注意力机制引起的结构缺失.最后,在性能评估阶段,本文构建了同时包含前向传播和反向传播的全训练图,并将数据集信息、图结构编码与梯度编码共同输入到GCN网络预测器中,使预测结果更贴近模型真实性能.实验结果表明,本方法与目前最先进方法相比,肯德尔相关系数提高了7.45%,训练时间减少了1.55倍。

Smith预测器在热工自动控制系统中的应用分析

现代锅炉过热器需要在高温高压的环境中工作,锅炉在出口位置过热或者蒸汽温度较高对电厂安全运行具有重要影响。针对延迟、惯性、时变性等问题,火电厂一般选择常规的过热气温控制系统对温度进行控制,尤其是PID控制方式,但是此类控制方式容易造成鲁棒性,整体控制效果不好,容易出现各类问题。基于此,在热工自动控制系统中应用Smith预测器,可以有效解决各种问题,确保热工系统可以实现自动控制的目标。

结合自对比图神经网络与双预测器的会话推荐模型

基于会话的推荐旨在利用短时匿名会话预测用户行为.现有结合图神经网络与对比学习的会话推荐模型大多采用联合优化交叉熵损失与对比学习损失的方法,但二者所起作用相似,同时需要构建大量复杂的正负样本,为模型带来负担.此外,简单的线性预测器不能较好地预测带有用户随机行为的数据.针对上述问题,文中提出结合自对比图神经网络与双预测器的会话推荐模型(Session-Based Recommendation Model with Self Contrastive Graph Neural Network and Dual Predictor,SCGNN).首先,使用双视图建模原始会话,采用改进的图神经网络学习物品嵌入与会话嵌入,并通过自对比学习优化物品表示.然后,提出用户行为感知因子,应对用户随机行为带来的影响.最后,采用决策森林预测器与线性预测器对物品进行预测,并提出软标签生成策略,通过协同过滤与当前会话类似的历史会话以辅助预测.在Tmall、Diginetica、Nowplaying数据集上的实验表明文中模型的有效性.

基于Venn-Abers预测器的系统日志异常检测方法

为了更好地解决系统日志异常检测问题,引入一种对预测结果进行可靠性评估的统计学习算法Venn-Abers预测器。与传统的基于静态阈值的系统日志异常检测模型仅输出正常或异常的预测结果不同,Venn-Abers预测器会对预测结果进行概率评估。根据逻辑回归(LR)、支持向量机(SVM)、随机森林(RF)这三种基础算法,分别开发三种Venn-Abers预测器,其中基于SVM的Venn-Abers预测器将召回率从81%提高到94%,同时对Venn-Abers预测器的概率值计算过程进行了改进,使其运行效率显著提高。实验结果表明,三种Venn-Abers预测器与其基础算法相比,可以通过动态调整阈值,取得更加准确的异常检测结果。

基于优先级预测器的无线网络化控制系统的动态传输策略

本文针对无线通信网络中存在丢包的多包传输无线网络化控制系统(WNCSs),提出了一种基于预测器的动态传输策略,在几乎不增加信道资源占用的情况下显著提升系统稳定性。在多包传输的无线网络化控制系统中,由于通信资源的限制,传感器到控制器间的数据传输中出现丢包问题,影响控制系统性能。针对这个问题,本文首先设计了优先级预测器来预测下一时刻每个传感器数据对系统稳定性的影响,帮助系统决策每个传感器的发送优先级;再通过传输调节器对不同优先级传感器补偿相应的随机退避时间上限,进而让优先级高的传感器在随机退避的方式下优先传输;然后在此策略下设计控制器使系统稳定;最后通过数值仿真验证了本文策略的有效性。

基于类龙伯格预测器的财务困境预警研究

预测财务困境一直是财务管理中的重要环节,而传统基于卡尔曼滤波的动态预警算法在应对噪声分布不确定问题时难以保证预测结果的准确率,一定程度上降低了该方法的实际价值。针对其缺陷,文章创新性地提出了基于龙伯格观测器理论和线性矩阵不等式技术的预测算法,在噪声分布情况不能有效辨识或辨识误差较大时预测效果更优,同时简化了预测步骤,降低了计算复杂度。文章以沪深两市电力企业为例,结合龙伯格观测器理论设计预警模型,用线性矩阵不等式计算增益,应用数据分析和参数估计对各家电力企业财务状态进行跟踪和预测。同时与传统基于卡尔曼滤波的算法横向对比,更有力地突出类龙柏格预测器的预警效果和实用价值。

基于Kalman预测器的改进的CAMShift目标跟踪

CAMShift目标跟踪算法遇到目标被遮挡时容易陷入局部最大值,对快速运动目标容易跟踪失败,且无法从失败中复原。针对该问题,利用Kalman预测器改进CAMShift算法。首先利用Kalman预测器预测下帧图像中目标的位置,以此位置为中心确定CAMShift算法进行目标跟踪的搜索区域;然后利用目标匹配时的Bhattacharyya系数及目标大小来判断目标是否被遮挡以及被遮挡的程度。如果没有被遮挡,则用CAMShift算法得到的目标位置更新Kalman预测器中参数;如果遮挡不严重,则用Kalman预测器的预测值作为目标的位置和大小,且用该组值更新Kalman预测器中参数;如果遮挡非常严重,则用Kalman预测器的预测值作为目标当前位置,目标大小为固定值,用该组值更新Kalman预测器中参数。实验结果表明,改进算法能够准确地跟踪被遮挡目标和快速运动目标。

采用基于神经网络的时间序列预测器的传感器故障诊断新方法

本文提出一种采用基于神经网络的时间序列预测器的传感器故障诊断新方法。它先用神经网络对传感器输出序列建立预测模型（简称神经网络预测模型），然后利用神经网络预测模型预测传感器输出值和传感器实际输出之差判断传感器是否发生故障。与其它方法相比，本文方法只需单一传感器输出信号即可诊断相应的传感器是否发生故障。本文通过对一控制系统中转速传感器漂移故障诊断过程阐述了这种方法。

一种并行结构的H.264帧内预测器

提出了一种基于可重构设计的并行结构的H.264帧内预测器.在分析17种帧内预测值求解算法的基础上,利用其运算上的相似性,将所有运算单元集中到一个运算单元中.该运算单元可根据预测模式的不同对输入的数据安排相应的运算模块及数据通路,从而达到资源的最优化利用.在实际应用中,为了达到适时解码,系统同时安排4个并行运算单元以提高处理能力.实验表明,在50.5 MHz时钟时,本结构可以适时处理720×480,30帧/s的图像.

基于多方向梯度边缘预测器快速边缘检测算法

改进了无损压缩编码中的梯度自适应预测器(GAP)和梯度边缘检测(GED)预测器,并应用在图像边缘检测中,提出基于多方向梯度边缘预测器(MGEDP)的动态阈值控制的边缘检测算法。该方法主要步骤为:1)从图像中心划分四个区域;2)采用并行技术多个方向应用MGEDP模板,分别预测错误值,利用错误反馈信息构建预测误差图像;3)利用大津算法计算阈值,分类误差图像边缘;4)细化边缘;5)合成边缘图像。实验证明:应用并行技术降低了时间复杂度,以中心逐步向四周选择预测参考点避免了误差繁衍,最终得到清晰完整、细节丰富的边缘图像。

基于最小二乘支持向量机预测器的传感器故障检测与数据恢复(英文)

本文介绍了最小二乘支持向量机(LS-SVM)回归的基本原理,提出了一种基于LS-SVM回归的时间序列预测器,并将其用于传感器的故障检测和数据恢复。论述了LS-SVM预测器的实现方法和步骤,并且将其应用于压力传感器的故障检测和数据恢复,同线性神经网络预测器、RBF神经网络预测器和BP神经网络预测器的比较结果表明,LS-SVM预测器具有更高的预测精度,更好的外推能力,计算效率最高,因此,LS-SVM预测器是传感器故障检测和短期数据恢复的一种有效方法。

基于多预测器的高光谱图像无损压缩

数据压缩是高光谱图像处理应用中的一个关键问题。在分析高光谱数据相关性特点的基础上,提出了一种方向可选的多预测器数据压缩框架。将新的框架应用于单波段和多波段的预测压缩方案,分别得到复杂性不同的两种无损压缩流程。计算机仿真结果表明了该框架的有效性。

基于神经网络预测器的单传感器故障检测方法

目的研究单传感器的故障检测方法．方法提出了神经网络预测器用于单传感器故障检测的实现方法，并给出了神经网络预测器的在线和离线学习算法．结果本方法只需要一个传感器的输出信号就可检测系统中的传感器是否发生故障，如果对系统中多个传感器建立神经网络预测模型，可以检测控制系统中多种类型的以及多个同时发生的传感器故障．结论用汽车发动机故障检测模型的计算机仿真实验可以表明本方法是行之有效的．

基于局部信息的WLAN位置预测器

分析了移动路径预测的已有方案,尤其针对k阶Markov预测器中存在的状态空间膨胀以及知识更新较慢问题,提出了一种新的WLAN位置预测器模型,并在1200个实际WLAN用户的移动跟踪数据集上对Markov预测器和新预测器的预测精度进行了比较分析。分析结果表明,新的预测器模型比k阶Markov预测器中复杂度最低的一阶Markov预测器更节省空间和搜索时间,并且比预测效果最好的二阶Markov预测器有更好的预测精度和普适性。该模型以很小的代价获得更好的性能,具有较高的实用价值。

低温物流过程中果蔬贮藏期预测模型与预测器

基于能量守恒原理,推导了基于0℃贮运条件下剩余贮藏期的计算式。结合现有的实验数据,在0-20℃范围内,得出了8种蔬菜贮藏期与贮藏温度之间的关系式和在0℃贮运条件下的贮藏期预测方程。经过芹菜在0、2、4、6和8℃的储藏实验证明,理论推导出的贮藏期与实验所得贮藏期相差时间不超过2 d。并综合信息无线发送技术,开发了具有库存管理功能的果蔬贮藏期预测器,实际运用结果表明,预测结果具有较高的精度。

基于类型预测的甚块预测器

高性能的甚块预测器是保证EDGE体系结构性能的关键手段.为研究性能更好的甚块预测器,文中通过仿真实验发现甚块的出口类型独立于甚块的出口个数和甚块的动态执行结果而存在.以此为据,提出了基于类型预测的甚块预测器.该预测器摈弃了甚块出口号,直接对甚块出口类型进行预测.随后,根据对甚块出口类型可预测性的分析,通过实验证明甚块出口类型与历史和路径信息相关.仿真结果显示,与经典的基于出口预测的甚块预测器相比,文中提出的基于类型预测的甚块预测器能够将每千条指令误预测次数平均降低约10%.

改进的基于O-GEHL预测技术的EDGE块预测器

块预测器赋予了EDGE体系结构高效的控制流推测能力。针对基于O-GEHL预测技术的块预测器的缺点,提出了两种改进策略:1)无选择器的O-GEHL出口预测;2)直接使用OGEHL预测器的二值预测能力单独对每个出口进行预测。性能评价结果表明,无选择器的O-GEHL出口预测方案比文献[4]中的O-GEHL块预测器性能平均提高0.7%;对8个出口分别使用二值O-GEHL预测器进行预测的方案,在硬件资源较多时,性能提高3%;只对前4个出口采用二值O-GEHL预测器的方案,性能平均提高2%。

基于分类预测器及退化模型的图像超分辨率快速重建

对基于学习的领域嵌套超分辨率重建方法进行了有效改进,提出了一种基于分类预测器以及退化模型的图像超分辨率重建技术.首先,利用退化模型得到图像训练集,并基于邻域嵌套进行分块;其次,根据图像各自特点提取灰度和梯度特征,并进行特征融合,从而实现了训练过程中噪声信息的有效抑制及图像中边缘信息的锐化;然后,引入分类预测器的思想,设计了一种离线的分类预测器,对预测器进行离线训练,得出优化参数,从而大幅度减少了优化时间;最后,利用L2范数对低分辨率图像分块进行分类,将分块送入相应子预测器中进行快速超分辨率重建.实验结果表明,该算法具有良好的实时性和有效性.

带乘性噪声和延时观测广义系统的多步最优预测器

本文研究了状态空间描述的离散广义系统最优预测器的设计问题,该系统带有即时和延时观测,所有观测中带有乘性噪声.论文在两个基本假设条件下采用标准的奇异值分解方法给出了受限等价时滞系统,对于此类系统没有采用状态增广方法,而是采用新息重组分析理论给出了多步预测器.因为延时观测的存在,所给出的多步预测器包含了两套递推的广义系统黎卡提方程.本文给出了一个数学算例验证了所提方法的正确性和有效性,并给出了四幅图片,根据算例可以看出一般情况下预测的步数越少,预测的结果越好.本文方法可以进一步来研究更复杂的一些问题,如延时广义系统的H_∞滤波和控制问题.

一种极低载噪比高动态信号跟踪的线性预测器设计

针对深空通信高动态低载噪比微弱信号跟踪精度低、稳态均方性能差的问题，提出了一种高动态低载噪比信号跟踪的分级异构凸组合线性预测器算法，该算法将归一化最小均方算法（NLMS）和最小二乘算法（RLS）进行分级异构凸组合，给出了算法的结构、跟踪精度联合优化设计方案和最优参数选择的方法。在载噪比（CNR）为10—30dB．Hz、载波多普勒频移为一300～300kHz、多普勒频率变化率为一800～1200Hz／s、码速率为20bps条件下对分级异构凸组合线性预测器跟踪性能及跟踪精度指标（归一化均方根误差）进行了仿真。理论分析和仿真结果表明，该线性预测器与分级同构凸组合线性预测器相比，算法运算量减少、信号跟踪精度提高、收敛速度加快。因此，该新型结构线性预测有着良好的应用前景。