基于Fibonacci采样的数据预处理方法研究

提高神经网络(NN)的收敛速率和预测精度一直是人工智能领域的一个挑战性问题,尽管许多研究人员已在研究中使用小批量数据训练神经网络获得了较好的效果,但是这些方法并不够灵活.针对这个问题,该文提出了一种新的数据预处理算法即Fibonacci采样算法.根据Fibonacci数列规则绘制一个新的训练数据序列,这不仅可以恢复小批量数据的划分,而且还可以提供更灵活的批量规模的选择.实验结果表明:在梯度下降之前,Fibonacci数据划分序列能得到较好的实验结果.在应用于相同的单个CNN(5层卷积神经网络)和AlexNet中,Fibonacci采样算法比传统的小批量梯度下降算法能获得更高的准确度和更低的损失值,并且在几种通用网络(LeNet、AlexNet、VGG-16、GoogLeNet)上的性能也取得显著提升.

基于邻域采样的多任务图推荐算法

近年来,图神经网络(GNN)成为解决协同过滤的主流方法之一。它通过构建用户-物品图,模拟用户与物品的交互关系,并用GNN学习它们的特征表示。尽管现有在模型结构上的研究已取得了较大进展,但如何在图结构上更有效地进行负采样仍未有效解决。为此,提出一种基于邻域采样的多任务图推荐算法。该算法提出了一种基于GNN的邻域采样策略,该策略以每个用户为中心构建子图,将次高阶物品作为用户邻域采样的负样本,可以更有效地挖掘强负样本并提高采样质量。通过GNN对图结点进行信息聚合与特征提取,得到结点的最终嵌入表示。设计一种余弦边际损失来过滤部分冗余负样本,以有效减少采样过程中的噪声数据。同时,该算法引入了多任务策略对模型进行联合优化,以增强模型的泛化能力。在3个公开数据集上进行的大量实验表明,该算法在大多数情况下明显优于其他主流算法。

基于重采样和混合集成学习的不平衡窃电检测

针对电力用户类别不平衡导致窃电检测具有偏向性问题,该文提出一种基于重采样和混合集成学习的不平衡窃电检测模型。首先以Easy-ensemble混合集成学习框架为基础确定最佳采样子集数;然后通过重采样自适应策略,即根据用户用电数据集的不平衡度以及最佳采样子集数确定检测模型的重采样方式,使用电数据达到平衡;最后按照先串行集成减小偏差、后并行集成降低方差的混合集成方式,对重采样后的均衡样本进行窃电检测。算例对比分析表明所提检测模型通过重采样和混合集成有效解决了传统集成算法在不平衡窃电检测中的偏向问题,降低了由于用电数据的不平衡性对集成结果的影响,提高了用户类别不平衡的窃电检测效果,在多种不平衡度下模型的准确率、F1值和G均值均表现优异。

基于高倍过采样与加窗插值FFT的电力谐波分析

为提高谐波分析精度,分析了信号加窗引起的信噪比损失以及AD转换产生的量化误差,阐述了过采样技术提高信噪比的原理。在此基础上,提出了基于高倍过采样和加窗插值快速傅里叶变换(fast Fourier transform, FFT)的谐波分析方法。该方法充分利用AD转换器的潜力,以尽量高的采样速率进行AD采样,同时通过均值滤波避免高倍过采样引起的采样数据量激增问题。详细研究了所提谐波分析方法对信号中谐波分量幅值和相位的影响,并给出了简洁实用的谐波幅值和相位校正方法。仿真表明,所提方法可在不增加系统成本的前提下改善加窗插值FFT的抗噪声能力,提高谐波分析精度。

计及采样扰动抑制的电压源逆变器三矢量无模型预测电流控制方法

针对传统电压源逆变器无模型预测电流控制(model-free predictive current control,MFPCC)方法存在电流纹波大、电流梯度更新停滞以及预测性能易受采样扰动影响的问题。该文提出一种计及采样扰动的三矢量MFPCC方法。在一个控制周期应用3个基本矢量,并根据价值函数计算矢量作用时间,降低了输出电流纹波;其次,通过建立不同矢量作用下的电流梯度方程组,实现电流梯度数据的实时更新,消除了停滞现象;再次,分析采样扰动对MFPCC的影响,采用扩张状态观测器估计采样扰动以补偿预测电流控制,抑制其对输出电流的影响。最后,通过仿真和实验,对所提方法的有效性进行了验证。

基于广度-深度采样和图卷积网络的谣言检测方法

现有谣言检测方法存在早期数据丢失、特征利用不充分问题,为此提出新的检测方法.为了充分挖掘事件的早期传播特征,提出广度采样方法并构建与事件对应的传播序列,利用Transformer挖掘长距离评论间的语义相关性并构建事件的传播序列特征.为了有效挖掘事件的传播结构特征,提出基于路径长度的深度采样方法,构建事件对应的信息传播子图和信息聚合子图,利用图卷积网络在挖掘图结构特征方面的优势,获得与事件对应的传播结构特征.将事件对应的传播序列特征表示与传播结构特征表示进行拼接,得到事件对应的最终特征表示.在公开数据集Weibo2016和CED上开展所提方法的有效性验证实验.结果表明,所提方法普遍优于现有典型方法.与基线方法相比,所提方法的准确率和F1值均有显著提升,所提方法在谣言检测领域的有效性得到验证.

基于均匀相位采样提高阻抗谱测量精度的研究

周期性信号采样中,等效采样利用较低采样频率的A/D转换实现高频周期信号的采集,一定程度上弥补欠采样测量精度低的缺陷。为了有效地提高高频测量中阻抗谱测量精度与稳定性,提出一种基于等效采样思想的均匀相位采样的阻抗谱测量方法。利用单片机共时钟基准的模/数转换器(digital to analog convertor,DAC)与数/模转换器(analog to digital convertor,ADC)模块,在完成激励信号产生、输入输出信号同步采集的基础上,合理设计激励信号频率、采集频率与信号重构方法,实现高频信号单周期内均匀相位分布的等效高频采样,同时为克服常规A/D转换速度条件下难以准确实现高频阻抗谱测量的问题提供了新思路。从误差假设与拟合算法的角度,理论上分析证明了该方法降低误差的原因。并通过两种等效电路模型的阻抗谱测量对比实验,表明该方法在所设计的20~100 kHz高频段上,阻抗测量精度与稳定性得到了显著的提高。

危险废物鉴别采样技术要点解析

我国危险废物产生源和种类非常复杂,产生量巨大且持续增长,规范化环境管理和污染防治面临较大压力。危险废物鉴别是识别固体废物危险特性和确定危险废物环境管理对象的重要技术手段和关键依据。根据危险废物鉴别经验以及发布的危险废物鉴别报告复核工作简报发现,部分鉴别单位在危险废物鉴别过程中,由于对HJ 298—2019《危险废物鉴别技术规范》中采样技术要求未充分掌握,采样不规范,致使危险废物鉴别结论依据不充分甚至错误。因此,对确定生产工艺过程中产生废水处理污泥采样对象、堆存状态固体废物采样对象、平行线固体废物份样数、连续产生固体废物采样时间和频次、间歇产生固体废物采样时间和频次、生产工艺过程产生固体废物的采样方法等采样技术要求进行解析,同时给出了常见的错误采样方式,以期为危险废物鉴别过程中样品采集提供借鉴。

基于径流事件的农业面源监测采样间隔分析

选择丹江口库区的五龙池小流域为对象,以典型降雨径流事件的水质水量加密监测数据作为径流过程真实值,通过不同时间间隔和水量间隔模拟采样,分析污染负荷通量估算误差,并确定有效采样间隔.结果显示,五龙池小流域降雨径流事件具有明显的峰值特征(初始流量55m^(3)/h,峰值流量977.3m^(3)/h),TP浓度与径流高度同步(初始浓度为0.05mg/L,峰值浓度为0.25mg/L),TN随径流达到峰值后下降不明显(初始浓度为2mg/L,峰值浓度为8mg/L).模拟采样表明,时间间隔5,10,15,20,30,60,120,240,480,720min,采样点数量从1957个减少到14个;水量间隔16,32,64,128,256,384,576,800,1600,3200m^(3),采样点数量从2893个减少到14个;水量间隔采样对径流峰值的捕捉能力明显高于时间间隔采样.负荷估算误差显示,TP误差波动大于TN;以±5%作为允许的误差范围,降雨径流事件采样监测的有效时间间隔为120min,有效水量间隔为1600m^(3).

蜜蜂资源形态测定的采样与保存方法研究

形态测定是蜜蜂种质资源评价必不可少的技术手段,本研究旨在优化采样与保存方法来提高蜜蜂形态测定工作的效率。通过各试验组不同采样与保存方法对比蜜蜂样品的伸吻率、组织损坏数量、色度及韧性的变化。结果表明,试验组B毙杀20 s、30s的伸吻率差异不显著(P>0.05),但均显著高于其他试验组(P<0.05);试验组D的蜜蜂组织损坏数量显著低于试验组E、F、G和对照组(P<0.05);在4℃环境中保存1~3个月对蜜蜂样本的色度和样本的韧性均没有影响。蜜蜂资源形态测定的样品建议使用2L/min流速的CO_(2)毙杀20 s,浸泡在75%酒精和0.5%甘油的保存液中,保存3个月内完成形态测定工作。

基于熵和置信度的非平衡问题欠采样Boosting框架

为了解决传统方法中存在的边界过拟合、泛化性能差、重要信息丢失问题,提出一种基于熵和置信度的非平衡问题欠采样Boosting框架。将动态重采样方法与Boosting集成在一起,以解决边界过拟合问题,提高泛化性能;在Ecuboost中使用置信度和熵作为基准,以保证欠采样过程中大多数样本的有效性和结构分布,提出的基于置信度的Boosting框架使动态采样方法进一步提升方法的泛化能力。用两个大型数据集上的实验对比结果验证了该方法的有效性。

面向大数据的可扩展正则采样并行排序算法

排序算法是计算机科学领域的一个基础算法,是大量应用的算法核心。在大数据时代,随着数据量的极速增长,并行排序算法受到广泛关注。现有的并行排序算法普遍存在通信开销过大、负载不均衡等问题,导致算法难以大规模扩展。针对以上问题,提出一种大规模可扩展的正则采样并行排序(scalable parallel sorting by regular sampling,ScaPSRS)算法,摒弃传统正则采样并行排序(parallel sorting by regular sampling,PSRS)算法中由一个进程负责采样的做法,转而让所有进程参与正则采样,选出p-1个分隔元素,将整个数据集划分成p个不相交的子集,然后实施并行排序,避免了单一进程的采样瓶颈。此外,ScaPSRS采用一种新的迭代更新策略选择p-1个分隔元素,保证划分的p个子集尽可能大小相同,从而确保p个进程对各自的子集进行本地排序时的负载均衡。在天河二号超级计算机上进行的大量实验表明,ScaPSRS算法能够成功地扩展到32000个内核,性能比PSRS算法和Hofmann等人提出的分区算法分别提升了3.7倍和11.7倍。

一种基于数据分布的不平衡数据过采样方法

针对现有不平衡数据过采样方法生成重叠样本、潜在价值不高样本以及过拟合等问题,提出了一种基于数据分布的过采样方法.该方法首先将少数类样本划分成不同子簇,根据样本的空间分布位置识别噪声样本和少数类边界样本,并删除噪声样本;进而将对分类边界决策影响大的少数类边界样本作为种子样本,并结合种子样本所在子簇的稀疏因子及其识别的难易程度确定采样权重;最后在种子样本所在的子簇中生成新样本.为了验证所设计采样方法的有效性,分别使用AdaBoost(adaptive boosting)和SVM(support vector machine)算法对12个数据集进行分类实验,结果表明,与传统的过采样算法相比,所设计的过采样方法在保证了整体分类性能下,提高了不平衡数据中对少数类的分类效果.

自适应压缩频谱感知的采样率动态调整策略

受奈奎斯特-香农采样定理的限制,宽带频谱感知(wideband spectrum sensing,WBSS)的首要难点是采集宽带信号。根据变步长自适应滤波算法原理,基于自适应压缩频谱感知(adaptive compressed spectrum sensing,ACSS)提出了一种动态调整采样率的压缩频谱感知方法(dynamically adjust sampling rate ACSS,DASR-ACSS)。采用调制宽带转换器结构,针对传统ACSS固定步长的问题设计了步长动态调整策略。针对原始信号难以获取的问题,通过对信道占用状态相关性和检测率的变化趋势进行数据统计分析,设计了利用信道占用状态相关性的停止准则;通过对停止准则的实验数据分析,以sigmoid函数为基础设计了分段函数作为步长调整策略,利用步长补偿因子充分提升性能。仿真结果表明,与传统ACSS相比,DASR-ACSS能更快达到高检测率,能够平衡算法的实时性能和采样率压缩比性能,当信噪比在-30~30 dB时,DASR-ACSS表现出更好的检测性能。

基于批数据过采样的中医临床记录四诊描述抽取方法

中医临床记录四诊描述抽取对中医临床辨证论治的提质增效具有重要的应用价值,然而该任务尚有待探索,类别分布不均衡是该任务面临的关键挑战之一。该文围绕中医临床记录四诊描述抽取任务展开研究,首先构建了中医临床四诊描述抽取语料库;然后基于无标注的中医临床记录微调通用预训练语言模型实现该模型的领域适应;最后利用小规模标注数据,采用批数据过采样算法,完成中医临床记录四诊描述抽取模型的训练。实验结果表明,该文提出的抽取方法的总体性能均优于对比方法,并且与对比方法的最优结果相比,该文方法将少见类别的抽取性能F1值平均提升了2.13%。

图采样泛化行人重识别算法

最近的研究表明,度量学习中的深度特征匹配方法,结合大规模、多样化的训练数据,可以显著增强人员再识别的泛化能力。然而,许多现有的方法会产生大量的内存和计算成本,如分类参数或类记忆学习等。为解决上述问题,提出了一种新的基于相关性图采样(correlation graph sampler,CGS)的泛化行人重识别算法,CGS的基本思想是在训练开始时使用局部敏感哈希函数(locality-sensitive Hashing,LSH)和特征度量为所有类构造最近邻关系图。这确保了每一小批训练样本由随机选择的基类和与基类具有相似性的近邻类组成,以提供信息量大且具有挑战性的学习示例,提高行人重识别模型的判别性学习能力。CGS的采样原理会受主干网提取的特征质量影响,因此CGS采样能力会随着主干网的训练而增强,具有可学习性。通过在大规模数据集(包括CUHK03、Market-1501和MSMT17)上交叉评估该方法,广泛的实验结果证实了该方法的有效性,并展示了其在行人重识别应用中的潜力。

含有输入时滞的非线性系统的输出反馈采样控制

针对含有输入时滞和低阶非线性项的非线性系统,提出一种基于采样机制的无记忆输出反馈控制方法.该方法移除了传统预测控制方法预测映射难以确定的限制,同时避免了时滞依赖方法对过去时刻状态信息的依赖性,在实际中更易实现.首先,根据系统输出在采样时刻的信息,利用加幂积分技术和齐次占优思想设计了无记忆输出反馈采样控制器.然后,利用齐次系统理论提出了闭环系统的稳定性条件.最后,仿真结果验证了所提方法的有效性和优越性.

脉动压力风洞试验采样参数确定方法及应用

综合考虑脉动压力风洞试验中的时间延迟效应,以及结构振动响应分析时截止频率相关要求,推导出采样频率的计算公式。依据统计学理论,推导特定置信度和准确度下的采样时间的计算公式,并计及结构振动响应计算中对频率分辨率的要求,建立采样时间的确定方法。从输入参数、计算过程和结果出发,建立了信号采样参数的确定流程。以飞机典型结构脉动压力风洞试验为例,对该方法进行了说明,分析了相似换算后结构原型的脉动压力功率谱密度,结果满足振动响应计算需求,表明所提采样参数确定方法可行有效。该方法理论依据明确,对脉动压力风洞试验设计具有指导意义。

基于傅里叶变换与近端采样的序列推荐算法

传统推荐算法比较注重于模型本身对于推荐效果的提升,实际上数据质量对于算法的影响更为重要,但目前在推荐算法领域对于数据的科学处理方法比较零散,没有形成一个系统的框架。针对以上问题,基于傅里叶变换与近端序列采样的数据预处理,结合SASRec提出可以普遍应用的序列推荐框架FTRRec。首先通过傅里叶变换将序列数据在时域和频域中相互转换,并根据序列数据的特点,过滤序列中的无用信息,其次使用近端序列采样替换传统的滑动窗口采样法,加速样本采样的同时,提升模型对于序列的特征捕获能力。通过在5个公开数据集上的实验,将框架应用于三个不同的主流推荐算法时,每种模型均有3%-5%的提升。

不平衡数据集的DC-SMOTE过采样方法

针对不平衡数据集在分类任务中表现不佳的问题,提出基于局部密度与集中度的过采样算法。针对数据集中所有的少数类样本点,分别利用高斯核函数与局部引力来计算局部密度与集中度;对于局部密度较小的部分有针对性地合成第一类新样本,解决类内不平衡问题。根据集中度的不同,区分出少数类样本的边界,有针对性地合成第二类新样本,达到强化边界的作用;同时,通过自适应生成新样本,有效解决大部分过采样算法没有明确过采样量或者盲目追求样本平衡度相等的问题。最后,在公开的12个不平衡数据集上进行了实验,实验结果表明,本算法在低不平衡数据集与高不平衡数据集上的应用均拥有良好的表现。