基于参考曲线模型和并行非线性最小二乘算法的HPLC-DAD数据分解

HPLC-DAD数据分解问题是化学计量学领域的一个重要课题,也是很多其他研究领域的前提和基础。本文基于参考曲线模型,构造了一种三参数的色谱峰参考曲线,并提出了并行非线性最小二乘算法对参考曲线模型(RCM)进行求解。通过仿真实验和HPLC-DAD数据实验,验证了本文提出的方法具有分辨率高、收敛速度快、参数易控制等特点。

基于四维张量特征分解的风电机组轴承故障缺失数据恢复方法研究

针对风电机组轴承故障信息采集过程中数据缺失导致故障类型无法识别问题,提出了一种基于四维张量模型特征分解恢复缺失数据的方法。首先,基于转速、时窗、经验模态分解和时间4个维度构建四维张量;其次,通过加权优化算法实现张量填充,修补故障数据的缺失值;然后,对张量进行Tucker分解得到核心张量及因子矩阵;最后,基于梯度优化算法进行迭代优化得到最终核心张量及因子矩阵,并利用二者对四维张量进行重构得到恢复数据。采用实验数据和实际数据来验证提出方法的有效性和可靠性。结果表明:两组恢复数据的RMSE值分别为0.3169和0.0291,远小于4种对比方法的RMSE值。利用双稳态随机共振对2组恢复数据进行故障特征提取,信噪比显著提高,分别为-13.2647和-15.5212,进一步验证提出方法的准确性。

结合随机矩阵理论和张量分解的非线性导航大数据异常识别

为了提高导航大数据的精度,需要识别其中存在的异常数据。为了提升非线性导航大数据异常识别精度和效率,提出了基于张量分解的非线性导航大数据异常识别方法。首先,对非线性导航大数据进行张量分解,采用滑动矩形窗划分数据获得若干个时窗段,然后引入db4小波多尺度分解各窗内数据,获得尺度不同的小波系数,并利用重构小波系数张量代替缺失数据,完成数据缺失值填补,提高数据完整度;其次,将互信息作为度量标准,建立数据的互信息矩阵,对互信息矩阵中的元素展开规范化和中心化处理,通过奇异值分解获得数据特征;再次,引入随机矩阵理论对特征展开优化选择,计算导航大数据特征的重要度,获得高精度的数据特征;最后,建立孤立树,通过孤立树给出数据特征的异常得分,以此完成非线性导航大数据的异常识别。实验结果表明,所提方法的缺失值填补精度保持在0.9以上,特征提取覆盖率达到86.3%,特征冗余度低于6.12%,异常识别精度G-mean值高于60%,识别时间低于8 s,有效提升了非线性导航大数据的特征提取精度、识别精度及识别效率。

动态数据隐私模态分解的保护方法优化研究

由于网络环境中动态隐私数据尺度特征难捕捉、保护需求判定误差大,使得隐私数据保护难度提升。为解决以上问题,提出动态数据隐私模态分解的保护方法。通过采集动态数据信息,建立经验函数并按照数据模态量实行独立分解与转换,计算按照不同尺度规则分解中一组数据的分量变化,求得其高频和低频分量,分量即该数据的隐私泄露风险概率。将网络动态图抽象成模型,明确不同时刻下各节点的相邻变化关系,根据节点保护需求,在加密函数中代入求解密钥,结合明文规则使密钥与隐私数据无限贴合,完成隐私有效保护。实验结果表明,所提方法的隐私保护效果较好,在正常和非正常网络环境下均能够实现数据隐私的有效保护。

基于大数据分析的智能用电非侵入式负荷分解模型

为准确从电网电流数据中分解出单独的负荷叠加信号,基于大数据分析构建一种新的智能用电非侵入式负荷分解模型。应用大数据分析技术建立时间序列数据集,确定时间区域断点均值,并在大数据内部提取非侵入式负荷信号,通过迭代计算提取智能用电设备运行状态。根据线性解码计算结果构建负荷分解数学模型,分析负荷电流信号独立性,检测电流信号和负荷电流信号的近似系数,实现分解操作。实验结果表明,所构建模型分解后的电流与负荷的电流信号之间的相关系数达到0.9999,加快了收敛速度,保证分解效果。

基于秩自适应贝叶斯张量分解模型的交通流量数据修复方法

针对传输线路故障、通信故障等原因造成智能交通系统在某时刻或时段无法识别到车辆,导致数据缺失的问题,提出一种基于秩自适应贝叶斯张量分解模型的交通流量数据修复方法.首先,考虑交通数据的时空相关性,基于张量模型构建数据结构.其次,使用贝叶斯模型在张量分解的参数和超参数上设置灵活的先验和超先验分布,构建秩自适应算法解决张量分解模型的秩选择问题.最后,采用长沙市车辆牌照识别(License Plate Recognition,LPR)系统记录的2019年7月1日至2019年7月28日793个交叉路口的交通流量数据,检验在不同的张量数据结构、丢失方式、丢失率以及张量分解秩的情况下该模型的数据修复精度.研究结果表明:秩自适应算法能够捕捉张量分解最佳秩的大小,避免预设秩过大导致的过拟合现象;与传统的CP分解(CANDECOMP/PARAFAC decomposition)和均值法相比,本文所提算法的平均绝对百分比误差在丢失率达到30%的情况下降低了20%,有效提升了交通流量数据修复的准确性.研究成果可为交通流量预测、交通出行时空特征分析中的数据修复提供参考.

以城乡视角测度与分解多维相对贫困——基于双界限法分析中国家庭追踪调查数据

运用2018年中国家庭追踪调查(CFPS)数据,采用双界限法分别对城市和农村地区贫困进行测算与分解。结果表明,从各指标的贫困发生率来看,2018年全国受教育年限、慢性病以及自评健康状况指标的贫困发生率较高,成为除收入外影响贫困的重要因素。随着k值增加,城市和农村地区的贫困发生率与多维贫困指数呈下降趋势,平均剥夺份额呈逐渐增加的趋势。以k=3/9为例,农村多维相对贫困发生率为56.60%,平均剥夺份额及多维贫困指数分别为0.473 0和0.267 7,城市多维相对贫困发生率为30.91%,平均剥夺份额及多维贫困指数分别为0.483 2和0.149 4;从指标分解来看,城市多维贫困中贡献率排前三位的为受教育年限、家庭人均收入以及恩格尔系数,分别为47.50%、24.43%、6.65%,农村多维贫困中贡献率排前三位的为受教育年限、家庭人均收入以及做饭燃料,分别为51.56%、14.41%、11.69%。农村家庭多维相对贫困发生率、多维相对贫困的深度和广度均高于城市家庭,不同维度指标对城乡多维相对贫困的影响各有差异。由此可得,教育的不平等最容易导致家庭多维相对贫困,要解决城乡多维贫困的核心问题,应优先解决教育致贫问题。收入依旧是影响城乡多维相对贫困的重要因素。

基于HPLC-DAD数据库快速筛查降血脂类产品中非法添加的10种化学药物

目的建立一种能同时检测10种有降血脂作用化学药物的HPLC-DAD分析方法,建立各物质保留时间和紫外吸收光谱的二维定性数据库,并将此数据库用于降血脂药物非法添加的快速筛查。方法采用迪马Platisil ODS色谱柱;以0.5%甲酸为流动相A,以乙腈为流动性B,进行梯度洗脱。采集HPLC-DAD检测结果中的对照品的保留时间紫外吸收光谱信息,建立10种常见降血脂化学药物的二维定性数据库。结果本实验基于HPLC-DAD方法新建立了一个快速筛查降血脂类产品中非法添加的数据库,通过对市场抽检样品和模拟阳性样品的检测,结果准确可靠。结论本实验建立的HPLC-DAD数据库可快速筛查产品中是否添加了降血脂类化学药物,具有操作简便、快速的特点,为基层监督检验机构提供了一个可靠的方法学参考。

结合非负矩阵分解和流形学习的大数据聚类方法研究

数据规模扩大与数据关系复杂化给数据聚类带来了挑战,现有方法性能已无法满足求解具备多视图、多类型关系的多维数据聚类问题。提出了一种结合非负矩阵分解框架的流形学习方法,学习多维数据的准确低阶表示,该低阶表示可用于数据检索、分类和聚类等多种用途。还在非负矩阵分解框架中加入多样流形学习,利用不同数据类型数据点之间的距离信息来学习不同的流形以进行数据聚类。直接从输入数据矩阵中同时学习,而不是像现有聚类方法那样依靠重构一个大对称矩阵来求解多维数据聚类问题。对于新制定的目标函数,建立了一套更新规则,保证了所提出方法的正确性和收敛性。进行了严格的实验来测试所提出方法在多维数据上的聚类性能,并将其与基于非负矩阵分解的其他方法进行对比。实验结果表明,所提出方法能够更好地学习数据聚类结构,验证了其有效性。

基于数据驱动自适应变分非线性chirp模态分解的瞬时频率识别

为降低初始频率和信号噪声对变分非线性chirp模态分解(variational nonlinear chirp mode decomposition,VNCMD)的影响,提出了一种基于数据驱动自适应变分非线性chirp模态分解(data-driven adaptive variational nonlinear chirp mode decomposition,DDAVNCMD)的方法。通过模态能量占比确定响应信号的模态个数,同时采用导数归一化算法初步估算模态分量的初始频率,并添加迭代时变滤波器来降低噪声的影响,在此基础上再对响应信号进行VNCMD。通过单分量和多分量解析信号及拉索结构试验对所提方法进行验证。研究结果表明,基于DDAVNCMD的瞬时频率识别方法具有较好的准确性和抗噪性。

基于改进变分模态分解的电网企业监测数据滤波研究

电网企业监测数据在采集过程中,常会受到设备误差、环境因素等多种噪声和干扰的影响,这些干扰因素会使得数据呈现出复杂结构和非平稳性的特征。传统的数据滤波方法在处理这类信号时,对于噪声干扰的容忍度相对较低,会过度平滑或削弱信号中的有用信息,导致数据质量无法得到显著提升。为此,设计了一种基于改进变分模态分解(IVMD)的电网企业监测数据滤波方法。在采集电网实时监测数据后,对采集的这些数据进行小波变换。通过对信号进行不同尺度的分解,实现对电网企业监测数据原始信号的重构。设置阈值函数对小波变换后的数据进行处理,去除噪声并保留有用信号,提高信号的纯净度和信噪比。为了进一步提升数据的准确性和可靠性,利用IVMD方法对于去噪后的数据进行进一步的处理,以滤除剩余的噪声或干扰成分。试验结果表明,所设计的方法滤波效果显著,其失真比最小值达到了0.028 dB,这表明通过该方法能够得到更加纯净和准确的电网企业监测数据。

基于奇异值分解消噪原理的多通道卷积神经网络算法在石油勘探数据质量控制上的研究与实践检验

在石油勘探中,数据常常受噪声干扰影响,精度和准确性变差,数据的可信度降低,进而影响油气勘探的成效,因此数据处理是油气勘探中的重要环节。奇异值分解(SVD)是一种常用的信号处理方法,能有效降低数据噪声。本文提出的基于SVD的多通道卷积神经网络算法,有针对性地解决石油勘探数据中的噪声问题,为石油勘探数据的消噪和质量的提升提供了新的思路和方法,具有良好的推广应用前景。

非结构性数据驱动的混合分解集成碳交易价格组合预测

碳交易价格的有效预测有助于投资者合理决策以及政府制定科学的碳交易政策。本文提出一种非结构性数据驱动的混合分解集成碳交易价格组合预测方法。首先,基于百度指数获得碳交易相关非结构性数据,并利用主成分分析(PCA)方法提取其主成分。其次,对主成分序列与碳交易价格历史数据进行经验模态分解(EMD)、变分模态分解(VMD)与小波分解(WT),按频率高低重构后得到它们的高、低频序列和趋势项。然后,自适应选取自回归移动平均模型(ARIMA)、Holt指数平滑法和人工神经网络模型(ANN),结合非结构信息对碳价格的高、低频序列和趋势项进行预测。最后,基于BP神经网络等对三种分解方法的预测值分层集成,得到碳价格最终预测结果。对比实验结果显示,上述组合预测方法充分利用了多源信息,预测精度高且适用性良好。

非负矩阵因子分解算法解析手性药物重叠峰的HPLC-DAD数据

目的:研究非负矩阵因子分解算法(NMF)用于手性药物HPLC-DAD二维数据解析的可行性及其影响因素。方法:根据化学波谱的基本特征如色谱的单峰性改进NMF算法。考查组分之间色谱分离度、光谱相似程度以及迭代次数对模拟重叠峰解析结果的影响,并将NMF算法应用于实测体系盐酸舍曲林对映异构体体(cis-1R,4R;cis-1S,4S)重叠峰解析。结果:解析结果表明,在色谱严重重叠,光谱相似甚至完全相同时,在合适的迭代次数下,NMF能解析出重叠峰中各单组分的光谱和相应色谱。结论该种二维数据的解析方法,将为混合样本特别是手性药物混合体系的分析提供新途径。

基于动响应数据特征的桥梁结构损伤识别

介绍了本征正交分解(Proper Orthogonal Decomposition,POD)的基本原理,探讨了POD在桥梁结构损伤识别中的应用。提出了基于动响应数据特征的桥梁结构损伤识别方法,该识别方法基于POD技术对桥梁结构在不同位置、不同时刻收集到的位移快照矩阵(Snapshot Matrix)进行本征正交分解,得到结构的本征正交模态(POMs),进而构造出损伤指标来识别结构的损伤位置及程度,实现了对桥梁结构损伤的多工况识别。并以保定黄花沟桥为例,通过数值模拟试验,验证了该方法的有效性,结果表明POD能够从空心板桥结构的振动响应数据中提取出结构的本质特征,并且提取过程简单、快捷,可为桥梁结构提供一种有效的损伤识别方法。

基于随机矩阵分解的大数据无向压缩算法设计

由于已有的大数据压缩算法均是按照一定方向实现,导致冗余数据无法完全滤除,数据压缩耗时较长且网络能耗较大。为解决上述问题,设计一种基于随机矩阵分解的大数据无向压缩算法。构建随机矩阵分解模型,引入用户相邻数据计算隐含可靠大数据,消除冗余信息;运用归约技术预处理数据,利用不同变量的线性组合顶替初始变量,标准化处理大数据样本降低压缩难度;构建数据压缩评估指标,采用无向旋转门算法,期望误差和真实解压缩误差作为负反馈,动态调节压缩误差,连续迭代直到误差降至理想范围,完成大数据无向压缩算法的设计。仿真结果表明,所提算法压缩耗时短,有效提升了大数据压缩比,减少了网络能耗,为大数据的管理与应用提供参考借鉴。

基于奇异值分解的地震数据去噪分析与研究

奇异值分解(SVD)是去除地震数据噪音、提高信噪比的一种有效方法。本文对基于奇异值分解的地震数据去噪进行了分析与研究,主要阐述了SVD和SVD去噪的基本原理,然后进行了模型验证和实际应用,去噪结果可知SVD技术不但可以有效去除地震数据中的随机噪音,而且具有良好的保真性,从而为后续的油气勘探开发工作打下了坚实的基础。地下构造特征是解决水文地质、天然地震带检测、探测油气以及其他各种矿藏资源等工程问题的关键资料,而获取地下构造特征的主要技术之一就是地震勘探。而在实际地震勘探过程中,地震数据一般会受到很多噪音干扰,这些噪音的能量大小不一,在很大程度上降低了地震数据的品质,给后续的处理、解释、储层预测等工作带来了很大的影响.

基于非负矩阵分解的函数型聚类算法改进与比较

非负函数型数据可以不等间隔观测,在理论和实践中应用广泛,对其进行聚类可以更好地探索客观规律。文章利用位置积分变换将函数型数据转化为高维向量,再通过非负矩阵分解(NMF)将其转化为低维向量,以此构建函数型聚类算法。针对基于NMF的函数型谱聚类算法,给出了确定聚类个数K的两种方法:一种是根据Laplacian矩阵的特征值确定K;另一种是构建新评价指标,通过搜索确定K。数值实验结果显示:基于位置积分变换和NMF的函数型聚类算法有效,对函数结构要求宽松,但需限制函数取值为正;NMF的秩可通过cophenetic相关系数确定,建议取较小的值,以剔除类的冗余特征。在确定谱聚类的聚类个数K时,建议对降维后的数据进行标准化处理,以缩小样本间的距离变化范围;聚类个数变点图直观有效,再结合特征值差分法确定K很有参考价值,建议阈值取[0.05,0.08];根据吻合度与相似比确定K的方法有效且简单易懂。

基于高通量监测数据的PMF源解析数据输入量研究

为探究数据输入量的变化对源解析结果的影响,以上海某工业区的大气重金属高通量监测数据为例,按不同数据量将监测数据分别输入至正定矩阵因子分解(Positive Matrix Factorization, PMF)模型中,通过考察模型中Q理论值(Qtheo)与Q计算值(Qtrue)的接近程度、源分类以及源贡献与研究区污染源分布特点的吻合情况,分析数据输入量对源解析结果的影响。结果显示:该区域大气重金属污染受工业生产主导(64.44%),其次是扬尘(19.60%)和交通运输(15.96%)。通过对数据量的考察,发现输入量为60~120时能够得出研究区域的污染源数量与贡献率,但考虑到测试成本、获取数据的时间,认为输入量为60~80时,也能得出合理的源解析结果。短期高通量的分钟级数据集,有益于PMF模型输出高精密度、高时效性的源解析结果,是解决应急污染监控的最佳手段。

基于影响因子分解法的大坝监测数据异常检测算法

如何快速检测出大坝安全监测系统内的异常数据(例如粗差和告警值)对于大坝安全运行具有极其重要的意义,但传统方法容易漏检较小数值异常而对后续建模产生不利影响。提出了一种基于影响因子分解的异常值检测方法,通过快速小波变换及离散傅里叶变换提取监测序列中的显著趋势与周期,剥离环境因子的影响,构建余项序列,并结合小概率事件思想准确判定余项序列中保留的异常值,从而精确检测出监测序列中较小数值异常。实例验证结果表明:此方法具有较好的实用性与稳定性,各类监测序列中异常检测准确率均达98%以上,查准率与查全率均值分别为93%与92%,与传统检测方法相比,检测精确程度及泛化能力明显提升。