基于CheerIO的MEAN Stack气象数据网络爬虫研究

为全面、即时搜集分散于互联网上游离的气象数据,满足各行业、各领域、各学科科研部门的数据需求,提出使用Google MEAN Stack全栈技术开发基于Cheer IO的高效定向爬虫,充分利用Node.js高性能I/O的特性,实现气象信息的快速搜集。同时将技术栈与地理信息系统技术、数据可视化技术以及云计算技术相结合,通过地理信息系统的数据存储、查询、自动制图、统计分析等功能对信息进行分析和处理,在阿里云平台上构建了一个能抓取并存储海量数据、提供实时气象数据的应用系统,提供便捷的检索、查询功能,有较强的实用性。本文结合气象数据爬虫的解决方案,对MEAN Stack数据爬虫的开发框架、项目架构以及爬虫核心技术(抓取目标策略、网页分析算法、多线程并发运算等)进行了深入分析研究与实现。

基于K-means聚类算法的电站煤场来煤堆放优化研究

为有效应对复杂的电力和煤炭市场,加强燃料智慧管理成为火电厂管理的重要组成部分。针对某燃煤电厂的煤场占地面积小、来煤煤种复杂和燃煤堆放混乱的问题,通过提取历史来煤的煤质信息,使用K-means和DBSCAN 2种聚类算法对来煤低位发热量、挥发分、硫分进行聚类分析,从轮廓系数、聚类稳定性和样本划分精细度3个方面对2种聚类算法进行对比,最终选择聚类效果更好的K-means聚类算法作为煤质划分的计算方法。K-means聚类算法将选取的历史煤质信息数据集划分为4类,轮廓系数为0.587,且划分后的同一类别内煤质成分相近。统计不同聚类标签下的来煤频率和来煤质量比例,对煤场进行了相应的比例划分,每一分区堆放相同分类的来煤,并以此为基础设计了数字化煤场平台中的来煤堆放指导及信息存储流程,对提高堆场空间利用率和煤场管理效率具有重要的意义。

基于Stacking集成模型的台区线损率预测方法研究

针对现有线损率预测方法预测精度较低的问题,提出了一种将Stacking集成学习模型与改进的k-均值聚类方法相结合用于预测台区的线损率。通过聚类方法进行数据聚类,再通过Stacking集成学习模型对台区线损率进行预测。Stacking集成学习模型由XGBoost模型、梯度决策树模型和支持向量机模型构成。与传统预测方法进行对比分析试验验证可行性。结果表明,与传统的线损率预测方法相比,所提出的线损率预测方法具有更好的预测效果,更高的预测精度和拟合效果。该研究为实现电网双碳目标提供了一定的参考。

基于Attention-LSTM与多模型集成的短期负荷预测方法

目前深度学习技术发展快速,针对其在短期负荷预测任务中处理离散数据效果较差以及泛化性不佳的问题,提出一种基于注意力机制的长短期记忆网络(long short-term memory network with attention mechanism,Attention-LSTM)与Stacking多模型集成的负荷预测方法,可以兼顾二者优势。首先,利用均值编码的方式处理离散特征,接着应用Attention-LSTM对负荷数据进行特征提取,再将处理后的数据一同输入到基于Stacking的多模型集成预测模型中,通过3种基学习器对输入特征进行分析处理,最终通过元学习器完成预测。算例使用2个数据集中的实际负荷数据进行分析,对2个数据集中的负荷数据分别进行预测,并与门控学习单元、轻量级梯度提升机、支持向量机方法进行对比。仿真结果表明,所提方法在2个数据集的预测精度均能够超过98%,比其他3种方法的预测精度更高。

基于堆叠降噪自编码器的跨项目软件缺陷数量预测方法

在软件缺陷预测技术应用中,需要预测的项目可能是一个全新的项目,或者需要预测的项目历史数据较为不足。一种解决方法是利用已有数据充足的项目(源项目)构建模型完成对新项目(目标项目)的预测,主要利用传统机器学习方法对源项目与目标项目进行特征迁移学习完成缺陷预测,但不同项目之间的数据存在较大的分布差异,同时传统机器方法学习到的特征表示能力很弱且缺陷预测性能较差。针对此问题,从深度学习出发提出一种基于堆叠降噪自编码器的跨项目缺陷预测方法,该方法结合堆叠降噪自编码器和最大均值差异距离,能够有效地提取源项目与目标项目可迁移的深层次特征表示,基于该特征可以训练出有效的缺陷数量预测模型。实验结果表明,在Relink数据集和AEEEM数据集上与经典的跨项目缺陷预测方法Burak过滤法、Peters过滤法、TCA以及TCA+进行比较,该方法在大多数情况下可取得最好的预测结果。

叠前非局部平均滤波压制随机噪音

非局部平均滤波方法的去噪性能优异,但其在地震资料处理中的应用刚刚起步。该方法利用数据具有的结构冗余,以包含局部结构的小窗口或邻域为单元,利用局部结构相似性进行加权运算,增强有效信号,压制随机噪音。针对叠前地震资料数据量大、噪音背景强、局部结构简单;原始非局部平均算法对每一点滤波,需要对数据体内所有点计算权系数后进行加权计算,计算量大,对强噪音背景适用性差等不足,对原始非局部平均算法进行了改进,主要包括:基于速度谱的搜索窗口分割;基于梯度域奇异值分解的局部结构相似集选择方法;基于相似集大小的自适应滤波参数选择方法。试验结果表明,该方法改进后对于叠前地震数据的随机噪声具有较好的压制作用。

煤田构造断裂带叠前时间偏移成像研究

为了提高顾桥矿南一、南二采区内断裂带构造成像精度,对地震勘探三维叠前时间偏移成像进行了研究。经分析勘探区地质资料和原始地震资料,采用保幅处理的方法得到了高信噪比的叠前道集,将偏移后的共反射点道集反动校后多次迭代修改均方根速度,并由此建立了精确的均方根速度场,选取了合适偏移算法及多种偏移参数———偏移孔径、拉伸算子、反假频算子等,最终完成叠前时间偏移。结果表明:所得到的剖面与叠后时间偏移相比横向连续性明显增强,信噪比提高,并且偏移归位与钻孔揭露情况吻合程度高。叠前时间偏移特别适合煤矿复杂地质条件下断层构造相对密集的小地块三维地震资料处理。

基于机器学习的商品特性表征和客户偏好预测

为分析预测电商企业客户的购买偏好及其对应的商品特性表征,结合K-means与PCA来生成相对应且可解释的商品与客户集群,并将原始数据转换为可用于偏好预测分类器训练的数据。在此基础之上,进一步提出使用Stacking集成学习方法,提高预测准确性与模型泛化能力。研究以某公司的真实客户购买数据来验证所提方法的有效性,实验结果表明,基于购买数据正确地生成了5类商品聚类簇与11类客户聚类簇,并且提高了预测精度,以81.37%的准确率预测出了客户的偏好类别。

横向变速介质中叠加速度误差分析

横向变速会使常规叠加速度分析产生误差。本文采用变速介质正演模拟算法，对具有不同类型的横向速度梯度地层的模型，模拟野外多次覆盖观测系统，计算出道集内时距曲线及常规叠加速度值，并与实际介质的均方根速度进行了定量对比分析，揭示了误差产生的原因及其变化规律。研究结果表明，在横向变速介质中，常规叠加速度不仅与共中心点处的速度及旅行时有关，而且还与速度沿横向的二阶导数有关。叠加速度计算误差的符号取决于排列长度内速度横向梯度的变化方向，误差的大小取决于排列长度内速度横向梯度的变化率。所得出的叠加速度误差变化规律有助于人们充分认识常规叠加速度分析的结果，进而可以采用行之有效的算法进行必要的误差校正。

高陡复杂区速度研究及应用

本文以准噶尔盆地南缘 GMD地区的资料为例 ,阐述了时深转换速度场的建立过程。首先通过拉格朗日公式对叠加速度进行编辑 (基准面的校正、异常值的剔除、叠加速度的加密内插 ) ,然后将叠加速度进行倾角校正转换成均方根速度 ,再由迪克斯公式换算为层速度 ,随后对每条线的层速度剖面进行内插得到速度场 ,最后利用该速度场进行时深转换 ,从而校正了同相轴的畸变 ,得到地下准确的构造形态。通过实际应用表明 ,本文提出的求取速度场方法是合理的。值得提及的是在对速度场平面插值时 ,除用井约束外 ,还必须考虑构造的变化情况 ,才能获得更为准确的速度场。

基于堆叠稀疏自编码的模糊C-均值聚类算法

针对模糊C-均值聚类算法对孤立点、随机初始化的聚类中心比较敏感的问题,将堆叠稀疏自编码与传统模糊C-均值聚类算法相结合,对传统模糊C-均值聚类算法进行了改进。由于堆叠稀疏自编码可以提取原始数据集从低层到高层的特征,而高层的特征通常比原始数据集更能反映待聚类样本的本质特征,用其代替原始数据集进行聚类,有助于提高聚类的效果。利用改进后的算法在UCI的几个标准数据集上进行实验,结果表明改进后的算法是有效可行的。

基于粒子群优化算法的叠前角道集子波反演

本文探讨了粒子群优化(PSO)算法在叠前地震角道集子波反演中的应用.在基本最优PSO算法的基础上,提出了对粒子更新速度进行平滑滤波的改进最优粒子群算法.由于代表子波的粒子的维数较大,如果粒子的各维元素相互独立,将导致粒子速度更新紊乱,影响搜索速度.通过对粒子速度进行三点均值滤波,加强了单个粒子各维元素的相互联系,并防止了粒子速度逃逸,使粒子更快地向有利于最优解的位置收敛.该方法应用于叠前角道集子波的反演中,取得了较好的子波反演效果,证明了本文方法的有效性.

GIS中文查询语句的表层语义识别算法研究

针对G IS中文查询语句中词的多义性造成查询语句有时理解困难的问题,在系统词典的基础上进行了词的表层语义识别算法的研究,提出了句子链栈的存储结构,并通过分别扫描系统词典和单词词典来确定表链和句子链.实验测试了算法的正确性和时间、空间复杂度,其正确率可达90%以上,剩余部分可以在深层语义分析子系统中得到完善;空间复杂度的测试证明了本文提出的链栈存储结构较参考文献中的固定栈优势;表层语义识别的结果也证明了本文算法的有效性.

Web GIS中文查询语句的词义理解算法研究

针对Web GIS中文查询语句中词义的多义性给查询语句的正确理解带来的困难,在系统语料库的基础上设计了能解决该问题的算法,提出了句子链栈的存储结构。测试结果证明了该算法能达到9 5%的正确率,为语义分析子系统能正确地提取查询目标、查询条件、分组信息和排序信息提供了有效的词义信息。

基于聚类融合和过采样的不平衡金融模型研究

近年来,如何提高不平衡数据分类精度的问题受到广泛关注。对于不平衡数据问题主要从数据集和算法两方面来解决。研究提出一种基于k-means++聚类算法和过采样的堆叠算法(K-SMO-Stacking)。在Stacking集成算法基础上将k-means++聚类算法应用到分类过程当中,形成新的少数类和多数类,用过采样方法生成更多更密集的少数类样本,均衡数据集后再进行回归训练。实验在多份金融不平衡数据集上进行验证,结合AUC、F1-score和G-mean主流评价指标,结果显示该算法在不平衡金融数据中的分类性能有显著提高。

基于堆叠稀疏自动编码器的SAR图像变化检测

针对合成孔径雷达（SAR）图像存在较强相干斑的特性,该文基于深度学习理论,将堆叠稀疏自编码器（SSAE）运用到SAR图像的变化检测中,用以提取图像的深层特征。首先,用均值比法求取差异图像,然后将差异图像作为输入数据训练稀疏自动编码器（SAE）并通过训练好的SAE提取图像特征,再将图像特征作为输入数据训练新的SAE同时通过训练好的SAE提取图像更深层次的特征,最后连接模糊C均值分类器对提取到的图像特征进行聚类得到变化检测图像。实验结果分析表明基于SSAE的分类模型,总体精度能达到98. 84%,优于实验中的其他方法,证明了深度学习方法在SAR图像的变化检测中具有良好的分类性能。

复杂构造区叠加速度分析

在地震勘探中,当目的层上覆地层存在速度横向剧烈变化时,基于双曲线动校公式中的叠加速度只是一种等效速度,而不是常规意义下的均方根速度。在地震数据处理中,用于目的层叠加成像的速度受这种速度横向变化的影响很大。若使共中心点道集内的反射同相轴校平后能够同相叠加,叠加速度则会出现一些低或高的异常。其原因是共中心点道集内远、近炮检距的射线穿过上覆地层的旅行时差随速度的横向变化而偏离双曲线变化趋势,从而使正常动校时差发生改变。因此以共中心点道集反射同相轴校平为准则求取的叠加速度与均方根速度之间的关系非常复杂。本文试图通过理论模型和实际数据对这一现象进行分析,加深对这一问题的认识。

基于改进聚类算法的Web异常数据挖掘软件设计

以往Web异常数据挖掘软件通常采用小波变换和回声状态网络模型,存在数据库内闭频繁项集"左边"数据循环散布现象,大大降低了异常数据挖掘精度。研究Web异常数据挖掘的软件开发与改进方法,通过post Web异常数据挖掘的堆栈弹出,保障Web数据库内不出现闭频繁项集"左边"数据循环散布现象。在此基础上,采用改进的K-means算法设计用户行为数据分类模块分类用户行为数据,采用异常检测模块通过MapReduce中的map函数确定数据的异常访问类型,Combine和Reduce函数汇总异常访问类型一致的异常检测数据,输出Web异常数据,并采用警告触发模块进行警告。经实验证明,所研究方法挖掘Web异常数据的平均准确度约为97.86%,挖掘不同规则中异常数据的平均结果为96.88%,说明此方法具有较高的挖掘精度和实用性。

涪陵焦石坝三维工区高精度速度建场方法

页岩气层构造形态描述精度直接关系到水平井轨迹设计的准确性和可靠性。利用时间域地震资料描述深度域地下构造形态,关键是在工区建立高精度平均速度场。针对涪陵焦石坝三维工区地表及地下地震地质特点,提出并实现了基于表层模型的叠加速度CMP浮动基准面时间域到深度域的转换、模型迭代层速度计算、基于层位约束的两步法层速度误差趋势面构建、平均速度场随钻实时更新等方法,形成了一套适用于山地起伏地表的高精度三维速度建场技术。该套技术应用于焦石坝页岩气产建区,提高了变速成图精度、水平井井轨迹设计准确率、优质页岩气层钻遇率以及钻井效率,降低了钻井成本。

叠加速度在三维地震勘探构造成图中的应用

时深转换过程所用速度参数的选取,直接影响着勘探目的层构造成图的精度。文章介绍通过叠加速度谱解释的叠加速度求取时深转换平均速度的方法,并用钻孔标定的时深关系对其进行校正,提高作图精度。