基于Spark计算的大数据终端潜在异常识别仿真

终端信息泄漏是大数据安全的主要问题,大规模高速数据流的潜在异常风险直接影响大数据终端运行状态。为此提出基于Spark计算的大数据终端潜在异常识别方法。分析终端潜在异常数据的噪声影响程度,利用去噪算法对原始终端数据完成去噪预处理。将其输入网络大数据深度挖掘模型中提取潜在异常数据的特征。以Spark计算和自适应快速决策树为基础构建并行性分类模型,将提取到的特征输入至模型,实现大数据终端潜在异常的识别。仿真结果表明,所提方法识别精确度和效率均较高,且具有更大的适应度,说明研究方法的稳定性更优。

煤层气富集区遥感勘查研究进展与展望

煤层气是一种自生自储式非常规清洁能源,它赋存于煤层及其围岩中。传统勘查方法费时费力,而遥感技术提供了煤层气富集区快速勘查的新途径。煤层气富集区遥感勘查的基本原理是基于典型地物波谱特征与富集区烃微渗漏导致的地表物体异常波谱特征,包括岩矿蚀变、植被异常和热异常等波谱特征的对比,结合煤田地质、地震、大地电磁等物探方法获取的数据,进行多源信息提取与综合分析,逐步查明煤层气富集区分布范围与含气特性。文章综述了煤层气富集区烃类物质渗漏与地表岩矿波谱和植被波谱异常的响应机制,以及基于地表岩矿波谱与植被波谱参数反演的多种方法与地物波谱异常反演在煤层气潜在富集区的勘查应用;阐述了含煤层气地层导致地表热异常的不同解释与提高地表温度反演准确率的主要方法与应用。未来,遥感与煤田地质数据、地震探测和大地电磁探测相结合,开展立体多元信息分析与信息提取,将成为实现煤层气富集区低成本快速勘查的主要途径。

基于车载点云的道路三维实景建模方法研究

传统的基础测绘存在组织管理固化、服务模式落后、产品形式单一等问题,在新型基础测绘体系下形成了全要素三维实景模型这一成果。本文探讨基于车载点云进行城市道路三维实景建模方法研究,并以某城市主干路为试验对象,对道路及道路两侧部件点云数据进行矢量化得到道路全要素地形数据,以部件点云数据为参考结合外业调绘尺寸用3ds Max软件制作道路部件模板库,并结合点云数据和矢量数据对各类要素进行单体化,最后将道路模型和部件模型融合。结果表明,基于车载点云数据构建的城市道路全要素实景模型不仅可以保证场景的完整性和真实性,还减少了作业时间和成本,实现了各类模型之间的无缝结合,制作完成的模型精度也能满足项目精度要求。

基于多源数据与随机森林方法的城市建成区提取——以郑州市为例

基于夜间灯光数据的阈值分割法在城镇建成区提取研究中被广泛应用,但由于夜间灯光数据分辨率低、灯光溢出和阈值分割法无法顾及区域差异等问题,一定程度上影响了该方法的提取精度。以郑州市为例,以LJ1-01与NPP/VIIRS两种夜间灯光影像为主要数据源,结合Landsat8中分辨率遥感影像、网络城市兴趣点(POI)及路网数据,利用随机森林分类方法对郑州市2018年建成区进行提取,参考土地利用数据,对RF分类法与NTL、VANUI、BANUI、PANUI、RANUI指数等阈值法进行对比实验和精度评价,评估基于多源数据的随机森林分类方法在城市建成区提取中的优势。实验表明,RF比阈值法提取的建成区更接近真实建成区且提取精度更高,具有更好适用性;LJ1-01数据提取的效果和精度总体优于NPP/VIIRS数据;在采用RF分类时,各类特征的重要性在不同夜光数据源中表现差异较大。

自然资源“三全”调查监测技术体系研究与实践

为统筹整合遥感数据源,统一实施地类变化信息提取,优化各项调查监测和业务管理的业务流,探索建立“全范围地类监测、全流程变化跟踪、全业务数据支撑”的“三全”调查监测体系。整合“天空地网”多源协同数据获取、变化监测要素智能提取、三维时空场景建模与管理、自然资源监测智能化服务平台等关键技术,形成标准统一、手段智能、业务联通、先进实用的自然资源统一调查监测技术体系,更有力地支撑生态文明建设和自然资源管理。

基于本体库的知识抽取及图谱构建技术

该文首先介绍领域内本体库的组成架构,以及基础数据分析和WordNet节选的主要功能。随后,提出一种基于本体库的实体数据抽取技术,在不同的实体之间建立语义关系,为知识抽取做好铺垫。在实体信息抽取过程中,首先要判断网页是否在领域内,在确定网页属于领域后按照特定的标签划分网页内容,进而抽取出有价值的实体数据。将抽取到的实体数据存储到Neo4j数据库中,定期更新知识图谱内的数据。当需要调用数据时,可以从知识图谱中检索需要的数据,从而实现数据资源的整合利用,发挥数据的价值。

基于CycleGAN-IA方法和M-ConvNext网络的苹果叶片病害图像识别

针对苹果叶片病害图像识别存在数据集获取困难、样本不足、识别准确率低等问题,提出基于多尺度特征提取的病害识别网络(Multi-scale feature extraction ConvNext,M-ConvNext)模型。采用一种结合改进的循环一致性生成对抗网络与仿射变换的数据增强方法(Improved CycleGAN and affine transformation,CycleGAN-IA),首先,使用较小感受野的卷积核和残差注意力模块优化CycleGAN网络结构,使用二值交叉熵损失函数代替CycleGAN网络的均方差损失函数,以此生成高质量样本图像,提高样本特征复杂度;然后,对生成图像进行仿射变换,提高数据样本的空间复杂度,该方法解决了数据样本不足的问题,用于辅助后续的病害识别模型。其次,构建M-ConvNext网络,该网络设计G-RFB模块获取并融合各个尺度的特征信息,GELU激活函数增强网络的特征表达能力,提高苹果叶片病害图像识别准确率。最后,实验结果表明,CycleGAN-IA数据增强方法可以对数据集起到良好的扩充作用,在常用网络上验证,增强后的数据集可以有效提高苹果叶片病害图像识别准确率;通过消融实验可得,M-ConvNex识别准确率可达99.18%,较原ConvNext网络准确率提高0.41个百分点,较ResNet50、MobileNetV3和EfficientNetV2网络分别提高3.78、7.35、4.07个百分点,为后续农作物病害识别提供了新思路。

基于Sentinel-1/2数据融合的县域农业大棚提取

农业大棚作为一种特殊的地物类型,在高空间分辨率遥感影像上识别相对容易且精度高,但高分影像大多需商业购买,可获取性受限。为提高县域农业大棚精确提取的经济性和便捷性,该研究利用免费、方便获取的非高分Sentinel-1(雷达)和Sentinel-2(光学)遥感数据进行融合,结合光谱指数、纹理提取和主成分分析等方法,构建了多维特征集空间,采取多种分类识别方法(案),对县域农业大棚进行识别提取。研究结果表明:1)仅使用Sentinel-1/2(10 m分辨率)遥感影像,在适当分类方法(案)的支持下,可实现县域农业大棚的高精度提取;2)利用Sentinel-1(雷达)和Sentinel-2(光学)遥感数据的融合有助于提升农业大棚的识别精度。Sentinel-1/2数据融合相较于仅使用Sentinel-2(光学)遥感数据,总体精度平均提升1.70个百分点,最大提升3.29个百分点;3)文中所用识别方法(案)中,面向对象方法在大棚密度高的区域表现良好;但在大棚密度较低的区域,精度一般,表现出较强的区域(或场景)依赖性。而光学与雷达信息融合后基于像素的递归特征消除随机森林(random forest-recursive feature elimination,RFRFE)方法(案)平均精度可达96.45%,精度高且稳定,区域适应性强,适合非高分影像县域农业大棚的精确、高效提取。研究提出的基于Sentinel-1/2影像县域农业大棚提取方案,可为广大县域农业大棚经济、快速、高效提取,提供技术支持。

低资源场景事件抽取研究综述

事件抽取作为信息抽取的任务之一,旨在从非结构化文本中抽取出结构化事件信息。当前基于机器学习和深度学习的自动化信息抽取方法过度依赖于标注数据,而大多数领域的标准数据集规模很小且分布不均匀,因此低资源场景成为了限制自动化信息抽取性能的瓶颈。虽然,近年来众多学者针对低资源场景进行了深入研究,并取得了许多显著的成果,但目前针对该场景下的事件抽取研究综述比较缺乏。文中对现有的学术成果进行了较为全面的总结分析,首先介绍了相关任务的定义,并将低资源场景事件抽取任务分为3类;其次围绕此分类重点阐述了6种相关技术方法,包括基于迁移学习、基于提示学习、基于无监督学习、基于弱监督学习、基于数据与辅助知识增强、基于元学习的方法,并指出了当前方法的不足和未来改进的方向;然后介绍了相关数据集及评价指标,并对典型技术方法的实验结果进行了总结分析;最后从全局角度总结分析了当前低资源场景事件抽取工作面临的挑战及未来研究的趋势。

基于智慧计量实验室的多源异构检测数据智能提取技术研究

文章在解决智慧计量实验室中多源异构检测数据的提取与处理问题,对计量实验室检测数据类型和异构类信息提取面临的问题进行分析,提出基于图像处理的检测数据提取技术路线;设计了一种基于可微分二值化网络(differentiable binarization networks,DBNet)和卷积循环神经网络(convolutional recurrent neural network,CRNN)的检测数据智能提取技术,实现了对多源异构数据的自动检测、识别和提取。在此基础上,研制了多源异构检测数据智能提取装置,并进行了验证,结果表明,该装置能够有效地提取纸质报告或表单中的检测数据等关键信息,具有较高的准确性和较快的响应速度,为智慧计量实验室的数据管理和分析提供了有力支持。该研究对于推动智慧计量实验室的建设和试验检测数据应用具有重要意义。

基于激光扫描的电子档案异构时态数据检测方法

研究一种基于激光扫描的电子档案异构时态数据检测方法,该方法利用激光扫描获取数据并生成电子档案。针对电子档案中的数据实施缺失数据填补和离群数据处理。提取电子档案数据的递归率、仙农熵以及歪度三个特征。结合随机森林算法,输入递归率、仙农熵以及歪度三个特征,得出电子档案异构时态数据类型。结果表明:1处和3处边坡工程的位移处于轻微状态;2处边坡工程的位移处于严重状态;4处边坡工程的位移处于安全状态;5处边坡工程的位移处于较严重状态。所研究方法的Kappa系数达到相对最大值,说明所研究方法的检测能力更高。

大数据场景下用户评论聚类文本挖掘算法

因传统文本数据挖掘算法在大数据场景下的文本聚类挖掘效果较差,提出一种大数据场景下基于文本数据挖掘的用户评论聚类算法。首先,通过设计改进的信息增益算法提取用户评论数据特征,根据信息熵提取文本关键字和不平衡数据项形成特征数据。之后,使用改进的聚类数据挖掘算法对特征数据进行聚类挖掘。最后,基于Spark框架将改进的聚类数据挖掘算法进行并行化改造。设计实验验证分析所提特征提取算法与聚类挖掘算法的性能,结果表明在大数据场景下所提算法的运行时间、准确率和加速比方面优于传统算法。

遥感技术新进展赋能水利行业应用

随着遥感技术的不断发展和水利信息化进程的加快,水利遥感有了飞速的发展,与水利现代化发展同步。目前,遥感技术在水利行业的应用范围非常广,在为水利高质量发展提供有力支撑和强力驱动的数字孪生水利建设中发挥了重要的作用。近十多年来,快速发展的遥感技术为提升水利遥感应用能力提供了强有力的支撑,具体表现在数据源的丰富化和多源化、数据获取的速度和效率显著提升、定量估算与反演精度大大提高、专题信息可获得性不断增加、数据处理和信息提取的智能化水平取得长足进步。介绍了遥感技术发展赋能水利遥感应用领域的现状和前景展望,为遥感技术赋能水利新质生产力提供参考。

基于运动特征的骨骼行为识别方法

针对现有的骨骼行为识别方法对人体行为的运动信息利用不足的问题,提出一种基于运动特征的时空注意力图卷积(STA-GCN)行为识别模型。对动作捕捉设备采集到的关节点运动轨迹和速度信息进行建模,在时间和空间构建注意力权重矩阵,结合图卷积网络进行特征提取,能够关注到具有判别力的关节点和时间帧。通过在自建动作捕捉数据集和NTU-RGB+D数据集的CS和CV标准上进行实验,其结果表明,该模型增强了对人体骨骼行为信息的理解能力,验证了模型对行为识别的有效性。

多源参考数据下的边坡DEM提取与精度分析

参考DEM是InSAR DEM提取精度分析中不可或缺的重要数据。考虑到当前可供使用的DEM数据层出不穷,如何选择可靠的参考DEM以解决不同地形DEM提取精度的需求,是DEM提取中一个亟待解决的问题。本文分别选择12.5 m的ALOS DEM、30 m的STRM DEM、90 m的STRM DEM作为参考DEM,依据2020年两景Sentinel-1A影像对德兴市部分地区边坡进行DEM数据提取,利用InSAR技术提取实验区的S1ADEM数据,并以ASTGTM DEM数据为参考,使用检测点法随机选择约300个检测点,选择相应的评价指标,分别对不同参考DEM下提取得到的S1ADEM进行精度检验。研究结果显示,使用12.5 m分辨率的ALOS DEM作为外部DEM,提取得到的S1ADEM精度更高,其在实验区A的RMSE为9.412 m,使用90 m的STRM DEM,提取得到的S1ADEM精度更低,其在实验区A的RMSE为10.293m。该实验为不同地形提取DEM提供了指导,能够帮助学者们在进行InSAR实验时更好地选择参考DEM,研究成果可为边坡灾害及预警提供重要的技术支持。

基于特征与数据增强的城市街景实例分割算法

城市街景分割是智能交通领域中一项关键的技术,对于城市街景环境中的客观因素例如遮挡、小目标等问题,提出一种基于特征增强与数据增强的城市街景实例分割算法DF-SOLO(data augmentation and feature en-hancement SOLO)。针对遮挡问题,通过非对称自编-解码器架构对城市街景图像进行数据增强,与传统方法相比处理后的图像更贴近真实的源数据分布。针对城市街景中的小目标分割问题,引入特征加权和特征融合的思想,特征加权模块在特征处理过程中能够根据特征的重要程度赋予不同的权值,提高对重要特征的利用率;特征融合模块从更细粒度的角度进行多尺度特征融合以解决尺度敏感问题,提高语义特征的描述性。通过在Cityscapes数据集上的实验表明,提出的实例分割算法在保证实时性的同时相较于单阶段SOLO算法和两阶段Mask R-CNN算法的mAP值上分别提升2.1%和2%,改善了对小目标和遮挡目标的分割效果。

结合地理信息与AIS数据的海上航道自适应提取方法

海上航道对于海上态势感知具有重要意义。然而,现有的航道提取方法存在航道航路点易丢失、提取准确性不高等问题,本文依据船舶航路点数量与其途经岛屿、港口等地理区域数量相等的准则,提出了一种结合地理信息与自动识别系统(Automatic Identification System, AIS)数据的海上航道自适应提取方法。首先,构建港口之间往返船只AIS航迹数据集,将每条AIS航迹等间距分段并计算每段航迹的平均航速,设置航速差初始阈值,计算相邻航段平均航速差超过阈值的数量作为初始船只转弯次数。其次,统计AIS航迹途经岛屿、港口等地理区域的数量,若其与利用AIS航迹提取的船舶转弯次数不相等,则根据两者的差异自适应调整航速差阈值,重新提取船舶航路点,直至其与途经地理区域的数量相等,将平均航速差超出最终阈值的航迹段的连接点作为船舶航路点。然后,利用基于密度的聚类算法将所有船舶的航路点聚类为航路点集合,计算航路点集合的质心作为航道的航路点。最后,以航道航路点为顶点、航路点之间的连线为边构建有向图,并删除落在陆地上的连线后得到最终的航道提取结果。利用潍坊港—连云港港之间行驶的20条船舶的AIS数据开展了海上航道提取实验,结果表明,与基于交通路径异常检测的航道提取方法相比,本文方法得到的船舶航路点的平均虚检率降低了9.1%,平均漏检率降低了16.7%,显著提升了航道航路点位置提取的准确性。

基于关联规则的油田大型机泵设备振动故障数据采集方法

为了在不同工况下获取完整的振动故障数据,设计关联规则的油田大型机泵设备振动故障数据采集方法.提取大型机泵设备振动故障数据特征,在数据标准阈值中设定预警值与报警值,获取故障数据的全频域信息;基于关联规则方法优化振动故障数据采集完整性,通过分解、排序、更新三个步骤在处理噪声的同时保证数据完整性;引入连续采集算法判定振动数据故障阈值,优化完成油田大型机泵设备振动故障数据采集.实验表明,该数据采集方法可以在六种工况下,有效获取机泵设备回旋振动与纵向振动的完整故障数据,具备实际可行性.

基于计算智能的电力数据智能分析及应用研究

为了提升智能电网负荷预测准确率,提出了一种基于深度学习的短期电力负荷预测模型。在长短时记忆网络和卷积神经网络基础上,构建混合CNN-LSTM预测模型结构。利用基于叠加卷积降噪自动编码器对电力数据进行特征提取,提出包含2个堆叠的LSTM层和1个线性输出层的负荷预测模型。24 h短期负荷预测结果表明,所提模型MAE、RMSE、MAPE和R2指标分别为232.08、292.19、0.0322、0.909,与XGBoost模型相比,性能分别提升74.8%、73.8%、70.8%和10.9%。

基于优化VMD-CNN-BiLSTM的电机轴承智能故障诊断研究

针对滚动轴承早期故障信号较弱及特征数据提取效果差,导致故障诊断准确率低以及故障诊断效率低的问题,提出一种信号处理结合深度神经网络的故障诊断方法。首先,采用变分模态分解(VMD)法提取主轴承振动数据中的特征数据;然后为了确定VMD算法中最佳的模态分量个数K及惩罚参数α,增强特征提取的效果,将最小排列熵作为适应度函数,采用全局优化能力强的正弦混沌自适应鲸鱼优化算法(CAWOA)进行参数的确定,得到最优模态分量;接着,根据最优模态分量构造特征向量,将特征向量作为CNN-BiLSTM网络的输入,实现故障的分类。最后,根据实验平台采集的数据进行实验分析。结果表明,优化VMD-CNN-BiLSTM轴承故障诊断模型相较于其他故障诊断模型,在准确率以及实时性上均有明显提升。