期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
Spark平台下基于互信息计算的高光谱图像波段选择方法
1
作者 李俊丽 马俊宏 《光学技术》 CAS CSCD 北大核心 2024年第2期174-181,共8页
随着遥感成像技术的发展和普及,高光谱图像中大量的波段使得大多数应用研究遇到休斯现象。而且随着高光谱图像数据量的快速增长,现有的传统串行算法计算复杂度较高,难以处理高维海量高光谱图像数据。针对以上问题,提出Spark平台下基于... 随着遥感成像技术的发展和普及,高光谱图像中大量的波段使得大多数应用研究遇到休斯现象。而且随着高光谱图像数据量的快速增长,现有的传统串行算法计算复杂度较高,难以处理高维海量高光谱图像数据。针对以上问题,提出Spark平台下基于互信息计算的波段选择算法。利用熵和互信息理论定义波段相关性和多重相关性;基于Spark RDD编程模型设计数据列变换,将数据集划分为列矩阵,以降低计算负载;在Spark平台下对算法并行化,提高算法执行效率。实验结果表明,提出的算法达到了94.5%±0.5的整体分类精度,且加速性能良好,改善了数据可扩展性。 展开更多
关键词 高光谱图像 波段选择 互信息计算 Spark平台 并行计算
下载PDF
Spark平台下类别数据互信息计算的并行化 被引量:3
2
作者 李俊丽 《计算机工程与应用》 CSCD 北大核心 2021年第7期95-100,共6页
针对大规模类别数据的互信息计算量非常大的问题,利用Spark内存计算平台,提出了类别数据的并行互信息计算方法,该算法首先采用列变换将数据集转换成多个数据子集;然后采用两个变长数组缓存中间结果,解决了类别数据特征对间互信息计算量... 针对大规模类别数据的互信息计算量非常大的问题,利用Spark内存计算平台,提出了类别数据的并行互信息计算方法,该算法首先采用列变换将数据集转换成多个数据子集;然后采用两个变长数组缓存中间结果,解决了类别数据特征对间互信息计算量大、重复性强的问题;最后在配备了24个计算节点的Spark集群中,使用人工合成和真实数据集验证了算法。实验结果表明,该算法在效率、可伸缩性和可扩展性等方面都达到了较高的性能。 展开更多
关键词 列变换 并行互信息计算 分类数据 Spark平台
下载PDF
最大互信息系数的并行计算方法研究 被引量:5
3
作者 朱道恒 李志强 《科学技术与工程》 北大核心 2021年第34期14625-14633,共9页
针对最大互信息系数(maximal information coefficient,MIC)近似算法在大规模数据场景下的计算时间复杂度高,计算时间增长快的问题,提出一种最大互信息系数并行计算(parallel computing maximal information coefficient,PCMIC)方法。... 针对最大互信息系数(maximal information coefficient,MIC)近似算法在大规模数据场景下的计算时间复杂度高,计算时间增长快的问题,提出一种最大互信息系数并行计算(parallel computing maximal information coefficient,PCMIC)方法。分别在Spark和Spark-MPI(message passing interface)计算框架中,在不同的数据规模和不同的噪声水平下,利用PCMIC算法对14种典型的相关关系做并行计算。另外在不同节点数的情况下,选择两种具有代表性的相关关系来测试PCMIC算法在两种计算框架中的性能。结果表明:PCMIC算法在两种框架下的运算效果与原始MIC近似算法相比,同样具有普适性和均匀性,而且具有良好的可扩展性;随着数据规模和节点数的增加,PCMIC算法在两种框架中运算的时间增长明显比MIC近似算法慢,而且在Spark-MPI框架下的并行加速比和效率略优于Spark;Spark能够支持MPI任务的调度,为研究不同并行计算框架之间的融合奠定了一定的理论和应用基础。 展开更多
关键词 最大互信息系数 并行计算 最大互信息系数并行计算(PCMIC) SPARK 消息传递接口(MPI)
下载PDF
基于优化ORB算法的遥感图像精确配准技术 被引量:6
4
作者 黄涛 武卫东 《现代电子技术》 北大核心 2019年第9期35-38,共4页
对于遥感图像精准配准技术的问题,提出基于优化ORB算法的遥感图像精准配准技术。首先,实现特征匹配,通过改进ORB算法将特征点进行提取,并且实现描述符的创建及匹配,得到初始控制点;然后,使用随机采样一致性方法和变换参数估计相结合,将... 对于遥感图像精准配准技术的问题,提出基于优化ORB算法的遥感图像精准配准技术。首先,实现特征匹配,通过改进ORB算法将特征点进行提取,并且实现描述符的创建及匹配,得到初始控制点;然后,使用随机采样一致性方法和变换参数估计相结合,将可能错误的匹配进行剔除;最后,通过最小二乘法对变换参数进行估计,实现图像的几何纠正。对算法配准技术进行实验,实验结果表明此方法得到的配准精度较高,能够进一步提高配准效率。 展开更多
关键词 ORB算法 遥感图像 图像配准技术 变换参数估计 互信息计算 特征点匹配
下载PDF
一种贝叶斯网络结构学习的优化策略 被引量:3
5
作者 罗海蛟 《自动化技术与应用》 2005年第5期12-13,39,共3页
贝叶斯网络(BayesianNetwork,BN)近年成为数据挖掘引人注目的研究方向,贝叶斯网络的学习也就是要找出一个能够最真实反映现有数据集中各数据变量相互之间的依赖关系的贝叶斯网络模型。本文针对BN结构学习的JieCheng&DavidBell算法... 贝叶斯网络(BayesianNetwork,BN)近年成为数据挖掘引人注目的研究方向,贝叶斯网络的学习也就是要找出一个能够最真实反映现有数据集中各数据变量相互之间的依赖关系的贝叶斯网络模型。本文针对BN结构学习的JieCheng&DavidBell算法作了相关研究并提出了优化策略(MIAC算法)。本文最后以一个经典概率模型验证了优化算法的可行性。 展开更多
关键词 数据挖掘 贝叶斯网络 互信息 互信息近似计算
下载PDF
基于Spark的倾斜数据虚拟划分算法
6
作者 李俊丽 《计算机工程与设计》 北大核心 2021年第8期2271-2276,共6页
针对基于Spark的类别数据互信息的并行计算在数据倾斜情况下会造成某一个或几个reducer负载过重降低集群性能的现状,重新定义数据倾斜模型来量化由Spark创建的分区之间的数据倾斜度,提出数据虚拟划分算法DVP。通过将同一个键添加随机前... 针对基于Spark的类别数据互信息的并行计算在数据倾斜情况下会造成某一个或几个reducer负载过重降低集群性能的现状,重新定义数据倾斜模型来量化由Spark创建的分区之间的数据倾斜度,提出数据虚拟划分算法DVP。通过将同一个键添加随机前缀更改为几个不同的键,减少单个任务处理过量数据的情况;在一个24节点的Spark集群中实现DVP算法,通过与Spark传统的哈希算法DEFH比较,实验验证了DVP算法减轻了Spark Shuffle过程中的数据倾斜,减少了在负载均衡方面的耗时。 展开更多
关键词 数据倾斜 虚拟划分 类别数据 互信息并行计算 负载均衡
下载PDF
Image Registration Based on Improved Mutual Information with Hybrid Optimizer 被引量:3
7
作者 TANG Min 《Chinese Journal of Biomedical Engineering(English Edition)》 2008年第1期18-25,共8页
An improved image registration method is proposed based on mutual infor- mation with hybrid optimizer. Firstly, mutual information measure is combined with morphological gradient information. The essence of the gradie... An improved image registration method is proposed based on mutual infor- mation with hybrid optimizer. Firstly, mutual information measure is combined with morphological gradient information. The essence of the gradient information is that locations a large gradient magnitude should be aligned, but also the orientation of the gradients at those locations should be similar. Secondly, a hybrid optimizer combined PSO with Powell algorithm is proposed to restrain local maxima of mutual information function and improve the registration accuracy to sub-pixel level. Lastly, muhlresolution data structure based on Mallat decomposition can not only improve the behavior of registration function, but also improve the speed of the algorithm. Experimental results demonstrate that the new method can yield good registration result, superior to traditional optimizer with respect to smoothness and attraction basin as well as convergence speed. 展开更多
关键词 image registration mutual information muhiresolution data structure particle swarm optimization powell algorithm
下载PDF
Application of GML and SVG in the development of WebGIS 被引量:3
8
作者 XI Yan-tao WU Jiang-guo 《Journal of China University of Mining and Technology》 EI 2008年第1期140-143,共4页
Our study deals with two major issues impacting current WebGIS development: interoperability of heterogeneous data and visualization of vector data on the Web. By using the combination of Geography Markup Language (... Our study deals with two major issues impacting current WebGIS development: interoperability of heterogeneous data and visualization of vector data on the Web. By using the combination of Geography Markup Language (GML), Scalable Vector Graphics (SVG) and Web Feature Service (WFS) Implementation Specifications developed by the OpenGIS Consortium (OGC), a strategy of WebGIS is proposed. The GML is used as a coding and data transportation mechanism to realize interoperability, the SVG to display GML data on the Web and the WFS as a data query mechanism to access and retrieve data at the feature level in real time on the Web. A case study shows that the combination mentioned above has enormous potential to achieve interoperability while not requiring considerable changes to existing legacy data. Original data formats need not be changed and could still be retrieved using WFS and transformed into GML in real time. SVG can oroduce suoerior ouality vector maps on a Web browser. 展开更多
关键词 GML SVG WFS INTEROPERABILITY WEBGIS
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部