期刊导航
期刊开放获取
河南省图书馆
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
6
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于KD树划分的云计算DBSCAN优化算法
被引量:
5
1
作者
陈广胜
程逸群
景维鹏
《计算机工程》
CAS
CSCD
北大核心
2017年第4期21-27,共7页
在并行RDD-DBSCAN算法的数据划分和区域查询过程中会对数据集进行重复访问,降低了算法效率。为此,提出基于数据划分和融合策略的并行DBSCAN算法(DBSCAN-PSM)。利用KD树进行数据划分,实现数据分区与区域查询步骤的合并,从而减少数据集的...
在并行RDD-DBSCAN算法的数据划分和区域查询过程中会对数据集进行重复访问,降低了算法效率。为此,提出基于数据划分和融合策略的并行DBSCAN算法(DBSCAN-PSM)。利用KD树进行数据划分,实现数据分区与区域查询步骤的合并,从而减少数据集的访问次数以及降低I/O过程对算法效率的影响。采用判定数据点自身属性的方式,对标注为边缘点的数据进行融合,避免全局标记的额外时间开销。实验结果表明,DBSCAN-PSM算法相比RDD-DBSCAN算法可节省18%左右的运行时间,适用于处理海量数据聚类问题。
展开更多
关键词
聚类
DBSCAN算法
Spark平台
数据划分
数据融合
下载PDF
职称材料
云存储系统中文件分界点确定方法——Cut-GAR
2
作者
邵田
陈广胜
景维鹏
《计算机应用》
CSCD
北大核心
2015年第9期2497-2502,共6页
针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方法——Cut-GAR。该方法分析消耗Name Node内存(M)、文件上传速度(MUFS)、文件读取速度(MAFS)与文件大小之...
针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方法——Cut-GAR。该方法分析消耗Name Node内存(M)、文件上传速度(MUFS)、文件读取速度(MAFS)与文件大小之间的关系,得出文件大小三个近似最优值,FM、FMUFS、FMAFS;然后利用灰度关联分析,将M、MUFS、MAFS作为评价指标,文件大小作为评价对象,得到评价指标-评价对象灰色关联度以及评价指标所占权重,将FM、FMUFS、FMAFS与对应权重相乘,得出文件分界点。实验结果表明,Cut-GAR在M、MUFS和MAFS三者之间取得平衡,可以有效确定文件分界点,提升小文件处理性能。
展开更多
关键词
HADOOP分布式文件系统
小文件
文件分界点
Cut-GAR
灰色关联分析
下载PDF
职称材料
一种面向遥感影像的分布式存储方法
被引量:
5
3
作者
聂沛
陈广胜
景维鹏
《测绘工程》
CSCD
2018年第11期40-45,共6页
高光谱影像数据量大、结构复杂,利用集群对海量数据进行分布式存储成为研究热点,但当前研究多将影像像元数据与元数据分离存储,导致系统内聚性差,影响数据存取性能,同时没有充分考虑上层各种遥感算法的数据访问需求,使得系统可用性不高...
高光谱影像数据量大、结构复杂,利用集群对海量数据进行分布式存储成为研究热点,但当前研究多将影像像元数据与元数据分离存储,导致系统内聚性差,影响数据存取性能,同时没有充分考虑上层各种遥感算法的数据访问需求,使得系统可用性不高。针对上述问题,基于HDFS(分布式文件系统)模型提出一种分布式影像存储模型,将整个影像数据模型存储在同一个结构中,提升系统内聚性,并且提供灵活的数据分块策略以供上层应用调用,满足多种数据访问需求。通过对比实验表明,该存储模型较现有的方案有更好的存取性能,具有较高的可行性。
展开更多
关键词
遥感影像
分布式文件系统
HDFS
存储模型
MapImage
下载PDF
职称材料
混合关键任务可靠调度方法与调度性分析
被引量:
2
4
作者
景维鹏
霍帅起
+1 位作者
陈广胜
刘亚秋
《西安电子科技大学学报》
EI
CAS
CSCD
北大核心
2016年第6期158-163,共6页
为了解决云计算环境下混合关键性任务的可靠调度问题,提出了一种基于主副版本两阶段的混合关键任务可靠调度方法.算法首先对需要调度的混合关键性任务进行优先级划分,按照调度截止期最短的原则将主版本任务调度到目标虚拟机上,对副版本...
为了解决云计算环境下混合关键性任务的可靠调度问题,提出了一种基于主副版本两阶段的混合关键任务可靠调度方法.算法首先对需要调度的混合关键性任务进行优先级划分,按照调度截止期最短的原则将主版本任务调度到目标虚拟机上,对副版本任务按照复制成本最低的原则使用重叠方法进行调度;再对调度到不同虚拟机上的主副版本任务进行可调度分析,对于不能满足分析的任务启动更高关键性等级进行处理.实验结果表明了混合关键任务可靠调度方法具有较高的可靠性和负载平衡能力.
展开更多
关键词
云计算
混合关键性任务
可靠调度
主副版本
下载PDF
职称材料
基于Hadoop及出租车历史轨迹的乘客推荐算法
被引量:
3
5
作者
景维鹏
胡立坤
《计算机工程与应用》
CSCD
北大核心
2016年第7期264-270,共7页
针对智慧城市中乘客打车策略的推荐算法效率不高的问题,使用古典概率学统计历史轨迹中该时间该路段有空车的天数占数据集总天数比例,作为乘客等到空车概率;使用最小二乘法拟合时间与到达空车数曲线,预测乘客等到空车时间,以提高推荐效...
针对智慧城市中乘客打车策略的推荐算法效率不高的问题,使用古典概率学统计历史轨迹中该时间该路段有空车的天数占数据集总天数比例,作为乘客等到空车概率;使用最小二乘法拟合时间与到达空车数曲线,预测乘客等到空车时间,以提高推荐效率。同时,使用Hadoop作为数据存储和计算平台以提高数据处理能力;提出一种基于地图栅格化的路网存储结构来提高搜索地图速度;改进一种基于计算几何的地图匹配算法提高匹配准确率。实验结果显示,空车概率推荐算法正确率约87%,等待时间推荐算法正确率达88.4%,表明挖掘轨迹数据为乘客提供推荐服务的可行性。
展开更多
关键词
HADOOP
轨迹数据
推荐算法
乘客推荐服务
下载PDF
职称材料
矢量瓦片并行构建与分布式存储模型研究
被引量:
12
6
作者
聂沛
陈广胜
景维鹏
《地球信息科学学报》
CSCD
北大核心
2020年第7期1487-1496,共10页
矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数...
矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统Alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。
展开更多
关键词
矢量瓦片
WEB地图服务
并行处理
SPARK
分布式存储
Alluxio
原文传递
题名
基于KD树划分的云计算DBSCAN优化算法
被引量:
5
1
作者
陈广胜
程逸群
景维鹏
机构
东北
林业
大学信息与
计算
机
工程
学院
黑龙江省
林业
生态大
数据
存储
与高性能
(
云
)
计算
工程
研究
中心
出处
《计算机工程》
CAS
CSCD
北大核心
2017年第4期21-27,共7页
基金
黑龙江省自然科学基金重点项目(ZD201403)
林业公益性行业科研专项(201504307)
文摘
在并行RDD-DBSCAN算法的数据划分和区域查询过程中会对数据集进行重复访问,降低了算法效率。为此,提出基于数据划分和融合策略的并行DBSCAN算法(DBSCAN-PSM)。利用KD树进行数据划分,实现数据分区与区域查询步骤的合并,从而减少数据集的访问次数以及降低I/O过程对算法效率的影响。采用判定数据点自身属性的方式,对标注为边缘点的数据进行融合,避免全局标记的额外时间开销。实验结果表明,DBSCAN-PSM算法相比RDD-DBSCAN算法可节省18%左右的运行时间,适用于处理海量数据聚类问题。
关键词
聚类
DBSCAN算法
Spark平台
数据划分
数据融合
Keywords
clustering
DBSCAN algorithm
Spark platform
data partitioning
data fusion
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
云存储系统中文件分界点确定方法——Cut-GAR
2
作者
邵田
陈广胜
景维鹏
机构
东北
林业
大学信息与
计算
机
工程
学院
黑龙江省
林业
生态大
数据
存储
与高性能
(
云
)
计算
工程
研究
中心
出处
《计算机应用》
CSCD
北大核心
2015年第9期2497-2502,共6页
基金
黑龙江省自然科学基金重点项目(ZD201403)
哈尔滨市科技人才研究专项(2014RFQXJ132)
文摘
针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方法——Cut-GAR。该方法分析消耗Name Node内存(M)、文件上传速度(MUFS)、文件读取速度(MAFS)与文件大小之间的关系,得出文件大小三个近似最优值,FM、FMUFS、FMAFS;然后利用灰度关联分析,将M、MUFS、MAFS作为评价指标,文件大小作为评价对象,得到评价指标-评价对象灰色关联度以及评价指标所占权重,将FM、FMUFS、FMAFS与对应权重相乘,得出文件分界点。实验结果表明,Cut-GAR在M、MUFS和MAFS三者之间取得平衡,可以有效确定文件分界点,提升小文件处理性能。
关键词
HADOOP分布式文件系统
小文件
文件分界点
Cut-GAR
灰色关联分析
Keywords
Hadoop Distributed File System (HDFS)
small file
cut-off point
Cut-off Point via Grey RelationalAnalysis (Cut-GAR)
grey relational analysis
分类号
TP316 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
一种面向遥感影像的分布式存储方法
被引量:
5
3
作者
聂沛
陈广胜
景维鹏
机构
东北
林业
大学信息与
计算
机
工程
学院
黑龙江省
林业
生态大
数据
存储
与高性能
(
云
)
计算
工程
研究
中心
出处
《测绘工程》
CSCD
2018年第11期40-45,共6页
基金
黑龙江省自然科学基金重点项目(ZD201403)
林业公益性行业科研专项(201504307)
文摘
高光谱影像数据量大、结构复杂,利用集群对海量数据进行分布式存储成为研究热点,但当前研究多将影像像元数据与元数据分离存储,导致系统内聚性差,影响数据存取性能,同时没有充分考虑上层各种遥感算法的数据访问需求,使得系统可用性不高。针对上述问题,基于HDFS(分布式文件系统)模型提出一种分布式影像存储模型,将整个影像数据模型存储在同一个结构中,提升系统内聚性,并且提供灵活的数据分块策略以供上层应用调用,满足多种数据访问需求。通过对比实验表明,该存储模型较现有的方案有更好的存取性能,具有较高的可行性。
关键词
遥感影像
分布式文件系统
HDFS
存储模型
MapImage
Keywords
remote sensing image
distributed file system
HDFS
storage model
Maplmage
分类号
TP312 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
混合关键任务可靠调度方法与调度性分析
被引量:
2
4
作者
景维鹏
霍帅起
陈广胜
刘亚秋
机构
东北
林业
大学信息与
计算
机
工程
学院
黑龙江省
林业
生态大
数据
存储
与高性能
(
云
)
计算
工程
研究
中心
出处
《西安电子科技大学学报》
EI
CAS
CSCD
北大核心
2016年第6期158-163,共6页
基金
中央高校基本科研业务费专项资金资助项目(2572014EB05-4)
黑龙江省自然科学基金重点资助项目(ZD201403)
林业公益性行业科研专项经费资助项目(201504307)
文摘
为了解决云计算环境下混合关键性任务的可靠调度问题,提出了一种基于主副版本两阶段的混合关键任务可靠调度方法.算法首先对需要调度的混合关键性任务进行优先级划分,按照调度截止期最短的原则将主版本任务调度到目标虚拟机上,对副版本任务按照复制成本最低的原则使用重叠方法进行调度;再对调度到不同虚拟机上的主副版本任务进行可调度分析,对于不能满足分析的任务启动更高关键性等级进行处理.实验结果表明了混合关键任务可靠调度方法具有较高的可靠性和负载平衡能力.
关键词
云计算
混合关键性任务
可靠调度
主副版本
Keywords
cloud computing
mix-criticality task
reliable scheduling
primary/backup
分类号
TP306 [自动化与计算机技术—计算机系统结构]
下载PDF
职称材料
题名
基于Hadoop及出租车历史轨迹的乘客推荐算法
被引量:
3
5
作者
景维鹏
胡立坤
机构
东北
林业
大学信息与
计算
机
工程
学院
黑龙江省
林业
生态大
数据
存储
与高性能
(
云
)
计算
工程
研究
中心
出处
《计算机工程与应用》
CSCD
北大核心
2016年第7期264-270,共7页
基金
黑龙省自然科学基金重点项目(No.ZD201403)
哈尔滨市科技创新人才基金(No.2014RFQXJ132)
文摘
针对智慧城市中乘客打车策略的推荐算法效率不高的问题,使用古典概率学统计历史轨迹中该时间该路段有空车的天数占数据集总天数比例,作为乘客等到空车概率;使用最小二乘法拟合时间与到达空车数曲线,预测乘客等到空车时间,以提高推荐效率。同时,使用Hadoop作为数据存储和计算平台以提高数据处理能力;提出一种基于地图栅格化的路网存储结构来提高搜索地图速度;改进一种基于计算几何的地图匹配算法提高匹配准确率。实验结果显示,空车概率推荐算法正确率约87%,等待时间推荐算法正确率达88.4%,表明挖掘轨迹数据为乘客提供推荐服务的可行性。
关键词
HADOOP
轨迹数据
推荐算法
乘客推荐服务
Keywords
Hadoop
trajectory data
recommendation algorithm
recommendation service for passengers
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
下载PDF
职称材料
题名
矢量瓦片并行构建与分布式存储模型研究
被引量:
12
6
作者
聂沛
陈广胜
景维鹏
机构
东北
林业
大学信息与
计算
机
工程
学院
黑龙江省
林业
生态大
数据
存储
与高性能
(
云
)
计算
工程
研究
中心
出处
《地球信息科学学报》
CSCD
北大核心
2020年第7期1487-1496,共10页
基金
国家自然科学基金项目(31770768)
黑龙江省自然科学基金项目(F2017001)
黑龙江省应用技术研究与开发计划重大项目(GA18B301)。
文摘
矢量瓦片体积小、生成效率高、支持动态交互,较传统栅格瓦片有诸多优势,是下一代互联网地图服务研究的重点。为了解决当前矢量瓦片研究中处理速度慢,扩展性差等问题,本文利用并行计算框架Spark进行矢量瓦片快速构建,通过自定义转换函数,将原始矢量数据GeoJson转换成mvt瓦片集;对于生成的矢量瓦片集,本文基于分布式内存文件系统Alluxio设计一个瓦片存储模型-VectorTileStore,模型以键值对进行数据存储,瓦片元数据占据前八个键值对,单个瓦片占据一个键值对,在数据写入的同时,基于键构建一个哈希索引,用于快速访问,模型兼容海量瓦片的组织存储,具有很强的扩展性。通过实验结果表明,本文提出的矢量瓦片并行构建算法较单机构建算法运行时间平均减少49.6%,分布式存储模型VectorTileStore较传统方案更适合海量矢量瓦片存储,存取时间效率更高。
关键词
矢量瓦片
WEB地图服务
并行处理
SPARK
分布式存储
Alluxio
Keywords
vector tile
web map service
parallel processing
spark
distributed storage
alluxio
分类号
P208 [天文地球—地图制图学与地理信息工程]
原文传递
题名
作者
出处
发文年
被引量
操作
1
基于KD树划分的云计算DBSCAN优化算法
陈广胜
程逸群
景维鹏
《计算机工程》
CAS
CSCD
北大核心
2017
5
下载PDF
职称材料
2
云存储系统中文件分界点确定方法——Cut-GAR
邵田
陈广胜
景维鹏
《计算机应用》
CSCD
北大核心
2015
0
下载PDF
职称材料
3
一种面向遥感影像的分布式存储方法
聂沛
陈广胜
景维鹏
《测绘工程》
CSCD
2018
5
下载PDF
职称材料
4
混合关键任务可靠调度方法与调度性分析
景维鹏
霍帅起
陈广胜
刘亚秋
《西安电子科技大学学报》
EI
CAS
CSCD
北大核心
2016
2
下载PDF
职称材料
5
基于Hadoop及出租车历史轨迹的乘客推荐算法
景维鹏
胡立坤
《计算机工程与应用》
CSCD
北大核心
2016
3
下载PDF
职称材料
6
矢量瓦片并行构建与分布式存储模型研究
聂沛
陈广胜
景维鹏
《地球信息科学学报》
CSCD
北大核心
2020
12
原文传递
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部