期刊文献+
共找到464篇文章
< 1 2 24 >
每页显示 20 50 100
基于Map-Reduce的大数据实体识别算法 被引量:9
1
作者 霍然 王宏志 +2 位作者 朱鎔 李建中 高宏 《计算机研究与发展》 EI CSCD 北大核心 2013年第S2期170-179,共10页
实体识别是数据量质融合管理中的一项关键技术,对能否提高数据质量起着决定性作用.其目的在于识别出数据中表示同一对象的不同形式;以及同一形式所代表的不同对象.随着大数据研究技术的发展,大数据上的实体识别问题受到了广泛关注.因此... 实体识别是数据量质融合管理中的一项关键技术,对能否提高数据质量起着决定性作用.其目的在于识别出数据中表示同一对象的不同形式;以及同一形式所代表的不同对象.随着大数据研究技术的发展,大数据上的实体识别问题受到了广泛关注.因此,在大数据的信息集成背景下,给出了一个基于Map-Reduce框架的大数据实体识别算法(entity identification in big data based on Map-Reduce,EIBM).该算法首先通过属性值计算记录间的相似程度,而后基于图聚类的方法进行实体识别从而输出得到最终结果.最后,在Hadoop平台上对真实数据集和人造数据集进行了多组实验,实验结果验证了算法的并行程度和对于处理大数据的有效性与高效性. 展开更多
关键词 实体识别 大数据 HADOOP map-REDUCE 数据质量
下载PDF
基于Map/Reduce并行编程模型的XBRL维度数据解析算法 被引量:1
2
作者 朱健鹏 王颖 杨诚 《中国科学院大学学报(中英文)》 CAS CSCD 北大核心 2014年第1期124-129,共6页
从XBRL维度数据处理的角度,研究大规模半结构化数据处理技术,提出一种基于Map/Reduce并行编程模型的XBRL维度数据解析算法.该算法在Map/Reduce编程模型和StAX流式解析技术的基础上,针对XBRL财务报告中各XML文件之间较复杂的数据引用关系... 从XBRL维度数据处理的角度,研究大规模半结构化数据处理技术,提出一种基于Map/Reduce并行编程模型的XBRL维度数据解析算法.该算法在Map/Reduce编程模型和StAX流式解析技术的基础上,针对XBRL财务报告中各XML文件之间较复杂的数据引用关系,以整份XBRL财务报告为处理的最小单位,结合并行技术提取维度事项所包含的数据,再处理业务语义数据,从而实现复杂XBRL维度数据的解析.性能比较分析表明,该算法在大规模XBRL数据处理方面具有显著优势. 展开更多
关键词 XBRL 半结构化数据处理 大数据处理 map REDUCE XBRL维度
下载PDF
大数据环境下基于MapReduce的网络舆情热点发现 被引量:15
3
作者 王书梦 吴晓松 《软件》 2015年第7期108-113,共6页
大数据环境下的网络舆情分析更侧重于在海量数据的采集、存储、清洗和文本聚类,因此传统的仅依据数据统计的舆情分析方法不再适用。文章对大数据网络舆情分析的相关文献进行总结研究,归纳出网络舆情分析的基本流程框架,并阐明了在大数... 大数据环境下的网络舆情分析更侧重于在海量数据的采集、存储、清洗和文本聚类,因此传统的仅依据数据统计的舆情分析方法不再适用。文章对大数据网络舆情分析的相关文献进行总结研究,归纳出网络舆情分析的基本流程框架,并阐明了在大数据环境下网络舆情分析中文本聚类的各个阶段如何运用Map Reduce进行分布式计算,以此提高网络舆情分析的准确度与及时性。 展开更多
关键词 大数据 舆情热点 map REDUCE 文本聚类
下载PDF
基于SuperMap的济南市房屋安全管理云设计与实现 被引量:2
4
作者 李春光 李玉兵 胡本勇 《山东国土资源》 2015年第9期67-69,共3页
以济南市房屋安全管理云的整体设计与实现为研究内容,充分论述了该项目的建设目标、架构设计、建设内容和创新点,建设过程中广泛的引入了大数据、云计算、三维实景测量等先进技术手段,运用SuperMap系列GIS软件进行开发设计,为房屋安全... 以济南市房屋安全管理云的整体设计与实现为研究内容,充分论述了该项目的建设目标、架构设计、建设内容和创新点,建设过程中广泛的引入了大数据、云计算、三维实景测量等先进技术手段,运用SuperMap系列GIS软件进行开发设计,为房屋安全管理模式的创新提供了有效的技术保障,为智慧房管建设提供了有益的探索和实践。 展开更多
关键词 房屋安全 云计算 大数据 房产测绘 智慧房管 济南市
下载PDF
大数据挖掘中的MapReduce并行聚类优化算法研究 被引量:21
5
作者 吕国 肖瑞雪 +1 位作者 白振荣 孟凡兴 《现代电子技术》 北大核心 2019年第11期161-164,共4页
针对传统数据挖掘算法只适用于小规模数据挖掘处理,由于数据规模不断增大,其存在计算效率低、内存不足等问题,文中将MapReduce用于数据挖掘领域,对大数据挖掘中的MapReduce进行了并行化改进,并设计相应的并行化实现模型,以期满足大数据... 针对传统数据挖掘算法只适用于小规模数据挖掘处理,由于数据规模不断增大,其存在计算效率低、内存不足等问题,文中将MapReduce用于数据挖掘领域,对大数据挖掘中的MapReduce进行了并行化改进,并设计相应的并行化实现模型,以期满足大数据分析需求,完成低成本、高性能的数据并行挖掘与处理。 展开更多
关键词 大数据 mapREDUCE 并行化处理 聚类算法 数据挖掘 map任务
下载PDF
基于MAP-REDUCE的大数据不一致性解决算法
6
作者 范令 《微型机与应用》 2015年第15期18-21,25,共5页
大数据时代悄然而至,数据质量也引起人们的关注。在提高数据质量方面,很重要的一部分是解决数据不一致性问题。针对大数据情况下的数据不一致问题,本文提出了在MAP-REDUCE框架下的聚类算法。本文在MAP-REDUCE框架下对K-MEDOIDS聚类算法... 大数据时代悄然而至,数据质量也引起人们的关注。在提高数据质量方面,很重要的一部分是解决数据不一致性问题。针对大数据情况下的数据不一致问题,本文提出了在MAP-REDUCE框架下的聚类算法。本文在MAP-REDUCE框架下对K-MEDOIDS聚类算法进行了改进,增强了算法的适用性和精确性,并通过仿真实验验证了在大数据环境下该算法的并行性和有效性。 展开更多
关键词 大数据 数据质量 数据不一致性 map-REDUCE 聚类算法
下载PDF
基于外形数控程序的PCB Mapping可视化分析
7
作者 周进群 刘义亚 冯勇 《汽车实用技术》 2019年第7期169-171,180,共4页
大数据分析是目前非常实用的一种分析手段,通过收集数据并对其进行清洗,能够获得大量的有效数据,对这些数据进行关联后通过分类、聚类、寻优等手段可获得人工无法发现的隐藏在数据中的一些问题及特性,从而为产品质量、生产效率等方面改... 大数据分析是目前非常实用的一种分析手段,通过收集数据并对其进行清洗,能够获得大量的有效数据,对这些数据进行关联后通过分类、聚类、寻优等手段可获得人工无法发现的隐藏在数据中的一些问题及特性,从而为产品质量、生产效率等方面改善提供思路和方向,这也是各行各业都在不断推崇的一种分析途径。现阶段,PCB工厂数据追述困难,现有的数据收集系统只能记录追溯到批次,无法实现PNL及拼版追溯管理,且数据需经历多次记录汇总,才能录入系统中,工作效率十分低下,且存在数据丢失的风险,导致无法进行智能化管理。针对以上分析,现需根据外形数控的走刀程序结合二维码坐标程序进行mapping追溯管理系统开发,实现信息在线收集,利用成品拼版二维码实现拼版信息追溯,为后期大数据清洗、分析、关联、分类、聚类等操作提供基础,提高工厂的生产效率,为企业带来良好的效益。 展开更多
关键词 大数据分析 PCB mapPING 聚类
下载PDF
气象基础信息一张图设计和实现 被引量:1
8
作者 陈京华 肖文名 +4 位作者 张强 杨和平 张志强 曹磊 陈楠 《应用气象学报》 CSCD 北大核心 2024年第2期247-256,共10页
气象基础信息一张图作为气象数据资源与行业间数据融合的应用示范,通过构建时空联动的气象大数据应用基础,解决多源气象数据融合应用服务问题。气象基础信息一张图基于高分辨率气象网格数据空间化处理、长序列海量网格数据任意时空范围... 气象基础信息一张图作为气象数据资源与行业间数据融合的应用示范,通过构建时空联动的气象大数据应用基础,解决多源气象数据融合应用服务问题。气象基础信息一张图基于高分辨率气象网格数据空间化处理、长序列海量网格数据任意时空范围检索以及气象数据与三维地形融合服务3项关键技术,实现多源异构时空数据的统一接入、处理、存储、管理和服务。气象基础信息一张图整合基础地理、自然资源、生态环境、社会经济、气象五大数据资源,面向不同气象应用场景,通过动态组合构建专题服务,实现多源数据快速服务和高效应用。气象基础信息一张图为2022年北京冬奥会及冬残奥会的圆满举办等国家重大活动、2021年郑州“7·20”特大暴雨气象预报复盘服务以及气象数据的社会化服务共享提供应用服务保障,在服务“生命安全、生产发展、生活富裕、生态良好”方面提供有效支撑。 展开更多
关键词 气象基础信息一张图 大数据 数据服务 地理信息
下载PDF
数据驱动的学校周边道路拥堵识别
9
作者 景鹏 顾倩 杜刘洋 《江苏大学学报(自然科学版)》 CAS 北大核心 2024年第2期141-146,共6页
为定量分析多个中小学周边道路拥堵情况,针对性地改善学校周边拥堵状况,对比通学时期与非通学时期的交通拥堵数据.建立学校周边道路拥堵指标,通过拥堵评价函数,分析各道路受周边学校出行影响的程度,识别重点拥堵道路.提出了一种基于地... 为定量分析多个中小学周边道路拥堵情况,针对性地改善学校周边拥堵状况,对比通学时期与非通学时期的交通拥堵数据.建立学校周边道路拥堵指标,通过拥堵评价函数,分析各道路受周边学校出行影响的程度,识别重点拥堵道路.提出了一种基于地图开放平台获取交通大数据的算法,对南京主城区79所中小学周边道路进行实例分析,给出了各道路受学校出行影响的拥堵值.结果表明:在通学期间交通整体拥堵程度高于非通学时期,通学时期平均拥堵指数为1.973,非通学时期平均拥堵指数为1.664,通学时期比非通学时期平均拥堵指数提高了18.57%. 展开更多
关键词 学校道路 拥堵指数 大数据 拥堵识别 地图平台
下载PDF
笔谈:数字化为文明赋彩——文物和文化遗产数字技术应用现状与实践路径 被引量:8
10
作者 刁常宇 刘建国 +7 位作者 邓非 耿国华 周蓬勃 何捷 王超群 马昭仪 杨红 杨晨 《中国文化遗产》 2024年第2期4-22,共19页
数字技术在文化遗产领域的应用已从最初的信息储存和传输,发展到数据处理分析,进而进化到今天的自动化和智能化处理与展示,在文化遗产研究、记录、保护、利用等方面起到了至关重要的作用。当前,我国基本形成覆盖文物保护工作全链条的数... 数字技术在文化遗产领域的应用已从最初的信息储存和传输,发展到数据处理分析,进而进化到今天的自动化和智能化处理与展示,在文化遗产研究、记录、保护、利用等方面起到了至关重要的作用。当前,我国基本形成覆盖文物保护工作全链条的数字化解决方案,并不断创新核心技术与设备,形成通用技术与国际并驾齐驱、特色技术引领国际潮流的发展趋势。数字技术在考古遗址三维空间信息的获取、分析、模拟、研究和展示等全过程中发挥着重要作用,为古代遗址与自然环境之间的人地关系等研究开辟了新的途径。新一代测绘技术,可实现对建成遗产三维数字形式的记录与保存,在精度、纹理、展示分析、交互以及文物古建的数字修复等方面具有不可替代的价值。通过“空间历史大数据”途径,可以打破过往人文学科与空间操作之间的知识鸿沟与技术壁垒,促进文化遗产以体系化技术操作实现“公众化”,通过文化空间实践达成未来城乡高质量发展和历史人文知识存续之间的良性互动。数字化实践在非物质文化遗产保护中的应用范围在不断扩大,已然从保存、宣传扩展到传承、振兴的层面。从全球视野审视数字化这一新兴领域的发展历程和前沿动态,文化遗产数字化面临着建立更完善的数据资源等挑战。 展开更多
关键词 文化遗产数字化 文物数字化 非遗数字化 考古遗址 建成遗产 城市文化遗产 实景三维 空间历史大数据
下载PDF
大数据时代国内外个人信息保护研究热点和演化趋势——基于科学知识图谱分析的文献计量方法分析
11
作者 彭飞 肖荻昱 《情报探索》 2024年第5期9-18,共10页
[目的/意义]对大数据时代国内外个人信息保护的研究热点和演化趋势进行了总结和回顾,旨在为相关领域的研究提供参考和启示。[方法/过程]运用文献计量法和科学知识图谱法,基于CNKI和Web of Science数据库,以ITGInsight为主体工具,再辅之G... [目的/意义]对大数据时代国内外个人信息保护的研究热点和演化趋势进行了总结和回顾,旨在为相关领域的研究提供参考和启示。[方法/过程]运用文献计量法和科学知识图谱法,基于CNKI和Web of Science数据库,以ITGInsight为主体工具,再辅之Gephi、Excel、SATI等科学计量与知识网络分析软件,对大数据领域国内外个人信息保护研究领域的热点分布、主题演化以及研究内容进行分析。[结果/结论]大数据时代国内外个人信息保护相关研究主题分布广泛、演化规律较为复杂,呈现出显著的变化趋势,在未来的研究中,需要综合考虑技术、法律、政策等多个方面的因素,以构建更加全面、系统的个人信息保护体系。 展开更多
关键词 大数据 个人信息保护 研究热点 科学知识图谱 文献计量方法
下载PDF
新型基础测绘成果应用体系研究
12
作者 李晓亮 王振洋 《北京测绘》 2024年第4期638-643,共6页
针对新型基础测绘产品应用存在的问题及各类应用场景的需求,在调研国内试点建设情况和需求部门的基础上,围绕自然资源管理、国土空间与城市规划、智慧城市发展对时空数据的需求,汲取先进经验,分析了产品体系、更新机制、数据管理、制度... 针对新型基础测绘产品应用存在的问题及各类应用场景的需求,在调研国内试点建设情况和需求部门的基础上,围绕自然资源管理、国土空间与城市规划、智慧城市发展对时空数据的需求,汲取先进经验,分析了产品体系、更新机制、数据管理、制度保障及时空数据平台等产品内容,研究构建新型基础测绘产品服务体系,提出构建生产、服务、更新的应用生态。 展开更多
关键词 新型基础测绘 服务体系 时空大数据平台 应用生态
下载PDF
大规模开放遥感影像地图渲染与缓存优化
13
作者 周小华 周园春 +1 位作者 孟珍 王学志 《计算机工程》 CAS CSCD 北大核心 2024年第7期227-239,共13页
遥感数据规模庞大且增长迅速,目前可公开访问的遥感影像数据已接近EB级别,然而类型多样、结构复杂、存储文件大等特点给大规模开放遥感数据的发现、共享与使用带来诸多不便。在线地图可使用户无须下载便可对海量云端遥感数据执行可视化... 遥感数据规模庞大且增长迅速,目前可公开访问的遥感影像数据已接近EB级别,然而类型多样、结构复杂、存储文件大等特点给大规模开放遥感数据的发现、共享与使用带来诸多不便。在线地图可使用户无须下载便可对海量云端遥感数据执行可视化分析,是一种高效的数据服务方式。针对传统地图技术方案存在的瓦片渲染效率低、遥感数据适配性差等问题,从遥感数据时空属性特征及用户访问行为特征出发,依托遥感数据云平台GSCloud,设计并实现面向海量遥感数据的高效地图服务平台TiMap。TiMap由分布式地图瓦片渲染引擎TiRender与分布式地图瓦片缓存TiCache构成。TiRender通过将地图瓦片渲染操作转换为分布式环境下的同步实时渲染任务与异步批量预渲染任务,充分利用多节点并行计算的优势,快速响应客户端的地图瓦片请求。TiCache负责缓存TiRender产生的地图瓦片,以提升后续重复地图瓦片请求的响应速度,TiCache中的地图瓦片缓存分配算法基于疏远度实现,可以保证多节点的负载均衡。实验结果表明,TiRender与TiCache均比同类技术方案的性能更好,两者协同工作可使TiMap在100ms内快速响应大规模地图瓦片请求。 展开更多
关键词 遥感大数据 遥感地图服务 地图瓦片渲染 地图瓦片缓存 数据疏远度
下载PDF
探讨大数据在测绘地理信息方面的运用 被引量:3
14
作者 殷家林 汤阳城 +2 位作者 陈伟 李康发 王东生 《智能建筑与智慧城市》 2024年第3期45-47,共3页
文章深入分析了当前国土资源调查与管理中存在的标准不统一、体系不完善、应用分析不深入等问题,提出了在测绘地理信息技术与大数据技术背景下国土资源管理应积极搭建管理云平台,对国土资源调查进行规范化、标准化管理,对国土资源调查... 文章深入分析了当前国土资源调查与管理中存在的标准不统一、体系不完善、应用分析不深入等问题,提出了在测绘地理信息技术与大数据技术背景下国土资源管理应积极搭建管理云平台,对国土资源调查进行规范化、标准化管理,对国土资源调查结果进行高效组织与高性能分析,切实提高大数据技术在国土资源管理中的应用水平。 展开更多
关键词 大数据 测绘地理信息 国土资源管理
下载PDF
基于现代测绘技术的基础地理空间数据生产——以智慧滕州时空大数据平台建设为例 被引量:1
15
作者 刘石栋 张鹏 《测绘与空间地理信息》 2024年第1期106-109,共4页
智慧城市时空大数据平台建设是构建数字中国的重要组成部分,而基础地理空间数据的生产是建设智慧城市时空大数据平台的关键步骤。以智慧滕州时空大数据平台建设项目为例,阐述了利用先进的现代测绘技术进行基础地理空间数据生产的技术方... 智慧城市时空大数据平台建设是构建数字中国的重要组成部分,而基础地理空间数据的生产是建设智慧城市时空大数据平台的关键步骤。以智慧滕州时空大数据平台建设项目为例,阐述了利用先进的现代测绘技术进行基础地理空间数据生产的技术方法和具体流程,包括实景三维模型数据生产、矢量数据生产和更新、地理实体数据生产、街景数据生产和地名地址数据更新等方面,为智慧城市的建设提供了科学、实用的技术方法,并积累了宝贵的经验。 展开更多
关键词 智慧城市 时空大数据平台 现代测绘技术 基础地理空间数据
下载PDF
大尺度自然地理实体边界智能化提取方法——以大别山为例
16
作者 杨涵珺 孙敏 +1 位作者 楼夏寅 杨仕浩 《北京大学学报(自然科学版)》 EI CAS CSCD 北大核心 2024年第4期673-681,共9页
为了解决语义明确但空间位置与分布范围并不明确的自然地理实体(PGO)在地图中的分布范围或边界表达问题,提出一种PGO边界的智能化提取方法。首先利用给定的语义词,自动搜索网络地图大数据;接着在顾及PGO的连续空间分布特性基础上,运用... 为了解决语义明确但空间位置与分布范围并不明确的自然地理实体(PGO)在地图中的分布范围或边界表达问题,提出一种PGO边界的智能化提取方法。首先利用给定的语义词,自动搜索网络地图大数据;接着在顾及PGO的连续空间分布特性基础上,运用空间聚类算法确定PGO的大致范围;然后利用PGO的几何特征(如山地的起伏变化),运用特征识别算法,进一步确定自然实体的分布范围和边界。考虑到此类实体的复杂性,仅以山地(大别山)为例进行实证研究,验证所提方法的有效性。 展开更多
关键词 大尺度自然地理实体 地图大数据 智能化提取
下载PDF
基于交通大数据的成都市中心城区驾驶等时圈划分及特征分析 被引量:1
17
作者 张旭 涂少华 +1 位作者 廖继刚 付敏 《智能建筑与智慧城市》 2024年第2期33-36,共4页
为提升交通出行分析中心城区交通可达性的表达精度与可视化水平,实践交通出行类大数据在国土空间规划编制及城市体检评估过程中的应用,文章以成都市作为研究对象,通过Python获取腾讯地图开放平台工作日及休息日14:00和18:00时段的实时... 为提升交通出行分析中心城区交通可达性的表达精度与可视化水平,实践交通出行类大数据在国土空间规划编制及城市体检评估过程中的应用,文章以成都市作为研究对象,通过Python获取腾讯地图开放平台工作日及休息日14:00和18:00时段的实时驾驶通行信息,分别生成4个时段的中心城区等时圈范围。通过本次研究可以看出:以成都市人民政府为出发点的60min等时圈几乎可以覆盖中心城区全部范围,60min~90min等时圈则可覆盖成都市市域近半区域;成都市中心城区向南方向的交通条件最好,中心城区以南大部分区域都位于60min等时圈内,北向交通则稍弱;从4个不同时段的等时圈划分结果来看,成都市中心城区在工作日的14:00(平峰)时段交通可达性最好,其次为休息日的18:00时段,工作日的18:00(晚高峰)时段交通可达性最低。 展开更多
关键词 等时圈 交通大数据 交通可达性 ARCGIS
下载PDF
牺牲阳极材料在深海中的研究进展
18
作者 丁枫林 李祯 +4 位作者 张一晗 张海兵 马力 马宁 张馨月 《装备环境工程》 CAS 2024年第11期100-109,共10页
重点归纳了对牺牲阳极性能影响较大的多个典型深海环境因素,分析了适用于深海环境的牺牲阳极类型,整理了基于大数据的元素基因图谱分析方法,并总结出目前深海环境牺牲阳极存在的问题及相关解决办法。
关键词 深海环境 牺牲阳极 腐蚀 元素基因图谱 深海工程 大数据
下载PDF
GIS在不动产测绘中的应用及前景分析 被引量:1
19
作者 李奕莹 陈娟 《林业科技情报》 2024年第1期203-205,共3页
地理信息系统技术(GeographicInformation System,以下简称GIS)在不动产测绘能够提供不动产测绘数据空间基准、进行对不动产数据整合处理、建立不动产数据库、完成不动产数据质量检验。GIS具有工作效率高、测量精度大、应用便捷等优势,... 地理信息系统技术(GeographicInformation System,以下简称GIS)在不动产测绘能够提供不动产测绘数据空间基准、进行对不动产数据整合处理、建立不动产数据库、完成不动产数据质量检验。GIS具有工作效率高、测量精度大、应用便捷等优势,GIS与大数据、人工智能、实景三维技术融合不动产测绘行业中应用前景广阔。 展开更多
关键词 GIS 不动产测绘 大数据GIS 人工智能GIS 三维GIS
下载PDF
基于Apriori优化的大数据挖掘技术研究 被引量:1
20
作者 豆利 何智勇 《安阳师范学院学报》 2024年第2期24-28,共5页
为解决Apriori算法在大数据挖掘中存在数据负载大、挖掘效率低、冗余性高的问题,提出采用Map Reduce计算框架来优化Apriori数据挖掘算法,将计算任务划分为多个并行任务,提高数据处理效率。将改进的Apriori算法应用于网络入侵大数据挖掘... 为解决Apriori算法在大数据挖掘中存在数据负载大、挖掘效率低、冗余性高的问题,提出采用Map Reduce计算框架来优化Apriori数据挖掘算法,将计算任务划分为多个并行任务,提高数据处理效率。将改进的Apriori算法应用于网络入侵大数据挖掘中,并和传统Apriori算法进行对比。结果表明,改进的Apriori算法的数据挖掘效果优于传统Apriori算法,数据挖掘效率高,同时可以有效降低对网络入侵数据的误检率和漏检率。 展开更多
关键词 大数据挖掘 map Reduce计算框架 APRIORI算法 网络入侵大数据
下载PDF
上一页 1 2 24 下一页 到第
使用帮助 返回顶部