期刊文献+
共找到107篇文章
< 1 2 6 >
每页显示 20 50 100
基于python+requests的数据采集技术
1
作者 王丹 董浪 《科技创新与生产力》 2024年第6期142-144,共3页
本文指出在数据采集、数据分析等方面,python语言是人们的不二选择。针对许多人刚开始学习采用python语言进行数据采集时思路混乱的问题,本文首先分析了基于python语言的数据采集基本流程,然后介绍了第三方请求模块requests库向目标地... 本文指出在数据采集、数据分析等方面,python语言是人们的不二选择。针对许多人刚开始学习采用python语言进行数据采集时思路混乱的问题,本文首先分析了基于python语言的数据采集基本流程,然后介绍了第三方请求模块requests库向目标地址发送请求的功能,最后通过采集某网站中的单条数据、单页数据、多页数据乃至整个网站的数据案例,逐步为初学者解释了python语言数据采集的基本步骤,并为初学者理清了python语言数据采集的思路,以此为python语言数据采集的初学者提供了一定的参考价值和学习思路。 展开更多
关键词 PYTHON requestS 数据采集
下载PDF
Workload-aware request routing in cloud data center using software-defined networking
2
作者 Haitao Yuan Jing Bi Bohu Li 《Journal of Systems Engineering and Electronics》 SCIE EI CSCD 2015年第1期151-160,共10页
Large latency of applications will bring revenue loss to cloud infrastructure providers in the cloud data center. The existing controllers of software-defined networking architecture can fetch and process traffic info... Large latency of applications will bring revenue loss to cloud infrastructure providers in the cloud data center. The existing controllers of software-defined networking architecture can fetch and process traffic information in the network. Therefore, the controllers can only optimize the network latency of applications. However, the serving latency of applications is also an important factor in delivered user-experience for arrival requests. Unintelligent request routing will cause large serving latency if arrival requests are allocated to overloaded virtual machines. To deal with the request routing problem, this paper proposes the workload-aware software-defined networking controller architecture. Then, request routing algorithms are proposed to minimize the total round trip time for every type of request by considering the congestion in the network and the workload in virtual machines(VMs). This paper finally provides the evaluation of the proposed algorithms in a simulated prototype. The simulation results show that the proposed methodology is efficient compared with the existing approaches. 展开更多
关键词 cloud data center(CDC) software-defined networking request routing resource allocation network latency optimization
下载PDF
基于区块链技术的电网企业数据跨域访问控制研究
3
作者 史渊源 万鹏 《电力与能源》 2024年第4期407-410,442,共5页
在跨域访问控制中,不同用户或应用程序可能根据各自的需求和权限,提出具有不同属性规格的访问请求。传统的跨域访问控制方法无法有效处理这种差异化的属性规格,导致访问控制操作变得低效,且精度有所降低。为此,提出了一种基于区块链技... 在跨域访问控制中,不同用户或应用程序可能根据各自的需求和权限,提出具有不同属性规格的访问请求。传统的跨域访问控制方法无法有效处理这种差异化的属性规格,导致访问控制操作变得低效,且精度有所降低。为此,提出了一种基于区块链技术的电网企业数据跨域访问控制方法。该方法首先构建以区块链技术为基础的电网企业数据跨域访问控制逻辑架构,在该架构的支持下区块链模块对原始的访问申请进行预处理,将访问请求信息转化为以属性集描述为基础的形式;然后根据访问请求信息的属性规格对电网企业数据进行一次映射和二次映射处理,结合映射处理结果在电网企业数据库的标准属性表中确定请求域中涵盖的属性集,为不同域的用户提供对应的数据,实现数据的跨域访问控制。试验结果表明,该方法的互操作性均值始终处于较高水平,稳定在0.95左右,并且电网企业数据跨域访问控制准确率在96%~98%,电网企业数据跨域访问控制效果好。 展开更多
关键词 区块链技术 电网企业数据 跨域访问控制 访问请求信息 一次映射 二次映射
下载PDF
基于SES的不常用备件需求预测模型 被引量:13
4
作者 冯杨 尹迪 罗兵 《兵工自动化》 2011年第2期18-21,共4页
在目前引进装备的需求预测中,针对历史数据较少和样本值具有大量零值的问题,采用一次指数平滑法(Single Exponential Smoothing,SES)进行不常用备件需求预测。分析指数平滑法初始值和加权系数对模型预测准确性的影响,建立舰艇间断性需... 在目前引进装备的需求预测中,针对历史数据较少和样本值具有大量零值的问题,采用一次指数平滑法(Single Exponential Smoothing,SES)进行不常用备件需求预测。分析指数平滑法初始值和加权系数对模型预测准确性的影响,建立舰艇间断性需求备件的预测模型,并对某型舰艇备件进行预测和分析,较好地实现了间断性需求备件的预测。仿真结果证明了该方法的可行性和有效性。 展开更多
关键词 间断性需求 不常用备件 少量历史数据 需求预测 指数平滑法
下载PDF
基于Cluster的数据网格请求代理服务器设计 被引量:1
5
作者 黄斌 李春江 +2 位作者 肖侬 刘波 付伟 《计算机应用研究》 CSCD 北大核心 2004年第9期185-187,共3页
数据网格为数据密集型的应用提供了强有力的支持,数据服务是数据网格的核心,因而数据请求代理(DRB)服务器的设计是实现数据服务的关键。一个结构、性能较好的服务器能屏蔽数据的广域分布性和异构性,实现一体化数据访问、存储、传输与管... 数据网格为数据密集型的应用提供了强有力的支持,数据服务是数据网格的核心,因而数据请求代理(DRB)服务器的设计是实现数据服务的关键。一个结构、性能较好的服务器能屏蔽数据的广域分布性和异构性,实现一体化数据访问、存储、传输与管理。基于Cluster实现了一种数据请求代理服务器,这种服务器实现了上述目标,并具有许多优点,特别在具有多Cluster的高性能计算中,可以同时建立多个连接进行数据分块传输,能够获得Cluster-to-Cluster的聚集吞吐率。介绍了基于Cluster的DRB详细设计方案,描述了多个自治域的DRB之间协同服务的过程,并分析了这种设计的优点。 展开更多
关键词 Cluster-based 数据网格 数据请求代理服务器 设计
下载PDF
面向多应用环境RAID系统的智能预取和缓存调度 被引量:3
6
作者 何青林 冯丹 《计算机工程与科学》 CSCD 2004年第9期107-109,共3页
本文分析了RAID系统的多应用环境数据请求的存储模式的特点 ,提出了能根据应用环境的不同而自动改变预取策略的智能预取算法以及缓存调度算法。实践证明 ,本算法使得RAID系统的预取和缓存调度摆脱了盲目性 ,保证了预取策略和缓存调度的... 本文分析了RAID系统的多应用环境数据请求的存储模式的特点 ,提出了能根据应用环境的不同而自动改变预取策略的智能预取算法以及缓存调度算法。实践证明 ,本算法使得RAID系统的预取和缓存调度摆脱了盲目性 ,保证了预取策略和缓存调度的最优性。 展开更多
关键词 RAID 智能预取 缓存调度 数据请求 性能反馈
下载PDF
基于XML的产品信息模型表示及应用 被引量:20
7
作者 谢来勇 郝永平 张秉权 《计算机集成制造系统》 EI CSCD 北大核心 2004年第12期1492-1496,共5页
以解决网络化制造中异构产品数据集成与共享问题为前提,结合实例阐述了如何应用可扩展标记语言表达计算机辅助设计产品模型,详细分析了基于产品模型数据交换标准的产品模型向可扩展标记语言转化的方法,提供了一种基于可扩展标记语言的... 以解决网络化制造中异构产品数据集成与共享问题为前提,结合实例阐述了如何应用可扩展标记语言表达计算机辅助设计产品模型,详细分析了基于产品模型数据交换标准的产品模型向可扩展标记语言转化的方法,提供了一种基于可扩展标记语言的产品异构数据库集成方法,给出了数据处理模型,并提出了一种基于公共对象请求代理体系和可扩展标记语言的异构产品数据库间数据交换的机制。 展开更多
关键词 网络化制造 可扩展标记语言 产品模型数据交换标准 公共对象请求代理体系
下载PDF
动态优先级服务请求队列管理模型研究 被引量:2
8
作者 杨宏宇 刘宏志 《计算机工程》 CAS CSCD 北大核心 2007年第16期59-61,64,共4页
针对通用数据交换平台的体系结构以及服务流程,提出民航数据交换平台的多等级用户动态服务排队模型,介绍了实现模型所需的多线程模式,探讨了服务请求动态优先级的更新时机、与模型负载相关的参数设置。该模型通过三级多堆多线程对具有... 针对通用数据交换平台的体系结构以及服务流程,提出民航数据交换平台的多等级用户动态服务排队模型,介绍了实现模型所需的多线程模式,探讨了服务请求动态优先级的更新时机、与模型负载相关的参数设置。该模型通过三级多堆多线程对具有动态优先级的服务请求进行排序,实现了根据用户等级优先次序为其提供服务的功能。在实验中,根据设定的相关参数得到了模型的响应延迟,试验结果证明该模型适用于面向多等级用户的数据交换平台。 展开更多
关键词 数据交换 服务请求 优先级 堆排序 多线程
下载PDF
基于请求的多信道多数据项广播调度算法 被引量:1
9
作者 王莹莹 熊海灵 《计算机应用研究》 CSCD 北大核心 2010年第10期3923-3925,共3页
通过改进多信道单数据项请求的数据广播调度算法中的两层调度策略,提出了信道分配+QEM的算法;实现了用多信道广播来广播多数据项的请求;通过减少数据访问冲突和信道跳转减少了访问时间。分析证明此方法是可行和有效的。
关键词 多信道 多数据项请求 数据广播
下载PDF
基于CORBA的新型分布式数据挖掘体系结构研究 被引量:5
10
作者 江建举 葛运建 《计算机工程与应用》 CSCD 北大核心 2002年第23期188-190,共3页
数据挖掘技术是当前国际上信息决策和处理技术方面最前沿的研究热点,而分布式数据挖掘系统则是数据挖掘技术中最具挑战性的课题之一。该文提出了一种基于软构件的分布式计算环境CORBA的新型分布式数据挖掘体系。该体系的突出特点是易于... 数据挖掘技术是当前国际上信息决策和处理技术方面最前沿的研究热点,而分布式数据挖掘系统则是数据挖掘技术中最具挑战性的课题之一。该文提出了一种基于软构件的分布式计算环境CORBA的新型分布式数据挖掘体系。该体系的突出特点是易于扩充性,良好的复用性和安全性,并且提出了新的知识评价结构。 展开更多
关键词 CORBA 分布式数据挖掘 体系结构 分布式数据库系统 公共对象请求中介体系 软构件 接口定义语言
下载PDF
一种高效的用户浏览行为采集方法 被引量:5
11
作者 张玉芳 张艳华 熊忠阳 《计算机工程与应用》 CSCD 2013年第3期126-129,共4页
针对在多用户、多Web站点的网络访问环境下存在的数据采集问题,提出了一种新的数据采集及清理方法。引入网络嗅探的方式进行浏览行为数据的采集;在结合传统数据清理方法的基础上,提出一种利用HTTP请求间存在的引用和时间关系来清除HTTP... 针对在多用户、多Web站点的网络访问环境下存在的数据采集问题,提出了一种新的数据采集及清理方法。引入网络嗅探的方式进行浏览行为数据的采集;在结合传统数据清理方法的基础上,提出一种利用HTTP请求间存在的引用和时间关系来清除HTTP请求产生的大量的非用户显式点击的附带请求。实验结果表明,该方法可以有效地采集浏览行为数据并清除大量的附带请求,抽取出能够反映用户显式点击的页面基请求,为用户浏览行为建模提供准确的数据源。 展开更多
关键词 超文本传送协议(HTTP)请求 浏览行为 数据采集 数据清理 过滤
下载PDF
基于多个Markov信道的联合自动请求重发协议 被引量:1
12
作者 司马苗 周源华 张伟 《上海交通大学学报》 EI CAS CSCD 北大核心 2004年第z1期57-62,共6页
讨论了三种在多个并行的Markov信道上进行实时数据传输时使用的选择重发式自动请求重发(SR-ARO)协议.构造了一个简单的多信道数据传输模型.以此为背景,在原有的独立多信道SR-ARQ(IMSR-ARQ)和循环联合SR-ARQ(RJSR-ARQ)的基础上,提出了针... 讨论了三种在多个并行的Markov信道上进行实时数据传输时使用的选择重发式自动请求重发(SR-ARO)协议.构造了一个简单的多信道数据传输模型.以此为背景,在原有的独立多信道SR-ARQ(IMSR-ARQ)和循环联合SR-ARQ(RJSR-ARQ)的基础上,提出了针对Markov信道的交叉联合SR-ARQ(CJSR-ARQ)协议.并对这三种SR-ARQ协议的性能,主要是数据包的重发尝试次数和接收端的重排缓冲区占用情况,进行了理论分析和软件仿真.结果表明,在仿真中假定的信道条件下CJSR-ARQ可以在保持系统吞吐率不变的情况下,减小数据包重发的次数以及重发次数在不同数据包之间的差别,同时显著地减小了重排缓冲区的占用率. 展开更多
关键词 自动请求重发 数据传输 马尔可夫信道
下载PDF
调度/配电管理一体化系统主站平台设计与实现 被引量:32
13
作者 徐文 张建民 +3 位作者 高煜 胡宏 李勇刚 金松茂 《电力系统自动化》 EI CSCD 北大核心 2004年第8期80-83,共4页
阐述了调度/配网管理一体化系统主站平台设计思想,在面向电力系统对象基础上,提出了建立分组、分层、数据分流以及集群控制的网络平台机制,实现调度自动化、配电管理一体化系统功能,在统一平台的基础上,满足不同系统的实时监控、数据管... 阐述了调度/配网管理一体化系统主站平台设计思想,在面向电力系统对象基础上,提出了建立分组、分层、数据分流以及集群控制的网络平台机制,实现调度自动化、配电管理一体化系统功能,在统一平台的基础上,满足不同系统的实时监控、数据管理、图形维护的需要,做到数据库的一体化、实时数据的按需分流、图形维护的一致性。实践表明,一体化主站系统能明显提高实时数据和图形的反应速度,数据库和图形的维护更加方便,大大提高了电网监控的运行管理水平。 展开更多
关键词 调度自动化 配电自动化 地理信息系统 SCADA CORBA
下载PDF
基于CORBA和Web技术的PDM系统 被引量:1
14
作者 费洪晓 雷军环 康松林 《长沙铁道学院学报》 CSCD 北大核心 2002年第1期97-100,共4页
介绍了实现企业信息化的集成平台———产品数据管理系统PDM,指出了PDM在企业实现信息集成的重要性。
关键词 信息集成 PDM CORBA WEB
下载PDF
P2P流媒体直播分布式缓存替换算法研究 被引量:2
15
作者 李润知 郭纯一 范明 《计算机工程与设计》 CSCD 北大核心 2011年第1期58-61,74,共5页
P2P流媒体直播系统中分布式节点缓存区别于传统的Client/Server缓存结构,节点的实时同步给缓存管理提出较大挑战。分析了分布式缓存空间利用率的决定因素,通过节点成功请求比率,缓存的fresh度及数据分片点击率3个指标来评估节点缓存空... P2P流媒体直播系统中分布式节点缓存区别于传统的Client/Server缓存结构,节点的实时同步给缓存管理提出较大挑战。分析了分布式缓存空间利用率的决定因素,通过节点成功请求比率,缓存的fresh度及数据分片点击率3个指标来评估节点缓存空间利用率,提出了频度限制与改进的LRU相结合的K-Degree&LRU2缓存替换算法。仿真实验结果表明,该算法较传统的FIFO、LRU算法具有更高的执行效率。 展开更多
关键词 P2P流媒体 数据驱动 缓存替换 分布式 成功请求比率
下载PDF
电网感知的云计算服务请求路由算法 被引量:1
16
作者 兰远东 蔡昭权 《计算机应用与软件》 CSCD 2015年第9期119-122,135,共5页
高耗能的大型数据中心对其所在区域智能电网的负载均衡有较大影响。针对这种情况,提出电网感知的云计算服务请求路由优化算法。通过对云计算系统的服务请求路由调整,结合电网功率流分析,将服务请求路由到电网余量充沛的数据中心来改善... 高耗能的大型数据中心对其所在区域智能电网的负载均衡有较大影响。针对这种情况,提出电网感知的云计算服务请求路由优化算法。通过对云计算系统的服务请求路由调整,结合电网功率流分析,将服务请求路由到电网余量充沛的数据中心来改善电网支路的传输负载。在IEEE 24节点可靠性测试系统上的仿真结果显示:算法能根据数据中心节点的电网负载情况,调整服务请求路由,显著改善电网的负载均衡问题和提高电网的鲁棒性。 展开更多
关键词 云计算 数据中心 智能电网 服务请求 路由
下载PDF
基于CORBA架构和LabVIEW的分布式电能质量在线监测系统 被引量:3
17
作者 张霖 关根志 +1 位作者 兰国良 吉磊 《高压电器》 EI CAS CSCD 北大核心 2006年第3期220-222,共3页
提出了一种基于CORBA架构和LabVIEW的分布式电能质量在线监测系统实现的框架结构来实现对电能质量的指标测量和监控。监测系统由数字测量仪器组成实现数据采集、分析处理、诊断和报警等功能。数字测量仪器采用虚拟仪器技术即LabVIEW软... 提出了一种基于CORBA架构和LabVIEW的分布式电能质量在线监测系统实现的框架结构来实现对电能质量的指标测量和监控。监测系统由数字测量仪器组成实现数据采集、分析处理、诊断和报警等功能。数字测量仪器采用虚拟仪器技术即LabVIEW软件开发实现硬件测量功能,在网络通信中采用CORBA架构技术实现异构环境下中心控制站与各个监测仪间的远程访问和控制。系统的仿真研究和现场测试均表明该系统能够基本实现电能质量各项指标的监测和分析功能。 展开更多
关键词 电能质量 数据采集 虚拟仪器 通用对象请求代理体系架构 分布式
下载PDF
ASP中实现图片文件上传到数据库的方法 被引量:1
18
作者 张玲新 《南通航运职业技术学院学报》 2004年第4期47-49,共3页
在基于浏览器/服务器的应用环境中,上传各种类型图片文件一直是困扰用户文件管理应用的难题之一。文章对图片文件上传到数据库的方法及实现原理作了论述,并给出了具体解决实例。
关键词 图片文件 上传 数据库 ASP 实现原理 浏览器/服务器 文件管理 难题 方法 文章
下载PDF
基于联邦数据服务的企业级信息处理服务
19
作者 周爱华 王艳 赵英杰 《南昌大学学报(理科版)》 CAS 北大核心 2009年第1期85-89,共5页
针对当前企业级信息处理业务中普遍存在的问题,结合数据网格技术,提出一种新型的联邦数据服务FDSS。FDSS建立了联邦数据服务模型FDSM,提供对广域分布环境下异构企业信息的高效处理和透明管理,并通过本域数据服务和多域联邦数据服务实现... 针对当前企业级信息处理业务中普遍存在的问题,结合数据网格技术,提出一种新型的联邦数据服务FDSS。FDSS建立了联邦数据服务模型FDSM,提供对广域分布环境下异构企业信息的高效处理和透明管理,并通过本域数据服务和多域联邦数据服务实现信息资源的统一访问和跨域共享。FDSS适用于企业级信息处理平台的构建,可增强企业信息的处理与协同共享能力。 展开更多
关键词 企业级信息处理 数据网格 联邦数据服务 数据访问代理
下载PDF
基于时延约束的半双工短波数据通信ARQ技术 被引量:1
20
作者 王叶群 黄国策 曹鹏 《计算机应用》 CSCD 北大核心 2009年第5期1241-1243,共3页
在对短波信道特性分析的基础上,提出一种基于时延约束的改进型自动请求重传(ARQ)协议机制,降低了数据传输的时延,提高了通信效率,满足了半双工模式下短波数据传输的时效性要求。最后给出了仿真结果以及具体实现方法。
关键词 半双工 自动请求重传 帧长度 短波数据通信
下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部