期刊文献+
共找到13篇文章
< 1 >
每页显示 20 50 100
DSTFA分布式短文本过滤算法 被引量:2
1
作者 沈竞 蒋侨 《四川兵工学报》 CAS 2011年第10期151-153,156,共4页
针对海量短文本数据,本文基于非结构化数据挖掘平台UIMAAS,设计了一种高效分布式文本过滤算法(DST-FA)。在该算法中,从特征扩展出发,结合词语关键度,提出了一种新型的文本向量和用户模板相似度计算方法。实验证明,与传统的短文本过滤算... 针对海量短文本数据,本文基于非结构化数据挖掘平台UIMAAS,设计了一种高效分布式文本过滤算法(DST-FA)。在该算法中,从特征扩展出发,结合词语关键度,提出了一种新型的文本向量和用户模板相似度计算方法。实验证明,与传统的短文本过滤算法相比,DSTFA算法能提高短文本过滤准确率约6.9%,同时系统运行速度随着实例部署个数成线性增长,体现出了良好的可扩展性。 展开更多
关键词 文本过滤 特征扩展 关键度 短文本 分布式过滤
下载PDF
支持域间分布式分组过滤的BGP扩展 被引量:3
2
作者 王立军 吴建平 徐恪 《软件学报》 EI CSCD 北大核心 2007年第12期3048-3059,共12页
可信任是下一代互联网的重要特征.目前,互联网的路由系统只按照分组的目的IP地址转发分组,携带虚假源IP地址的伪造分组也会被传输到目的地,这会在威胁接收方安全的同时,隐藏发送方的真实身份.可信任互联网的路由系统不仅需要能够正确地... 可信任是下一代互联网的重要特征.目前,互联网的路由系统只按照分组的目的IP地址转发分组,携带虚假源IP地址的伪造分组也会被传输到目的地,这会在威胁接收方安全的同时,隐藏发送方的真实身份.可信任互联网的路由系统不仅需要能够正确地转发分组,而且能够验证分组来自正确的发送方.基于路由的域间分布式分组过滤是过滤伪造分组的有效方法.提出了BGP的路由选择通知功能扩展,为域间分组过滤提供过滤标准.在扩展的支持下,边界路由器能够鉴别进入本自治系统的分组的真实性,过滤掉伪造其他自治系统地址的分组.模拟结果表明,路由选择通知不会对BGP正常的路由功能产生负面影响,选择合理的路由选择时钟参数,可以在同时取得较小带宽开销和较快收敛速度的情况下,为域间分布式分组过滤提供支持. 展开更多
关键词 可信任互联网 边界网关协议 域间路由 分布式分组过滤
下载PDF
基于Mahout分布式协同过滤推荐算法分析与实现 被引量:2
3
作者 曾志浩 张琼林 +1 位作者 姚贝 孙琪 《计算技术与自动化》 2015年第3期67-72,共6页
随着信息技术和互联网的发展,在信息过载的时代,用户面对海量的信息,难以正确选择。协同过滤推荐是个性化推荐中比较成熟的算法,但其稀疏性、冷启动、可扩展性问题仍然存在,尤其是不能应用于分布式推荐。在Hadoop平台上,Mahout实现了分... 随着信息技术和互联网的发展,在信息过载的时代,用户面对海量的信息,难以正确选择。协同过滤推荐是个性化推荐中比较成熟的算法,但其稀疏性、冷启动、可扩展性问题仍然存在,尤其是不能应用于分布式推荐。在Hadoop平台上,Mahout实现了分布式基于项目的协同过滤推荐算法,该算法能够有效解决传统算法的海量数据处理的效率问题和可扩展性问题。实验结果表明,Mahout上基于项目的协同过滤推荐算法具有较好的计算高效性和可扩展性。 展开更多
关键词 分布式协同过滤 Mahout 推荐系统
下载PDF
基于域间路由的分布式分组过滤有效性研究 被引量:1
4
作者 王立军 《软件学报》 EI CSCD 北大核心 2012年第8期2130-2137,共8页
消除伪造源地址分组是互联网安全可信的内在要求.基于路由的分布式分组过滤具有良好的效果,但是目前对其有效性缺乏严密的理论分析.基于域间路由传播和互联网拓扑的分层特征,建立路由传播教模型和理想AS图模型,以此为工具分析了基于域... 消除伪造源地址分组是互联网安全可信的内在要求.基于路由的分布式分组过滤具有良好的效果,但是目前对其有效性缺乏严密的理论分析.基于域间路由传播和互联网拓扑的分层特征,建立路由传播教模型和理想AS图模型,以此为工具分析了基于域间路由的最大过滤和半最大过滤有效性.结论印证并从理论上解释了前人研究中的实验结果.最大过滤能够消除绝大多数的伪造分组,虽然无法达到100%,但可以将伪造成功的自治系统数量限制为互联网AS路径的平均长度.在理想AS图上,半最大过滤与最大过滤的有效性相同,但是存储和计算开销要小很多,为实际中部署半最大过滤提供了理论依据.理论模型分析揭示了基于域间路由的分布式分组过滤的内在优缺点,有助于设计辅助措施和在整个互联网全面而合理地部署. 展开更多
关键词 域间路由 伪造分组 分布式分组过滤
下载PDF
一个基于分布式并行过滤的前置式邮件过滤模型 被引量:1
5
作者 孙晓斌 郑宇 吴耿锋 《计算机应用与软件》 CSCD 北大核心 2006年第12期88-89,118,共3页
提出一种新的邮件过滤模型———基于分布式并行过滤的通用前置式邮件过滤模型PDPF,由此构造的邮件过滤系统,其运行不依赖于特定的邮件服务器而在网关提供过滤服务,对到达的邮件进行并行过滤处理,其分布式并行过滤矩阵通过“并行与”操... 提出一种新的邮件过滤模型———基于分布式并行过滤的通用前置式邮件过滤模型PDPF,由此构造的邮件过滤系统,其运行不依赖于特定的邮件服务器而在网关提供过滤服务,对到达的邮件进行并行过滤处理,其分布式并行过滤矩阵通过“并行与”操作,能够加快过滤速度。在真实环境下的实验表明,在日均邮件流量高达10万封的情况下,每封邮件的处理时间不超过50m s。 展开更多
关键词 SMTP前置式邮件过滤模型 分布式并行过滤矩阵 并行与操作
下载PDF
一种支持海量数据备份的可扩展分布式重复数据删除系统 被引量:5
6
作者 刘厚贵 邢晶 +1 位作者 霍志刚 安学军 《计算机研究与发展》 EI CSCD 北大核心 2013年第S2期64-70,共7页
现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,重... 现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,重复数据删除技术需要在数据路由和指纹查询方面提供高可扩展的支持.对于数据路由,提出了基于分布式布隆过滤器(Bloom Filter)的有状态数据路由技术:拆分Bloom Filter并将其分布于多节点并发管理,可以在提高数据路由的扩展性同时降低其通信开销.对于去重节点内的指纹查询,提出了基于取样机制的指纹查询优化方法:通过可扩展Hash结构组织海量取样指纹信息,并根据取样指纹的时间局部性原理对指纹缓存进行管理.为了对研究工作进行评价,设计并实现了分布式重复数据删除系统3D-deduper(distributed data deduplication system),并进行了数据路由和去重性能相关的测试.实验结果表明,基于分布式布隆过滤器的数据路由技术能够使得分布式重复数据删除系统维持与单节点重复数据删除系统相当的去重率,波动低于5%.在取样查询方面,数据去重率在取样率为1?32时仍能达到非取样重复数据删除系统数据去重率的95%以上.在去重性能方面,单节点去重带宽最高可达到200MBps.在节点扩展时,去重带宽仍能保持近似线性的扩展性. 展开更多
关键词 重复数据删除 数据路由 可扩展哈希 分布式布隆过滤
下载PDF
基于数据流和点对点网络的分布式推荐算法 被引量:10
7
作者 丛义昊 于艳华 《计算机工程与应用》 CSCD 北大核心 2019年第1期64-69,148,共7页
推荐算法是数据挖掘中应用最广泛的算法之一,目前的推荐算法主要是针对静态数据的,缺乏对动态数据的适应性,基于数据流的推荐算法是解决这一问题的方法。针对目前在分布式平台中采用参数服务器控制模型训练存在的滞后梯度和掉队者问题,... 推荐算法是数据挖掘中应用最广泛的算法之一,目前的推荐算法主要是针对静态数据的,缺乏对动态数据的适应性,基于数据流的推荐算法是解决这一问题的方法。针对目前在分布式平台中采用参数服务器控制模型训练存在的滞后梯度和掉队者问题,提出了一种新的使用点对点参数交换网络代替参数服务器的方法,并在训练过程中引入遗忘策略和异常评分检测能力。在新的分布式流计算框架Flink上进行设计实现,并在经典的MovieLens-1m数据集上进行了实验。实验结果表明,该算法能够在保证推荐准确率的同时,降低一半通讯开销。 展开更多
关键词 在线矩阵分解 流计算 分布式协同过滤 点对点网络
下载PDF
贝叶斯技术在反垃圾邮件系统中的研究应用
8
作者 甘宏 潘丹 《科技广场》 2009年第11期24-26,共3页
基于贝叶斯方法在垃圾邮件处理上具有速度快、准确率高的优点,基于贝叶斯分类的垃圾邮件分类方法受到广泛的关注。我们主要研究制约中文邮件过滤效果的中文分词方法,比较基于统计的多种方法,并根据需要对其中几种算法进行改进。
关键词 贝叶斯技术 垃圾邮件 分布式过滤
下载PDF
PipeCF:a DHT-based Collaborative Filtering recommendation system
9
作者 申瑞民 杨帆 +1 位作者 韩鹏 谢波 《Journal of Zhejiang University-Science A(Applied Physics & Engineering)》 SCIE EI CAS CSCD 2005年第2期118-125,共8页
Collaborative Filtering (CF) technique has proved to be one of the most successful techniques in recommendation systems in recent years. However, traditional centralized CF system has suffered from its limited scalabi... Collaborative Filtering (CF) technique has proved to be one of the most successful techniques in recommendation systems in recent years. However, traditional centralized CF system has suffered from its limited scalability as calculation complexity increases rapidly both in time and space when the record in the user database increases. Peer-to-peer (P2P) network has attracted much attention because of its advantage of scalability as an alternative architecture for CF systems. In this paper, authors propose a decentralized CF algorithm, called PipeCF, based on distributed hash table (DHT) method which is the most popular P2P routing algorithm because of its efficiency, scalability, and robustness. Authors also propose two novel approaches: significance refinement (SR) and unanimous amplification (UA), to improve the scalability and prediction accuracy of DHT-based CF algorithm. The experimental data show that our DHT-based CF system has better prediction accuracy, efficiency and scalability than traditional CF systems. 展开更多
关键词 Collaborative Filtering Distributed hash table Significance refinement Unanimous amplification
下载PDF
Observability Analysis and Navigation Algorithm for Distributed Satellites System Using Relative Range Measurements 被引量:4
10
作者 SU Qiya HUANG Yi 《Journal of Systems Science & Complexity》 SCIE EI CSCD 2018年第5期1206-1226,共21页
The problem of navigation for the distributed satellites system using relative range mea- surements is investigated. Firstly, observability for every participating satellites is analyzed based on the nonlinear Kepleri... The problem of navigation for the distributed satellites system using relative range mea- surements is investigated. Firstly, observability for every participating satellites is analyzed based on the nonlinear Keplerian model containing J2 perturbation and the nonlinear measurements. It is proven that the minimum number of tracking satellites to assure the observability of the distributed satellites system is three. Additionally, the analysis shows that the J2 perturbation and the nonlinearity make little contribution to improve the observability for the navigation. Then, a quasi-consistent extended Kalman filter based navigation algorithm is proposed, which is quasi-consistent and can provide an on- line evaluation of the navigation precision. The simulation illustrates the feasibility and effectiveness of the proposed navigation algorithm for the distributed satellites system. 展开更多
关键词 Distributed satellites system (DSS) NAVIGATION OBSERVABILITY quasi-consistent extendedKalman filter (QCEKF) relative range.
原文传递
Performance Comparison of Distributed State Estimation Algorithms for Power Systems 被引量:1
11
作者 SUN Yibing FU Minyue ZHANG Huanshui 《Journal of Systems Science & Complexity》 SCIE EI CSCD 2017年第3期595-615,共21页
A newly proposed distributed dynamic state estimation algorithm based on the maximum a posteriori(MAP) technique is generalised and studied for power systems. The system model involves linear time-varying load dynamic... A newly proposed distributed dynamic state estimation algorithm based on the maximum a posteriori(MAP) technique is generalised and studied for power systems. The system model involves linear time-varying load dynamics and nonlinear measurements. The main contribution of this paper is to compare the performance and feasibility of this distributed algorithm with several existing distributed state estimation algorithms in the literature. Simulations are tested on the IEEE 39-bus and 118-bus systems under various operating conditions. The results show that this distributed algorithm performs better than distributed quasi-steady state estimation algorithms which do not use the load dynamic model. The results also show that the performance of this distributed method is very close to that by the centralized state estimation method. The merits of this algorithm over the centralized method lie in its low computational complexity and low communication load. Hence, the analysis supports the efficiency and benefits of the distributed algorithm in applications to large-scale power systems. 展开更多
关键词 Distributed MAP estimation distributed state estimation extended Kalman filter power systems.
原文传递
Improved Algorithm for Distributed Localization in Wireless Sensor Networks 被引量:3
12
作者 钟幼平 匡兴红 黄佩伟 《Journal of Shanghai Jiaotong university(Science)》 EI 2010年第1期64-69,共6页
Many sensor network applications require location awareness,but it is often too expensive to equip a global positioning system(GPS) receiver for each network node.Hence,localization schemes for sensor networks typical... Many sensor network applications require location awareness,but it is often too expensive to equip a global positioning system(GPS) receiver for each network node.Hence,localization schemes for sensor networks typically use a small number of seed nodes that know their locations and protocols whereby other nodes estimate their locations from the messages they receive.For the inherent shortcomings of general particle filter(the sequential Monte Carlo method) this paper introduces particle swarm optimization and weighted centroid algorithm to optimize it.Based on improvement a distributed localization algorithm named WC-IPF(weighted centroid algorithm improved particle filter) has been proposed for localization.In this localization scheme the initial estimate position can be acquired by weighted centroid algorithm.Then the accurate position can be gotten via improved particle filter recursively.The extend simulation results show that the proposed algorithm is efficient for most condition. 展开更多
关键词 wireless sensor network node localization particle filter particle swarm optimization weighted centroid algorithm
原文传递
Convergence analysis of distributed Kalman filtering for relative sensing networks
13
作者 Che LIN Rong-hao ZHENG +1 位作者 Gang-feng YAN Shi-yuan LU 《Frontiers of Information Technology & Electronic Engineering》 SCIE EI CSCD 2018年第9期1063-1075,共13页
We study the distributed Kalman filtering problem in relative sensing networks with rigorous analysis.The relative sensing network is modeled by an undirected graph while nodes in this network are running homogeneous ... We study the distributed Kalman filtering problem in relative sensing networks with rigorous analysis.The relative sensing network is modeled by an undirected graph while nodes in this network are running homogeneous dynamical models. The sufficient and necessary condition for the observability of the whole system is given with detailed proof. By local information and measurement communication, we design a novel distributed suboptimal estimator based on the Kalman filtering technique for comparison with a centralized optimal estimator. We present sufficient conditions for its convergence with respect to the topology of the network and the numerical solutions of n linear matrix inequality(LMI) equations combining system parameters. Finally, we perform several numerical simulations to verify the effectiveness of the given algorithms. 展开更多
关键词 Relative sensing network Distributed Kalman filter Schur stable Linear matrix inequality
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部