基于机器学习的分布式的故障诊断系统研究

目前,分布式存储系统的应用已经越来越广泛,规模和复杂性不断增加,导致故障发生的平均概率较高,其运维的难度和复杂度也大大提高。因此,如何对分布式系统进行高效、准确的运维,成为保障信息系统高效、可靠运行的关键问题。该文就故障诊断问题,通过对系统发生故障时的KPI指标数据的预处理和特征提取,使用XGBoost算法对故障进行诊断,实现故障的智能分类,帮助人们判断该故障属于什么故障问题。

一种分布式的跨站脚本漏洞检测方法

针对现有的跨站脚本检测技术尚未对漏洞注入点进行充分研究,且漏洞检测率相对较低的问题,为了提升检测效果,提出一种基于分布式系统的跨站脚本动态检测方法。通过综合考虑字符串长度、字符类型等因素对攻击向量进行了分类与变形,根据输入点、输出点类型自动生成攻击向量与合法向量。采用基于PhantomJS的网络爬虫对网站进行更为全面的漏洞注入点分析,并使用Gearman来实现分布式任务调度,提高检测效率。采用PHP语言设计并实现了分布式自动化跨站脚本检测系统,进一步通过实验和其他相关工具对比分析,表明所提方法能够有效挖掘出Web应用中的跨站脚本漏洞。

分布式的温控负荷集群负荷跟随控制

温控负荷(thermostatically controlled loads,TCLs)集群作为一种灵活的可调度资源,已成为促进电网经济运行和帮助电网恢复稳定的有力手段之一。然而,由于温控负荷单体功率小、位置分散且参数各异,给调度带来了困难。为了灵活利用数量庞大的负荷侧资源进行负荷跟随控制,该文建立温控负荷的虚拟电池模型和负荷集群的聚合模型,并提出基于双层分布式通信网络的控制策略。上层利用分布式交替方向乘子法(alternating direction method of multipliers,ADMM)来解决不同负荷聚合器的最佳跟随功率问题,以确保跟随效益最优;下层提出基于快速分布式平均一致性算法的深度神经网络(deep neural networks,DNN)的方法,使得聚合器内部的所有温控负荷以相等的虚拟电池荷电状态(state of charge,SoC)快速共享上层得到的跟随功率,并有效减少了通信数据量。不同时间尺度的算例验证提出的控制策略能够实现快速的负荷跟随,并保证用户侧的效益。

一种基于分布式的启发式系统日志解析算法

日志在系统管理中被广泛应用于可靠性保证,是检测系统是否异常的重要数据源。在系统日志异常检测流程之前需要将原始的文本结构日志解析成异常检测模型能够识别的结构化日志,为了完成日志解析这一前置任务,提出了很多根据日志特性设计的日志解析算法,从而达到提取结构化日志的目的。针对已有的日志解析算法的不足之处作出改进,以解析效率作为突破点提出了基于分布式的系统日志解析任务分配模型和基于启发式的系统日志解析算法,通过组合分配模型和解析算法完成日志解析任务。利用HDFS和BGL等5种数据集实验验证了模型和算法的可行性和有效性,缩短了日志解析所需花费的时间,提高了日志解析的效率。

基于分布式的高档数控系统架构设计研究

基于分布式的基础上对数控系统的架构进行设计研究,从系统的硬件结构研究、系统的软件架构的研究,提出一种全新的系统架构满足系统软硬件可以满足模块化叠加、抽离、独立优化、易迭代;也能满足高精度、高效率和高表面质量的算力要求;同时还能满足未来数控系统的智能化、网络化和信息化的要求,并验证了这种全新的系统架构设计方案的可行性,为高档数控系统架构设计构建了一种新的设计思路。

基于分布式的遥感数据管理系统研究与实现

文中基于分布式系统构建了一种集存储、管理和计算为一体的多源异构遥感数据管理系统,系统使用Apache HBase存储标准化后的遥感瓦片对象;使用MongoDB存储瓦片元数据,并根据Z曲线编码进行范围分区,实现负载均衡;使用Apache Spark+GDAL进行栅格计算;利用改进的Z曲线编码进行空间查询。经过原型系统性能测试实验表明,文中查询方法在百万级数据量的窗口查询下是PostgreSQL的空间索引查询性能的4.25倍,计算时使用惰性加载图像数据的策略,计算效率相比GeoTrellis提高了18%。

基于分布式的直销银行汽车供应链金融系统浅析

互联网技术水平的提高在很大程度上促进了直销银行开始探索新的经营模式。一方面,互联网企业在“互联网+”概念的推动下逐步进入银行业。上中下游中小型企业为解决股权融资困难的问题关键在于采用供应链金融,汽车厂商多样化、多渠道的融资模式使得相应的股权融资企业在总资产上有更大的优势,对企业个人的信用(贷款担保)也就越高。另一方面,IT厂商不断研发大数据产品,越来越多开源大数据解决方案应用分布式框架来提升存放和测算数据库的水平。直销银行也逐步地选用分布式文件系统和分布式存储。

基于分布式的RDF数据分割方法研究

基于分布式的RDF数据分割方法能够解决大规模RDF数据的分割和存储问题。为保证RDF数据的分布式存储和解决数据分割效率提出了一种基于贪婪策略的分割方法。先通过启发式贪心策略根据子图的负载均衡,依次选择度数最高的节点或者度数相对较高的节点,将其放入同一个子图中,后进行相邻顶点的优化。然后通过分区策略将子图分配到对应节点,存储到neo4j数据库并建立相应的索引将数据保存到Redis数据库。实验对比了几种数据分割算法以及图形数据库与关系型数据库的RDF数据存储方案,并验证了RDF图数据的存储方案和分割算法的有效性。

一种分布式的无线传感器网络Range-free节点定位算法

针对无线传感器网络在实际应用环境中节点分布往往不均匀的状况,提出了一种分布式、无需测距设备支持的节点自身定位算法(简称为NCL算法)。NCL算法基于节点通信邻域内邻居节点的个数估算节点间距,并在计算节点坐标时对节点间距进行加权平均以提高定位精度。使用OMNeT++对NCL算法进行仿真,并与DV-Hop算法进行比较分析。仿真结果表明,NCL算法提高了非均匀网络中的定位精度,具有较小的通信开销,并具有一定的容错性和自适应性。

基于分布式的RS影像快速分发机理及应用

提出利用分布式技术来建立遥感数据个性化快速分发服务体系的整体策略,研究了Web服务构建影像处理平台的相关技术,开发了适应于遥感影像快速发布的遥感影像压缩及地理编码信息处理模块,实现了适应于当前网络环境下遥感影像个性化,实时分发方式。实验结果表明,遥感影像发布效率有很大提高,个性化需求得到满足。

基于分布式的web log挖掘模型

本文提出了一种基于分布式weblog挖掘模型 ,并针对该模型设计了一种有效的基于分布式的挖掘算法。该算法首先在各分布式服务器上进行关联规则挖掘 ,然后将各个服务器上的挖掘结果合成。这有利于减轻网络频繁的通讯负担 ,体现并行计算、异步挖掘。

基于分布式的坦克仿真系统的框架设计

文章在分析两个经典的分布式虚拟现实系统的基础上，结合坦克仿真的具体情况，从通用性和开放性角度考虑，提出了分布式坦克仿真（DTS）系统的软件体系结构。然后从人机交互、网络通信、实体管理、多视觉通道图形显示等方面详细介绍了DTS系统的设计情况。

DRFL一种分布式的无线传感网的非测距定位算法(英文)

本文提出了一种分布式的非测距算法(DRFL),该算法不需要测量节点间的距离,只需锚节点广播它们的信标信息,盲节点接收并存储监听到的信标信息,并根据这些信息估计自身节点位置.与现有的非测距算法相比,DRFL算法的通信开销比较小,且其定位的性能与网络连接度(network connectivity)无关.在ANR=8,DOI=0,16个锚节点统一布置在仿真区域的情况下,DRFL算法的定位误差小于盲节点通信半径的8%,且消除了APIT算法中的"Undetermined Nodes"问题.

一种分布式的舆情分析系统架构

随着互联网数据的快速增长,针对如何对互联网数据进行有效的收集和分析,提出一种基于分布式平台的系统架构。该架构包括爬虫模块、Web模块以及分布式平台三大模块,其中爬虫模块负责数据的收集,Web模块负责简单任务的处理以及分析结果的可视化展示,分布式平台提供数据的存储以及复杂任务的计算功能,3个模块的结合为网络上海量数据的爬取、存储与分析提供了一个很好的解决方案。最后,针对社交网站新浪微博的应用案例验证了该分布式舆情分析系统架构的可用性。

测量协同问题研究——完全分布式的解决方案

精确性是网络测量的一个关键问题 .一个测量节点对测量任务的并发执行通常会影响测量结果的精确性 ,测量任务的互斥执行可以降低或消除这种影响 .同时 ,单向测量需要两个节点协作进行 ,因此随机产生的测量任务可能会产生冲突 ,从而导致进程死锁、测量效率低下等一系列问题 .我们称该类问题为测量协同问题 (MCP) .MCP是一类特殊的分布式资源分配问题 ,它的特殊性主要在于 :(1)资源之间协商该被哪个进程 (任务 )使用 ;(2 )如果任务的资源需求得不到满足 ,则该任务将被放弃执行 .作者提出了测量协同问题完全分布式的算法———CDA ,证明了CDA的存活性和正确性 ,并分析了消息复杂度、空间复杂度和收敛时间 .模拟实验表明 ,CDA具有良好的处理冲突任务的能力 ,使得CDA在任务并发性较强时仍然具有较好的任务执行能力 .

基于分布式的大数据集聚类分析

为了提高聚类效率提出了一种基于分布式的大数据集聚类算法。该方法并不是一次性对所有的数据进行聚类,而是将大数据集随机分成若干个子集,对每个子集同时进行聚类,最后进行类的合并。实验结果表明大多数情况下该方法和传统的一次性聚类的结果一致,而且极大地提高了聚类的速度。

分布式的SPKI/SDSI2.0证书链搜索算法

信任管理是一种适用于大规模分布式网络的访问控制机制,SPKI/SDSI2.0是目前信任管理体系中最成熟、最普及的一个.可目前已有的SPKI/SDSI2.0证书链搜索算法都是集中式的,而SPKI/SDSI2.0系统是一种分布式系统,证书是以分布式方式分发和存储的.针对此问题,首先给出一种合理的SPKI/SDSI2.0分布式证书存储策略,其中的证书是对象方完全可追溯的(subject-traces-all).在此基础上,提出了一种分布式的SPKI/SDSI2.0证书链搜索算法DCCDS,它是面向目标的(goal-directed).理论分析表明,算法具有较高的执行效率,而且可以实现对委托深度(delegation depth)的细粒度控制.

基于分布式的通信网络地理信息系统

分布式应用有着可扩展性、可配置性、灵活可靠性及跨平台等优点。在设计CNGIS（通信网络地理信息系统）的实践中，系统的分布式需求日益突出。该文提出了CNGIS的分布式解决方案，针对不同的应用提出了相应的设计原则及策略，较好地解决了CNGIS设计中的用户分布，特别是数据分布的问题。

一种分布式的洋葱路由新机制

洋葱路由技术在公网上提供双向、实时的匿名通信,其面向连接和严格的源路由方式导致效率低、扩展性差。利用分布式的概念,采用分段连接技术思想提出了一种安全、高效的分布式洋葱路由机制(DORS),给出了DORS路由实现算法,并从方案实现效率、安全性方面对DORS进行了分析。分析结果表明DORS具有良好的扩展性、鲁棒性、简单性和有效性。

多层分布式的Intranet应用

Ｉｎｔｒａｎｅｔ作为企业内部的信息交互和信息共享平台，大大提高了企业的竞争力．叙述了构建Ｉｎｔｒａｎｅｔ应用的多层分布式模型，介绍了ＤＣＯＭ和ＡＳＰ对开发多层分布Ｉｎｔｒａｎｅｔ应用的技术支持，并给出了利用ＤＣＯＭ和ＡＳＰ技术建立多层分布式应用的主要步骤和一个Ｉｎｔｒａｎｅｔ的多层分布式应用实例。