面向不确定性多数据流异常检测的数学模型

随着互联网技术的快速发展,数据流的应用日益普遍,通信平台对多数据流进行异常检测的需求也逐步增长。为了解决当前异常检测算法准确率低、特征提取难等问题,提出了一种基于网格化的多数据流异常检测算法。算法首先提取不确定性多数据流的特征,通过分析数据流分布状态,从而提取异常数据;然后采用网格化的方法对多数据流进行划分,通过计算网格异常因子从而提取异常数据,达到异常检测的效果;最后针对异常数据,通过对变量因素进行关联性分析,降低误检率,提升异常检测的准确率。实验结果表明,所提算法在异常检测精确度方面提升了约4%,漏检率降低了至少3%,误检率降低了8%以上,有效的提高了异常检测的精确度,降低了异常数据流对工作及生活带来的负面影响。

基于GPU的多数据流相关系数并行计算方法研究

为了满足多数据流处理的实时性需求,提出一种跨PCIE总线的四层滑动窗口模型和基于图形处理器的多数据流并行处理框架模型,在此框架模型下可以并行维护数量巨大的滑动实时多数据流统计信息,同时采用精确方法并行计算多数据流间任意两条的相关系数。通过对比在同样的实验环境下只使用CPU的计算处理方法,验证了新方法的实时计算性能具有显著的提高。

挖掘多数据流的异步偶合模式的抗噪声算法

挖掘多数据流的异步偶合模式是具有挑战性的工作.主要的研究工作包括:(1)研究Haar小波滤波技术在挖掘流数据的异步偶合模式中的应用;(2)引入小波系数序列来度量数据流的异步局域偶合度;证明了一系列定理,保证了度量方法的正确性;(3)设计了环形滑动窗口和挖掘异步偶合模式的抗噪声增量算法,其时间复杂性小于O(n2);(4)使用真实数据进行模拟实验,验证了算法的有效性.

分布式多数据流频繁伴随模式挖掘

多数据流频繁伴随模式是指一组对象较短时间内在同一个数据流上伴随出现,并在之后一段时间以同样方式出现在其他多个数据流上.现实生活中,城市交通监控系统中的伴随车辆发现、基于签到数据的伴随人群发现、基于社交网络数据中的高频伴随词组发现热点事件等应用都可以归结为多数据流频繁伴随模式发现问题.由于数据流规模巨大且到达速度快,基于单机的集中式挖掘算法受到硬件资源的限制难以及时发现海量数据流中出现的频繁伴随模式.为此,提出面向大规模数据流频繁伴随模式发现的分布式挖掘算法.该算法首先将每个数据流划分成若干个segment片段,然后构建适合部署在分布式计算平台上的多层挖掘模型,并利用多计算节点以并行方式对大规模数据流进行处理,从而实时发现频繁伴随模式.最后,在真实数据集上进行充分实验以验证算法性能.

基于谱聚类的多数据流演化事件挖掘

为解决从多数据流挖掘演化事件这一难题,提出了一种多数据流上的谱聚类算法SCAM(spectral clustering algorithm of multi-streams),其相似矩阵基于耦合度构造,而耦合度衡量了两个数据流的动态相似性.提出了算法EEMA(evolutionary events mining algorithm),该算法基于聚类模型的演变挖掘多数据流的演化事件.定义了聚类模型凝聚度,用以衡量聚类的紧凑程度,并证明了凝聚度的上界.基于到上界的距离和规范化相似矩阵的特征间隙,定义了聚类模型质量,并作为EEMA的优化目标自动地确定聚簇数k.设计了O-EEMA作为EEMA的优化实现,其时间复杂度为O(cn2/2).在合成和真实数据集上的实验结果表明,EEMA和O-EEMA是有效的、可行的.

改进的多数据流协同频繁项集挖掘算法

针对已有的多数据流协同频繁项集挖掘算法存在内存占用率高以及发现频繁项集效率低的问题,提出了改进的多数据流协同频繁项集挖掘(MCMD-Stream)算法。首先,该算法利用单遍扫描数据库的字节序列滑动窗口挖掘算法发现数据流中的潜在频繁项集和频繁项集;其次,构建类似频繁模式树(FP-Tree)的压缩频繁模式树(CPTree)存储已发现的潜在频繁项集和频繁项集,同时更新CP-Tree树中每个节点生成的对数倾斜时间表中的频繁项计数;最后,通过汇总分析得出在多条数据流中多次出现的且有价值的频繁项集,即协同频繁项集。相比A-Stream和HStream算法,MCMD-Stream算法不仅能够提高多数据流中协同频繁项集挖掘的效率,并且还降低了内存空间的使用率。实验结果表明MCMD-Stream算法能够有效地应用于多数据流的协同频繁项集挖掘。

噪声自适应的多数据流复合子带语音识别方法

首先针对现有丢失数据语音识别技术中的边缘化(marginalisation)技术在特征运用上的局限,提出了一种倒谱特征分量的可靠性估计方法,将边缘化技术推广到常用的倒谱语音识别系统中;然后利用基于全带和子带倒谱特征的边缘化识别器在不同噪声中的互补性能,提出了一种噪声自适应的多数据流复合子带语音识别方法。实验结果表明,所提识别方法可以自适应地选出全带和子带数据流中受噪声影响较小者并以之为主要依据进行识别,有效地提高了识别系统在多变噪声环境中的鲁棒性。

面向电力大数据的多数据流实时处理技术研究

随着电力大数据的形成与深化应用,传统数据批处理技术已不能满足当前电网实时应用要求,多源数据的即时获取和实时关联计算已成为制约电力大数据全面应用的关键因素。论文梳理了国内外大数据实时处理的技术发展现状,探讨了电力大数据实时处理的应用需求,提出了一种面向多用户的电力大数据流计算服务体系,搭建了电力大数据实时流计算处理平台,以低压用户电量计算为典型应用场景对电力大数据实时计算平台的处理性能进行了验证。

分布式实时多数据流的并发协作处理

基于C/S模型分析了分布式实时计算环境中多数据流并发处理的事务问题.采用复杂事件驱动技术,设计了一个适于多数据流并发协作处理的事务机制ARTs-MDS,能够自组织地将对分布式实时数据产生作用的并发任务组成一个原子的事务单位.系统维护着一个永久性的请求/响应队列将物理的设备的实操作与实时事务相分离,通过保证并发协作任务的事务特性获得以分布式局部采集数据为基础产生的微观层操作行为协作产生的整体效果的原子性.测试结果分析表明:该系统能提高对连续的外部采集数据进行协作处理的实时响应,减少了数据丢失.

基于基因表达式编程的多数据流压缩并行算法

针对大规模数据流需要巨量存储空间,以及串行处理速度瓶颈,着力于解决处理后的精确度及数据压缩.在并行平台下,利用阈值滑动窗口技术将数据流分段送入各处理器,并使用基因表达式编程(Gene Expression Programming,GEP)的函数发现算法实现对数据模型的函数挖掘,提出了基于基因表达式编程的多数据流压缩并行函数替代算法PFR-GEP(Parallel Function Replace-GEP).在PC机群上的实验结果表明:该算法有效提高了压缩比例与运算速度,且具有线性加速比.

多数据流子带噪声语音识别方法

提出一种噪声下的多数据流子带语音识别方法。传统的子带特征方法虽然能提高噪声下的语音识别性能,但通常会使无噪声情况下的识别性能下降。新方法提取感知线性预测(PLP)特征和子带特征,分别进行识别,然后在识别概率层将两者相结合。通过E-Set在NoiseX92下的白噪声的识别实验表明,新方法不仅具有更好的抗噪性能,而且同时能提高无噪声情况下的识别性能。

ETL多数据流并行抽取系统的设计与实现

针对传统ETL数据抽取的低效,设计实现了一种ETL多数据流并行抽取系统,对异构平台及各种类型的数据源进行多数据流并行抽取,扩展了ETL现有的系统架构,为今后对海量数据的处理提供了一种新的思路并将依此开发的ETL工具应用到"广州市社会治安智能分析系统"项目上,发现对数据的抽取效率有明显提高.

基于SCTP多数据流特性的WEB传输

SCTP是为了在IP网络中传输基于消息的SS7信令而开发的传输层协议,它是可靠的,面向消息的协议。SCTP具有很多新的特点,在对SCTP的多数据流特性研究的基础上,提出使用多数据流特性进行WEB传输的机制,仿真结果的分析表明,使用SCTP来进行WEB的传输比TCP更加可靠,速度更快。

基于变长切换的多数据流正则表达式匹配

为支持多条数据流的正则表达式匹配,提出一种基于FPGA的正则表达式匹配系统(VLS Memory-DFA)。通过具有记忆特性的DFA结构实现了匹配过程的灵活中断和恢复,通过变长切换机制保证了多条数据流处理的公平性和切换的快速性。通过部署于FPGA,该系统在3386条规则下,最大能够支持92条数据流的同时处理,能够达到236MHz的时钟频率以及7.55Gbps的吞吐率。处理结果表明,VLS Memory-DFA能够满足多数据流的处理需求,并达到较高的处理速率。

基于PCA/ICA的多数据流关联及模式发现

基于主成分分析技术、独立分量分析技术以及多数据流模型,将用于数据和信号分析的PCA/ICA方法应用于多数据流模型,提出多数据流关联度分析和模式发现的新模型。该模型适用于解决在线混合数据流分离,对挖掘多数据流潜在独立内因有良好效果。探讨模型的健壮性和实时性,并在实验中验证了系统性能。

多数据流时间序列中的依赖模式发现算法研究

针对多数据流组成的时间序列中发现有用的结构模式的MSDD算法不能很好地对节点剪枝,以及直观地表示模式的时间关系的问题,经过研究,提出了发现多数据流时间序列结构模式的算法:时间窗口移动筛选算法(TWMA).采用事件序列化的策略来发现多流时间序列中的依赖模式,与MSDD相比,在表示上更直观,发现模式的过程更灵活.

多数据流上的联机方差分析研究

多数据流上的联机方差分析是一个有意义的研究问题。针对以元组为单位流入的具有相同属性集的多支单数据流组成的多数据流,提出了分别对每支单数据流进行蓄水池抽样,构造一一对应于各单数据流的若干个多快照窗口,即两者之间是双射关系,可以将多快照窗口串行置于主存中,将元组包含的属性与多快照窗口中的各个快照窗口一一对应,且使得同一快照窗口中的各基本窗口与取自其对应的单数据流的属性值样本一一对应,然后对这些相互独立的样本进行方差分析。按顺序串行处理各个多快照窗口中的数据,就可以用串行化的方法来实现并行的多数据流上的联机方差分析。理论分析与实验表明,该方法是合理的和有效的。

基于布谷鸟搜索算法的多数据流融合异常检测方法

为了提高多数据流融合异常检测能力,保障网络数据的安全性,提出基于布谷鸟搜索算法(Cuckoo Search,CS)和空间间隔采样的分布式卷积神经网络的多数据流融合异常检测方法.根据多数据流融合异常检测特征进行网络用户的浏览信息特征检测,建立多数据流融合的特征提取模型,构建反映网络安全等级的多数据流融合量化特征分析模型,采用空间欠采样技术进行多数据流非线性特征重组,提取多数据流融合异常检测的统计特征量,根据多数据流融合异常分布状态实现特征检测和识别,结合布谷鸟搜索算法进行多数据流融合异常检测中的自适应寻优.仿真结果表明,采用该方法进行分布式卷积神经网络多数据流融合异常检测的准确性较高,检测概率较高,抗干扰能力较强,提高了网络的安全性.

基于同步相关性的多数据流聚类在空气质量评价中的应用

根据空气质量监测数据的特点,给出一种基于同步相关性的多数据流聚类算法。根据国家环境质量标准,结合实际监测数据,对某地区空气质量进行了评价并对空气污染指标进行了相关性分析,说明基于同步相关性的多数据流聚类在空气质量评价应用中的可行性。

多数据流对存储磁盘阵列系统性能的影响(下)——探讨适合视音频及多媒体数据的存储体系

DataDirect Networks公司的SAN DataDirector存储区域网络设备是一个全新的存储系统概念。无论对单台主机有序的数据访问还是来自多台主机的不确定的数据访问．它都拥有同样的高性能：单台SDD实际的写性能可以到760M字节，秒，实际的读性能可以到800M字节，秒．单个逻辑单元的性能可以到650至700M字节／秒。这样高的性能来自于它的独特的对存储区域网络的多主机环境进行专门设计的并行体系结构，它不只是一个高性能的存储系统，它还是一个存储区域网络的基础结构设备。