基于数据流的K-S变化检测的动态多目标规划算法

为了更加准确地判断环境是否发生变化并快速追踪动态多目标规划问题(dynamicmulti-objectiveoptimization problem,DMOP)当前时刻的Pareto前沿,提出了一种基于数据流的Kolmogorov-Smirnov(K-S)变化检测的动态多目标规划(DSK-SDMOP)算法。该算法以NSGA-Ⅱ为基础,通过数据流建立2个时刻的检验窗口,再利用K-S检验基于数据流的Pareto最优前沿是否发生变化,检测2个窗口的数据是否服从同一分布来判断环境是否发生变化,并就环境变化的剧烈程度实行相应的应答机制,以提高对环境的适应程度。利用基于数据流的K-S检测方法,对环境变化不会过于敏感,而且不用提前假设对应目标值的分布,易于操作。通过5个动态多目标规划标准测试函数对该算法进行测试,并和现有的2种算法进行对比分析,结果表明该算法处理动态多目标规划问题具有良好的性能。

非平衡数据流在线主动学习方法

数据流分类是数据流挖掘领域一项重要研究任务,目标是从不断变化的海量数据中捕获变化的类结构.目前,几乎没有框架可以同时处理数据流中常见的多类非平衡、概念漂移、异常点和标记样本成本高昂问题.基于此,提出一种非平衡数据流在线主动学习方法(Online active learning method for imbalanced data stream,OALM-IDS).AdaBoost是一种将多个弱分类器经过迭代生成强分类器的集成分类方法,AdaBoost.M2引入了弱分类器的置信度,此类方法常用于静态数据.定义了基于非平衡比率和自适应遗忘因子的训练样本重要性度量,从而使AdaBoost.M2方法适用于非平衡数据流,提升了非平衡数据流集成分类器的性能.提出了边际阈值矩阵的自适应调整方法,优化了标签请求策略.将概念漂移程度融入模型构建过程中,定义了基于概念漂移指数的自适应遗忘因子,实现了漂移后的模型重构.在6个人工数据流和4个真实数据流上的对比实验表明,提出的非平衡数据流在线主动学习方法的分类性能优于其他5种非平衡数据流学习方法.

非平衡概念漂移数据流主动学习方法

数据流分类研究在开放、动态环境中如何提供更可靠的数据驱动预测模型,关键在于从实时到达且不断变化的数据流中检测并适应概念漂移.目前,为检测概念漂移和更新分类模型,数据流分类方法通常假设所有样本的标签都是已知的,这一假设在真实场景下是不现实的.此外,真实数据流可能表现出较高且不断变化的类不平衡比率,会进一步增加数据流分类任务的复杂性.为此,提出一种非平衡概念漂移数据流主动学习方法 (Active learning method for imbalanced concept drift data stream, ALM-ICDDS).定义基于多预测概率的样本预测确定性度量,提出边缘阈值矩阵的自适应调整方法,使得标签查询策略适用于类别数较多的非平衡数据流;提出基于记忆强度的样本替换策略,将难区分、少数类样本和代表当前数据分布的样本保存在记忆窗口中,提升新基分类器的分类性能;定义基于分类精度的基分类器重要性评价及更新方法,实现漂移后的集成分类器更新.在7个合成数据流和3个真实数据流上的对比实验表明,提出的非平衡概念漂移数据流主动学习方法的分类性能优于6种概念漂移数据流学习方法.

河北省河湖智能视频监控体系关键技术研究与实现

针对河北省河湖视频监控系统现状与问题,研究省级河湖智能视频监控体系的关键技术与具体实现。依托物联网、人工智能、云计算等先进技术,探讨河湖视频监控一张图、空间分析、多源数据融合、AI视频智能分析、视频取流等关键技术,采用基础设施层、数据服务层、平台服务层、应用层4层架构构建省级河湖智能视频监控体系,分析全省河湖视频资源传输专网、智能分析中心、视频监控一张图及河湖智能视频监控系统的具体实现成果。经过1年多的应用实践,证明该体系合理,能够有效推送疑似河湖违法事件,为视频监控在智慧水利中的应用提供思路框架和技术参考。

基于核极限学习机的多标签数据流半监督在线分类方法

实际应用中涌现的大量流数据具有高速到达、海量、动态变化等特点,同时,这些数据流常含有多个标签且只有少量数据被标记,从而带来多标签数据环境下的概念漂移与标签缺失问题.为此,文中提出基于核极限学习机的多标签数据流半监督在线分类方法.首先,针对多标签数据流的标签缺失问题,根据滑动窗口将数据流划分为k块,对每块数据构造特征相似性矩阵和标签相似性矩阵,并加入核极限学习机的训练中.同时为了适应流数据的特点,设计增量式更新机制,构建半监督在线核极限学习机.然后,为了适应数据流中的概念漂移问题,采用基于时间戳丢弃更新的机制,预先设定数据规模,当数据到达指定规模后,丢弃最旧的无标签数据,将新的数据加入更新.最后,在10个多标签数据集上的实验表明,文中方法对标签缺失和概念漂移问题具有较强的适应能力,并能保持较优的分类效果.

面向实时多源信息融合的分布式系统设计与实现

随着信息技术的快速发展,实时多源信息融合已成为学术界和工业界的研究热点。文中针对传统信息融合系统存在的响应延迟高、可扩展性差等问题,提出了一种面向实时多源信息融合的分布式系统设计方案。该方案集成了高性能数据采集、实时数据传输、分布式数据处理和可视化等关键模块。文中详细阐述了各模块的设计原理和技术实现,并通过实验对系统性能进行了全面评估。实验结果表明,该系统在低延迟、高吞吐等方面显著优于主流的分布式流处理框架,充分验证了所提方案的有效性,为实时多源信息融合领域提供了新的思路和技术支撑。

挖掘多数据流的异步偶合模式的抗噪声算法

挖掘多数据流的异步偶合模式是具有挑战性的工作.主要的研究工作包括:(1)研究Haar小波滤波技术在挖掘流数据的异步偶合模式中的应用;(2)引入小波系数序列来度量数据流的异步局域偶合度;证明了一系列定理,保证了度量方法的正确性;(3)设计了环形滑动窗口和挖掘异步偶合模式的抗噪声增量算法,其时间复杂性小于O(n2);(4)使用真实数据进行模拟实验,验证了算法的有效性.

基于嵌入式平台的公交车辆监控系统

系统基于ARM9嵌入式软硬件平台,整合了GPS(全球定位系统)、GPRS(通用无线分组业务)以及多数据流传感器,实现对公交车辆位置、温度、人数等数据的采集、传输及反馈,提高了公交系统调度效率和增强了安全性。介绍了系统的构成,并给出软硬件的设计方案。

基于负载均衡的随机作业流密码服务调度算法

针对安全领域业务流并行处理系统面临数据密码服务请求多样,串行工作模式和并行工作模式交叉,不同业务的数据流相互交叉的现状以及服务响应的高速、高可靠性需求的问题,为了提高多密码算法并行处理的效率,以负载均衡为调度目标,在基于业务标识的分层硬件调度方法 HHS-ACDID基础上,综合考虑算法处理节点的存储容量和处理速度,设计一种同时支持非关联任务和关联任务的负载均衡作业调度算法,实现了高速的密码处理吞吐率。仿真结果表明,该算法能够完成对数据流系统的动态调度并且得到较优的负载均衡效果,与HHS-ACDID相比,执行效率提高12%左右。

基于多维数据流挖掘技术的入侵检测模型与算法

网络访问数据有着数据流的高速、无穷达到的特点,所以利用传统多遍扫描数据库的挖掘技术来构建入侵检测模型是不可行的.针对网络访问数据流的特点,提出了一种基于多维数据流挖掘技术的入侵检测模型.此模型将传统的误用检测和异常检测两种入侵检测方法进行有机融合,因此能够克服目前广泛使用的误用检测方法无法检测新的攻击类型的缺点,并且也能够保持检测的高效性.网络访问数据记录的结构是复杂的,一个访问行为总是联系到许多属性,所以分析的难度很大.因此,引入多维频度等概念来解决网络数据流的模式表示和生成问题.同时,针对多维频度模式的特点,提出了一种新型数据结构MaxFP-Tree.在MaxFP-Tree的基础上,给出了一种高效的挖掘网络访问数据流的学习算法MaxFPinNDS.MaxFPinNDS采用衰减机制挖掘,可以快速地形成一个数据流的最近时期数据所隐含的最大频繁项目集.实验表明,设计的入侵检测模型是有效的.

基于多帧数据的目标分群算法

针对在多帧数据条件下的目标分群问题,提出一种基于数据流聚类的动态目标分群算法TG-Stream,该算法由在线和离线2个部分组成。在线部分采用临时存储结构(TSS)和金字塔时间框架保存侦察数据集的概要信息,离线部分采用CNM算法对时间框架的信息进行聚类,最终得到分群的结果。实验结果表明,TG-Stream具有灵活的精度和效率平衡性,能较好地满足决策辅助系统处理实时信息的需要。

面向电力大数据的多数据流实时处理技术研究

随着电力大数据的形成与深化应用,传统数据批处理技术已不能满足当前电网实时应用要求,多源数据的即时获取和实时关联计算已成为制约电力大数据全面应用的关键因素。论文梳理了国内外大数据实时处理的技术发展现状,探讨了电力大数据实时处理的应用需求,提出了一种面向多用户的电力大数据流计算服务体系,搭建了电力大数据实时流计算处理平台,以低压用户电量计算为典型应用场景对电力大数据实时计算平台的处理性能进行了验证。

面向大数据流的多任务加速在线学习算法

多任务在线学习框架采用直接数据处理的流式计算模式,是大数据流分析很有前途的一种工具.然而目前的多任务在线学习算法收敛率低,仅为O(1/T1/2),T为算法迭代次数.提出一种新颖的多任务加速在线学习算法ADA-MTL(accelerated dual averaging method for multi-task learning),在保持多任务在线学习快捷计算优势的基础上,达到最优收敛率O(1/T2).对多任务权重学习矩阵Wt的迭代闭式解表达式进行了推导,对提出算法的收敛性进行了详细的理论分析.实验表明,提出的多任务加速在线学习算法能够更好地保障大数据流处理的实时性和可伸缩性,有较广泛的实际应用价值.

面向大数据流的半监督在线多核学习算法

在机器学习中,核函数的选择对核学习器性能有很大的影响,而通过核学习的方法可以得到有效的核函数。提出一种面向大数据流的半监督在线核学习算法,通过当前读取的大数据流片段以在线方式更新当前的核函数。算法通过大数据流的标签对核函数参数进行有监督的调整,同时以无监督的方式通过流形学习对核函数参数进行修改,以使得核函数所体现的等距面尽可能沿着数据的某种低维流形分布。算法的创新性在于能同时进行有监督和无监督的核学习,且不需要对历史数据进行再次扫描,有效降低了算法的时间复杂度,适用于在大数据和高速数据流环境下的核函数学习问题,其对无监督学习的支持有效解决了大数据流中部分标记缺失的问题。在MOA生成的人工数据集以及UCI大数据分析的基准数据集上进行算法有效性的评估,其结果表明该算法是有效的。

分布式实时多数据流的并发协作处理

基于C/S模型分析了分布式实时计算环境中多数据流并发处理的事务问题.采用复杂事件驱动技术,设计了一个适于多数据流并发协作处理的事务机制ARTs-MDS,能够自组织地将对分布式实时数据产生作用的并发任务组成一个原子的事务单位.系统维护着一个永久性的请求/响应队列将物理的设备的实操作与实时事务相分离,通过保证并发协作任务的事务特性获得以分布式局部采集数据为基础产生的微观层操作行为协作产生的整体效果的原子性.测试结果分析表明:该系统能提高对连续的外部采集数据进行协作处理的实时响应,减少了数据丢失.

Spark Streaming动态资源分配策略

针对Spark Streaming作为混合大数据计算平台流处理组件时资源调整周期长和不能满足多应用多用户个性化需求的问题,提出了一种多应用下动态资源分配策略(DRAM)。该策略增加了应用全局变量来控制动态资源分配过程。首先,获取历史执行数据反馈和应用全局变量;然后,进行资源增减计算;最后,进行资源增减执行。实验结果表明,所提策略能够有效调整应用资源配额,且在稳定数据流和不稳定数据流两种情况下,其处理延时相比原Spark平台的Streaming策略和Core策略都有所降低;同时该策略也能够提高集群资源利用率。

ETL多数据流并行抽取系统的设计与实现

针对传统ETL数据抽取的低效,设计实现了一种ETL多数据流并行抽取系统,对异构平台及各种类型的数据源进行多数据流并行抽取,扩展了ETL现有的系统架构,为今后对海量数据的处理提供了一种新的思路并将依此开发的ETL工具应用到"广州市社会治安智能分析系统"项目上,发现对数据的抽取效率有明显提高.

噪声自适应的多数据流复合子带语音识别方法

首先针对现有丢失数据语音识别技术中的边缘化(marginalisation)技术在特征运用上的局限,提出了一种倒谱特征分量的可靠性估计方法,将边缘化技术推广到常用的倒谱语音识别系统中;然后利用基于全带和子带倒谱特征的边缘化识别器在不同噪声中的互补性能,提出了一种噪声自适应的多数据流复合子带语音识别方法。实验结果表明,所提识别方法可以自适应地选出全带和子带数据流中受噪声影响较小者并以之为主要依据进行识别,有效地提高了识别系统在多变噪声环境中的鲁棒性。

基于数据流多维分析的可疑金融交易动态识别

动态识别是改进我国目前可疑金融交易识别监测覆盖面不足和识别实时性较差的有效方法。针对动态识别的具体实现问题,基于数据流多维分析设计一种可疑突变特征动态识别算法。该算法根据金融交易数据流的特点,在筛选交易记录关键属性、构建数据流立方体结构以及确定通用路径的基础上,运用突变比量动态缩减时间框架,在不同维度及概念层上计算和维护立方体中数据单元的度量参数与突变比量参数,并以此为依据发现并识别出隐匿于数据流中的可疑突变特征。仿真结果表明:算法能够在有限的存储空间内完成对大规模金融交易数据流的实时处理,计算结果能够有效反映交易记录中频度、金额、类型等方面的可疑突变情况,从而达到动态识别可疑金融交易的目的。

基于分层校验的多标签数据流概念漂移检测

现有的概念漂移检测方法大多集中于单标签数据流,难以满足多标签数据流概念漂移检测的需要,因此文中提出基于分层校验的多标签数据流概念漂移检测算法.算法包括检验层和校验层,检验层通过检测数据分布变化判断是否发生概念漂移,校验层通过判断标签混淆矩阵的变化程度验证是否真正发生概念漂移.在真实多标签数据集和合成多标签数据集上的实验表明,文中算法表现更优,可以有效检测概念漂移,提升分类性能.