不完整大数据的分布式聚类填充算法

传统大数据填充算法是根据整个数据集对缺失数据进行填充,使得填充值容易受到不同类别数据的干扰,导致填充结果不精确。针对该问题,给出不完整数据的相似度度量方法,使用近邻传播(AP)算法对不完整数据进行聚类。采用云计算技术优化AP聚类算法,实现一种基于Map Reduce的分布式聚类算法,根据算法聚类结果将同一类数据对象划分到相同簇中,并利用同一类对象的属性值对缺失值进行填充。实验结果表明,该算法能实现不完整大数据的聚类,同时加快聚类速度,提高缺失数据的填充精度。

基于分布式减法聚类的不完整数据填充算法

不完整数据填充是数据预处理领域重要研究课题.传统数据填充算法时间复杂度高,算法不具有分布式处理特性,不满足大数据环境下对数据快速处理的要求.提出一种基于分布式减法聚类的不完整数据填充算法,算法首先利用改进的减法聚类算法对整个数据集进行聚类.为了提高聚类算法的效率,利用云计算技术对聚类算法进行优化,实现基于多级MapReduce的分布式减法聚类算法.然后根据聚类结果和加权距离对缺失数据值进行填充,在保证数据填充精度的同时大幅度降低了填充过程的处理时间.实验结果表明,本文提出的方法能够对大数据进行快速聚类,同时有效保证缺失数据的填充精度.

基于属性约简的物联网不完全数据填充算法

传统的数据填充算法采用统一方法对不完全数据进行填充,效率低下,不适合对物联网中大规模不完全数据进行填充,因此提出了一种基于属性约简不完全数据填充算法。利用属性约简区分数据的重要属性与非重要属性,分别采用不同的填充技术对两类属性进行填充,其中重要属性个数由用户根据实际需要设定。实验结果表明,该算法能够有效、快速地对物联网中大规模不完全数据进行填充。

基于深度学习的不完整大数据填充算法

提出一种基于深度学习的不完整大数据填充算法.算法首先以自动编码机为基础建立填充自动编码机.在此基础上,构建深度填充网络模型,分析不完整大数据的深度特征并根据逐层训练思想和反向传播算法计算网络参数.最后利用深度填充网络来还原不完整大数据,对缺失值进行填充.实验表明,提出的算法能够有效提高不完整大数据的填充精度.

基于聚类和自动编码机的缺失数据填充算法

当前的不完整数据处理算法填充缺失值时,精度低下。针对这个问题,提出一种基于CFS聚类和改进的自动编码模型的不完整数据填充算法。利用CFS聚类算法对不完整数据集进行聚类,对降噪自动编码模型进行改进,根据聚类结果,利用改进的自动编码模型对缺失数据进行填充。为了使得CFS聚类算法能够对不完整数据集进行聚类,提出一种部分距离策略,用于度量不完整数据对象之间的距离。实验结果表明提出的算法能够有效填充缺失数据。

支持增量式更新的大数据特征学习模型

大数据具有高速变化特性,其内容与分布特征均处于动态变化之中,目前的前馈神经网络模型是一种静态学习模型,不支持增量式更新,难以实时学习动态变化的大数据特征。针对这个问题,提出一种支持增量式更新的大数据特征学习模型。通过设计一个优化目标函数对参数进行快速增量式更新,为了在更新过程中保持网络的原始知识,最小化平方误差函数。对于特征变化频繁的数据,通过增加隐藏层神经元数目网络对结构进行更新,使得更新后的网络能够实时学习动态变化大数据的特征。在对网络参数与结构更新之后,通过权重矩阵SVD分解对更新后的网络结构进行优化,删除冗余的网络连接,增强网络模型的泛化能力。实验结果表明提出的模型能够在尽可能保持网络模型原始知识的基础上,通过不断更新神经网络的参数与结构实时学习动态大数据的特征。

基于属性重要性的不完备数据填充算法

现有的不完备数据填充算法对所有缺失数据采用统一方式填充,没有考虑数据的重要性,效率低,实时性差.因此,本文提出一种基于属性重要性的不完全数据填充算法.通过差分矩阵求得属性约简,根据约简区分重要属性和非重要属性,对于重要属性数据填充采用改进的马氏距离填充方法,而不重要属性数据填充采用相似度概率填充方法,保证了数据精确度的同时,提高了实时性,具有实用性.最后,实验部分采用数据家庭系统数据和UCI标准数据集分别对算法性能进行了分析,验证了该算法的优越性.

基于AP聚类的不完整大数据填充

不完整数据的分析与填充一直是大数据处理的热点研究课题,传统的分析方法无法对不完整数据直接聚类,大部分方法先填充缺失值,然后对数据聚类。这些方法一般利用整个数据集对缺失数据进行填充,使得填充值容易受到噪声的干扰,导致填充结果不精确,进而造成聚类精度很低。提出一种不完整数据聚类算法,对不完全信息系统的相似度公式进行重新定义,给出不完整数据对象间的相似度度量方式,进而直接对不完整数据聚类。根据聚类结果将同一类对象划分到相同的簇中,通过同一类对象的属性值对缺失值进行填充,避免噪声对填充值的干扰,提高填充结果的精确性。实验结果表明,提出的方法能够对不完整数据进行聚类,并有效提高缺失数据的填充精度。

基于物联网和超声导波的管道检测系统研究

针对当前城市管道检测系统实际应用时复杂的人工操作问题和管道工作环境信息的分析预警功能缺失问题,设计开发一套基于物联网和超声导波的城市管道检测系统。该系统将物联网、超声导波检测、信号处理等技术相融合,通过无线网络将数据传到云端数据处理中心并由数据处理中心分析管道检测信息,实现管道缺陷检测、环境信息采集以及预警等功能。实验仿真表明:该系统的缺陷定位精度达到了(能够满足)城市管道检测的要求,在减少人工操作的同时,能有效提供预警功能。

基于嵌套滑动窗口的数据流缺失数据填充算法

提出了一种基于嵌套滑动窗口的缺失数据填充算法.考虑到传感器数据流的时效特性,采用嵌套滑动窗口选取空间相关度高且距离最近的数据作为样本数据,之后分两种情况对缺失数据进行填充.算法首先通过皮尔逊相关计算对数据的空间性进行分析,应用嵌套滑动窗口对缺失数据相关的数据进行采样,得到强相关数据,之后采用MKNN算法进行精确填充.通过皮尔逊相关分析和嵌套窗口采样,极大地降低了数据样本大小,提高了缺失数据处理实时性;对于不具有强的空间相关的缺失数据,考虑到短时间内采集数据间强的时间相关性,采用线性相关法对数据进行填充,降低算法复杂度.实验表明,该算法能够实时、精确地对数据流缺失数据进行填充.

基于离群点检测的K-means算法

K-means算法以其简单、快速的特点在现实生活中得到广泛应用.然而传统Kmeans算法容易受到噪声的影响,导致聚类结果不稳定,聚类精度不高.针对这个问题,提出一种基于离群点检测的K-means算法,首先检测出数据集中的离群点,在选择初始种子的时候,避免选择离群点作为初始种子.然后在对非离群点进行聚类完成后,根据离群点到各个聚类的距离,将离群点划分到相应的聚类中.算法有效降低离群点对K-means算法的影响,提高聚类结果的准确率.实验表明,在聚类类别数给定的前提下,在标准数据集UCI上该算法有效降低离群点对K-means算法的影响,提高了聚类的精确率和稳定性.

基于物联网的桥梁压力信息采集系统

桥梁的压力信息采集是监测桥梁建筑健康状况监测的重要组成部分.针对传统桥梁建筑压力信息采集系统存在的缺陷,设计一套基于物联网桥梁建筑压力信息采集系统,该系统利用CAN总线将压力传感器采集到的信息传输到数据处理中心,以满足压力信息传输实时性的需求.在将压力信息存入到数据库之前,对不完整信息进行有效填充,为桥梁建筑专家提供有意义的压力信息.仿真实验表明,该系统能够实时采集桥梁建筑的压力信息并满足桥梁专家的需求.

基于博弈论的无线传感网能量均衡模型

提出一种基于贝叶斯博弈的无线传感网能量均衡算法,该算法将每次数据转发过程分解为两个阶段的博弈.第一阶段博弈是指节点结合自身能量水平及参与博弈其他节点的战略,构造静态贝叶斯博弈模型,以最优化期望收益函数的解作为节点参与路由转发数据包的最优决策概率;第二阶段博弈是指源节点与邻居节点根据能量水平及相互战略,构造博弈模型,根据最大化期望收益函数的解,决定双方在博弈阶段的最优转发包数量.仿真实验结果表明,本文提出的算法能够有效地均衡网络的能量消耗,延长网络的生存时间.

基于云计算的物联网数据挖掘模型

物联网中的数据具有数据量大、数据类型复杂、高度动态性与异构性、复杂时空特性等特点,为数据挖掘带来新的挑战。传统的数据挖掘方法无法直接应用于物联网之中。基于此,提出一种基于云计算的物联网数据挖掘模型,以云计算作为技术支持平台,在构建面向物联网的分布式时空数据库的基础上,搭建面向物联网海量数据的数据挖掘模型。通过分析表明该模型能够有效地完成物联网中的数据挖掘任务。

自适应窗口滑动的物联网数据流典型相关分析

针对传统的数据流典型相关分析算法没有考虑数据流速率的动态变化特性,不适用于物联网实际情况的问题,提出一种基于自适应窗口滑动的数据流典型相关分析算法,依据数据流速率变化,设计自适应的窗口滑动策略,并动态调整滑动窗口。实验结果表明,可以保证物联网数据流典型相关分析的实时性、准确性和高效性。

不完整数据的聚类研究

数据采集过程中存在大量缺失数据,即不完整数据.传统方法在聚类不完整数据时采用填充或丢弃缺失数据方式实现数据的聚类.依据不完整信息系统理论提出一种基于K-means的不完整数据聚类算法,算法首先将数据集划分成完整数据集和非完整数据集两部分,对完整数据集采用K-means算法进行聚类,然后将不完整数据依据设计的相似度度量方法划分到对应的簇中,实现数据集的聚类.实验结果表明,提出的方法能够高效、精确地实现不完整数据聚类.

基于形状加权的三维模型特征提取算法

提出了一种基于形状加权的三维模型特征提取算法,同时考虑采样点与中心点间的距离,以及采样点所在三角面片面积大小,构建直方图获取特征描述符.该算法能够充分利用模型表面信息,提取步骤简单,时间消耗少.实验证明,利用本文算法得到的特征描述符进行检索,查全率和查准率都有明显提高.

一种智能寻迹避障小车设计

现今,智能机器人已经逐步走进人们的生活,智能扫地机器人、智能早教机、智能洗碗机等家用机器人早已屡见不鲜,但在工程车方面车的功能单一,甚至研究就接近空白。然而随着科技研究的步伐,社会生产生活的需求,智能工程车亟需研究及应用。借此思路,设计了一种具备智能寻迹、避障、测距、跟随、清障等功能的小车。其中,本设计运用了Arduino单片机技术主控整个系统进行运作;运用超声波、红外传感器等传感技术实现小车寻迹、避障、测距、清障等功能;运用蓝牙无线技术结合手机APP技术非接触性操控小车,实现智能操控。通过测试智能小车功能实验结果表明,小车实现了智能化寻找路径、测量距离、躲避障碍、目的跟从以及清除障碍等功能。本设计的小车具备多功能且智能化,为解决工程车功能单一,在照明不良、天气极端的环境以及地势险峻等恶劣条件作业等问题作出设计上的实用性参考价值。

一种智能门锁的设计

为了实现突破传统锁具制造技术、提高门锁的安全性、简化繁琐的开锁工序、解决传统门锁功能单一的不足等,以智能密码门锁为研究对象,对指纹识别、红外遥控、数据传送、数据显示和无线射频识别进行全面的分析与研究,在此基础上设计了一款智能化、多方式识别的门锁系统。该系统具有指纹识别、指纹开锁、密码开锁、射频门卡开锁、红外遥控解锁等功能,也包括录入、删除、存储、报警等功能。本智能门锁运用单片机、指纹识别、RFID射频识别、红外遥控、图像采集和信号处理等技术,由单片机作为主控单元,处理指纹模块指纹图像采集、识别等信息,建立指纹匹配机制;处理RFID的卡号识别、红外遥控设置门锁及解锁过程;加上完备门锁密码的增删、设置过程的警示等功能,从而形成智能门锁系统。与其他类型的密码门锁相比,该门锁具有操作简便、功能性强、应用广泛等优点,还可以在密码泄漏的情况下及时更改密码。实践证明,该智能门锁系统能满足特定场合的需要,提高门锁安全性,具有一定的推广价值。

基于PLC的工业机器人自动生产线实训设备系统的设计

效仿现代企业自动化生产线作业系统,设计了一套应用于教学实践基于工业机器人的自动生产线的实训设备。实训设备以一实际的工件打磨、喷涂自动化生产线为蓝本,配置整个产线实训系统,系统硬件包括智能控制平台、四台6轴工业机器人、一台AGV小车、可编程控制器PLC等现代智能设备组成,实现工件的搬运、打磨、喷漆与码垛4种加工工序。智能控制平台主要设备为控制柜、总控平台、工控机,其中控制柜作为机器人的控制中枢,用于机器人路径规划、参数设置等操作;总控平台主要用于实现产线设备之间的通讯,总控平台内置PLC,可实现与机器人、AGV小车的基本通讯;工控机用于布置WMS(智能仓储物流系统)、MES(制造执行系统),通过信息化系统实现生产过程管控、数据分析和生产过程等。整套实训设备的工业机器人基于PLC核心控制下,采用Modbus/TCP、FROFINE协议,实现PLC、AGV小车整体实训设备系统的通信。本设计根据产线工种的控制系统功能要求,对整个系统进行框架模块化设计,便于PLC作为系统核心部件,控制各加工工序工业机器人的加工运作,且加上运用AGV小车配合机器人运输各工位之间的物料,从而实现效仿企业产线上的自动化作业。此实训设备的设计与教学上的运用,促使教学实施接轨融合企业生产元素,达到提高人才培养质量的目的。