协同过滤下混合大数据无损挖掘算法研究

大数据具有大规模性、多样性以及价值性,由于海量数据间的较高相似度,导致数据挖掘过程易受冗余干扰,出现数据丢失、损坏等问题。为解决上述问题,提出基于协同过滤算法的混合大数据无损挖掘方法。对混合大数据集成预处理,去除冗余,将不同来源的相同数据无损融合。采用协同过滤算法的时间衰减函数,计算挖掘项目间相似性。在混合大数据特征关联度的约束下,实现混合大数据无损挖掘。实验结果表明,所提方法应用下,混合大数据量高达25000MB时,数据挖掘所需时间仅为45ms左右,且挖掘精度高达95%以上,数据挖掘结果与目标具有一致性。

基于DMS传输平台的CTCS3-300H ATP车载设备数据无线下载及分析系统设计

针对CTCS3-300H型ATP车载设备日常运维存在的数据下载接口多、数据下载时间长、缺少智能化分析手段等问题,设计一套基于动态监测系统(DMS)传输平台的ATP车载设备数据无线下载及分析系统。通过车载端的ATP数据无线下载单元实现对300H型ATP车载设备各关键单元数据的实时采集、存储、检索及传输;利用既有DMS传输平台中的无线传输通道实现车载设备数据的无线下载;通过部署于地面的ATP日志分析工作站和智能诊断分析终端,实现ATP车载设备数据分类存储、故障报警、故障数据自动下载、车载数据智能诊断分析和历史故障的查询统计。该系统不仅可有效提高运维数据分析效率,降低车载故障对现场运营的影响,还可提升运维数据的时效性和可追溯性,从而全面提高300H型ATP车载设备的运维效率及运维质量。

移动网络基站大数据无监督加密方法仿真

为了保证数据完整性和可靠性,会多次对数据收集和存储,导致同一数据被重复存储,增加了冗余度,使得对基站数据加密变得困难。为了解决上述问题,提出移动网络基站大数据无监督抗破译加密方法,通过建立无监督数据消冗算法,对于相同数据采用变长分块识别方法识别并删除重复数据,对于相似数据利用布隆过滤器算法识别并删除相似数据,降低数据冗余度。结合Logistic映射和Henon映射生成双混沌序列,将所得双混沌序列作为高级加密标准(Advanced Encryption Standard,AES)算法的加密密钥,以此实现移动网络基站大数据无监督抗破译加密。实验结果表明,所提方法加密、解密延时均低于12ms,且吞吐量高。

基于特征手性的数据无关模型评估方法

模型评估是评判卷积神经网络模型性能的重要手段,多用于卷积神经网络模型的设计、对比和应用过程。然而,现有的模型评估方法大多需要使用测试数据运行模型得到相关评估指标,当测试数据因隐私、版权与保密等原因无法获取时难以发挥作用。为了解决此问题,提出了一种数据无关的卷积神经网络模型评估方法,其利用特征手性的相关特性,通过计算卷积核之间的距离来确定模型的评估指标。所提方法利用不同卷积神经网络模型的性能表现与卷积核距离之间的负相关性,验证了在不使用测试数据的情况下,直接利用模型参数评估模型相对性能排名的可行性与有效性。对比实验表明,使用欧氏距离测度来评估AlexNet, VGGNets, ResNets, EfficientNets这4类包括17个卷积神经网络的模型精度时,该模型评估方法的盲评准确性高,能够较好地完成模型评估任务。

基于多头注意力与双向门控循环单元的数据无损压缩方法

为解决数据归档存储场景中出现的物理存储成本增长和数据库内存紧张等问题,本文提出一种基于注意力机制与双向门控循环单元的数据无损压缩方法,采用Transformer和双向门控循环单元作为概率预测器,输出数据流的条件概率分布,结合自适应算术编码器对数据进行压缩。实验对比结果表明,本文所提方法相较于算术编码和基于字典模型的LZW这两种传统无损压缩方法,压缩率分别平均提升约28.8%和7.8%;相较于Cmix v19和NNCP两种深度学习方法,平均压缩率分别降低0.4%和0.2%,但平均压缩时间分别约为其5.1%和39.4%。

CIR设备数据无线传输及智能分析系统研究

旨在解决铁路行业中机车综合无线通信(CIR)设备数据下载和分析过程中存在的问题,针对现有数据下载耗时长、人工分析困难等挑战,提出一套CIR设备数据无线传输及智能分析系统的设计方案。当前CIR设备记录单元数据下载和分析仍然依赖人工操作,存在时间滞后、效率低下的情况,对铁路运输安全构成潜在风险。设计的系统架构分为车载采集设备和地面智能分析系统两部分,通过现有的LMD系统进行通信连接。车载采集设备通过专用线缆与机车CIR设备记录单元监测接口连接,数据通过无线网络传输至地面服务器。地面智能分析系统实现数据存储、智能分析、报表统计等功能,基于大数据技术和分布式架构,提高数据处理和分析效率。系统中的智能分析模块能够实现设备状态远程监测、智能分析、设备运用情况智能评分和标准化检测作业评分等功能。经过现场应用验证,该系统可以缩短数据下载、分析时间,减少人工成本,提前预防CIR设备故障,确保铁路运输安全和效率。

低时延网络多路通信数据无冲突调度仿真

随着信息传播数据量的飞速增长,以及低时延网络的广泛应用,低时延网络无冲突调度的需求也进一步增加。为解决当前通信调度算法时效性差、调度效果不佳等问题,提出了基于强化学习演员-评论家算法的无冲突调度模型。模型首先对低时延网络架构进行分析,并对状态空间中的多路通信网络进行数据监测;然后基于受限制的马尔科夫决策对其进行无冲突调度,并基于贝尔曼方程计算结果进行策略调度;最后使用强化学习中的Actor-Critic算法对调度算法进行优化,通过Actor提出调度方案,通过Critic评价调度情况,进而达到无冲突调度的效果。实验结果表明,所提算法将冲突率降低了8.72%,将吞吐率提升了7.58%,降低了数据在传输过程中丢失和乱码的概率,提高了通信数据的传输效率。

车载式铁路轨道巡检数据无线传输加密系统设计

车载式铁路轨道巡检数据在运行中传输中,随着传输数据量的增大,局域网络布局不合理的弊端体现,导致数据传输能力与安全性下降;设计一种车载式铁路轨道巡检数据无线传输加密系统。由车载设备、DMS、无线通信模块、数据接收天线以及数据接收装置搭建数据无线传输加密系统框架,采用多个无线AP构建成局域网络,与车载无线传输网络实时链接并进行铁路轨道巡检数据传输;在系统框架的支持下,分别对系统硬件与软件进行设计;系统硬件主要分为业务逻辑、数据解析和无线通信3个层次;系统软件主要是利用AES对巡检数据进行加密,并获得对应的数字签名,对已加密的数据进行无线网络传输;经系统应用试验证明,当传输时间为5.0 s的情况下,该系统的数据无线传输速度为423 Mbps;当加密次数为5的情况下,该系统的数据加密覆盖率为94%;该系统的丢包率最大值为6.9%,最小值为3.6%,说明该系统具备良好的车载式铁路轨道巡检数据传输能力,且数据加密性能良好,传输速度快。

一种基于类小波变换的无线电频谱监测数据无损压缩方法

无线电频谱监测海量数据存储和分析是无线电监管工作的重要组成部分。频谱数据具有时间相关性以及不同频点间的相关冗余,对此本文设计了一种基于类小波变换的无线电频谱监测数据无损压缩方法。该方法首先基于时间相关性将一维频谱信号转换成二维矩阵;转换成二维矩阵后数据在水平方向以及垂直方向都存在冗余,算法采用卷积神经网络来代替传统小波中的预测和更新模块,并引入了自适应压缩块来处理不同维度的特征,从而获得更紧凑的频谱数据表示。研究进一步设计了一种基于上下文的深度熵模型,利用类小波变换不同子带系数获得熵编码参数,以此估计累积概率,从而实现频谱数据的压缩。实验结果表明,与已有的Deflate等传统频谱监测数据无损压缩方法相比,本文算法有进一步的性能提升,与典型的JPEG2000、PNG、JPEG-LS等二维图像无损压缩方法相比,本文所提出的方法的压缩效果也提高了20%以上。

基于观测器的采样数据无模型自适应控制

提出了一种基于观测器的采样数据无模型自适应控制方法,将无模型自适应控制从离散时间系统扩展到连续时间系统。提出了一种动态线性化方法,将一类高阶非线性非仿射连续时间系统转化为基于采样数据的非线性仿射输入输出数据模型;为了将系统的不确定性和未知非线性转化为未知的时变参数向量和非线性余项,分别设计了参数自适应更新律和扩展状态观测器对其进行估计和补偿。由此,提出了一种新的采样数据自适应控制律,包含了采样周期和更多过去时刻的输入输出信息,从而可提高系统的控制性能。仿真结果表明所提出方法是有效的。

可保障数据无中断传输的冗余树算法研究

随着大数据应用的发展,保障数据无中断传输的需求日益增强.针对单点或单链路失效的情况,现有的保障数据无中断传输方法存在主/备份路径的数据传输性能较低、抵御多节点/边失效能力不强等问题.为解决以上问题,提出一种可保障数据无中断传输的按边序选环的冗余树算法CSES(circle selecting by edge sorting based redundant tree algorithm for uninterrupted data delivery),可用于构建数据传输性能优化的主/备份路径,并使数据传输具有较强的抵御多节点/边失效的能力.该算法首先根据网络拓扑构建以数据源为根节点的最小传输树,以最小化主传输路径上的转发跳数;其次,为了减少备份路径的转发跳数并提高数据传输抵御多节点/边失效的能力,对拓扑中不在最小传输树上的边进行排序,将树上根节点到边上2个端点的路径上节点数量之和较小的边排在前列.随后按序将边添加到最小传输树上以构建冗余环,并基于冗余环生成冗余枝添加到最小传输树上,最终形成以数据源为根节点的冗余树.实验结果表明,相比于其他冗余树算法,基于CSES算法构建的冗余树所生成的主/备份路径的转发跳数更少且抵御多节点/边失效的能力更强.

多源空间数据无缝集成研究

随着地理信息系统的社会化发展 ,空间数据共享成为一种必然要求 ,然而要真正实现空间数据共享 ,多格式空间数据集成是一个亟待解决的问题。多源空间数据无缝集成( SIMS)技术实现了一种特殊的数据访问机制 ,不仅提供了直接存取多种数据格式的能力 ,而且使 GIS软件具有跨数据源复合分析功能 ,是实现空间数据共享的有效的技术基础。本文阐述了 SIMS技术体系结构 ,并探讨了 SIMS技术在 GIS软件开发中的应用。

基于CAN的数据无损代码更新方法设计与应用

为了提高车载设备在复杂工作环境下固件升级的稳定性及可靠性,深入分析并研究bootloader机制,以汽车无刷直流电机控制器为载体,提出了一种基于CAN总线通信方式的数据无损代码更新方法。将上位机解析后的用户应用程序以链表队列的方式存储并根据数据无损的BLC通信协议通过CAN总线发送给控制器,控制器结合数据无损的代码备份和Flash加密机制实现用户代码的更新和错误回退等功能。实验结果表明,本设计方法具有很强的容错能力,可实现20 Hz以下的数据无损代码更新,并为其他复杂工作环境下的产品提供了一种固件升级的新思路。

基于多头自编码网络的单细胞多组学数据无监督降噪

单细胞多组学测序正在广泛应用于生物医学研究中,并产生大量的多样性组学数据。然而原始的单细胞多组学数据包含多种类型的测序噪声和冗余信息,对后续生物医疗层面的分析造成困难。现有的降噪方法主要依赖于单一的数据分布假设,并针对性的处理单个组学数据,这对模型联合处理不同组学数据造成极大地限制。本研究提出一种使用单细胞多组学数据降噪的分析方法,称为scMAED(single-cell multi-omics data via a multi-head autoencoder network to denoising)。模型在多头自动编码器网络中添加了分类解码器,以无监督的方式来最大程度的去除数据噪声。首先,使用两个编码器独立学习多组学数据的内部特征,并联合输出的低维特征进行共同解码。其次,分类解码器不做任何数据分布假设,通过使用预测的细胞簇标签来反馈数据信息,以最大限度的去除复杂噪声。最后,使用主成分分析和t-SNE进行可视化。本文基于模拟数据集和真实的小鼠数据集对模型进行性能评估,结果显示sc-MAED在降噪效果上优于实验中的对比方法,并能够极大的改善单细胞多组学数据的质量。

基于时序数据压缩的大数据无损编码转换

针对当下时序数据压缩普遍存在压缩比小、压缩效率低的问题,进行基于时序数据压缩算法的海量大数据无损编码转换研究。该研究分为2部分,首先利用经验模态分解(EMD)算法对时序数据进行分解,分解为有效分量和噪声分量。其次,针对有效分量,利用Huffman算法进行压缩编码转换;针对噪声分量,利用LZ77算法进行压缩编码转换。实验结果表明:与3种传统压缩编码转换算法相比,该算法分别对Haptics和Phoneme数据集进行压缩的均方根失真度为3.854和3.624,压缩比为53.62%和47.85%,由此说明该算法更能够保证在不失真的前提下,以更快的速度完成数据压缩。

电气试验数据无线传输与自动处理方案设计

电气试验仪器具有保存特定格式试验数据的功能,此类数据文件命名不根据被试验设备改变,其试验数据文本格式不同于总结报告,后期处理试验数据消耗大量人工,降低班组作业效率。文章基于乐鑫ESP-USB方案设计制作了直插电气试验设备的具有无线局域网AP功能的微型无线文件服务器,开发数据处理主机端软件,使数据处理主机端能够作为AC下载微型无线文件服务器中的试验数据文件,并自动整理成总结报告所需格式,提高了电气试验数据的流转效率。

华为WAPI网络在750kV超高压变电站数据无线传输的应用

华为WAPI网络技术凭借其强大的加密认证机制和抗干扰能力,逐渐成为无线数据传输领域的重要解决方案。本文聚焦750kV超高压变电站这一高要求场景,探讨WAPI网络技术在提升数据传输效率、安全性和可靠性方面的实际应用。750kV变电站作为电网系统的核心节点,对数据传输的实时性和安全性提出了严格要求。传统有线传输尽管稳定,但在成本和灵活性方面存在局限;而常见的无线技术受限于电磁干扰和安全漏洞,无法完全满足需求。华为WAPI网络通过优化信号处理与高强度加密,为超高压环境提供了稳定的无线传输方案。本文通过性能评估,验证了WAPI网络在提升变电站数据传输效率和安全性方面的优势,并为电力行业未来的数字化转型提供了启发。

基于传感器数据无线传输的室内突发火灾报警系统设计

智慧楼宇中的突发火灾报警系统存在错报率高和报警间隔长的问题。为此,文章设计了一种基于传感器数据无线传输的室内火灾报警系统。硬件上,文章选用并设计了火灾探测器和报警器,利用多种传感器监测室内温度、湿度和烟雾。软件上,文章通过无线传输传感器数据,采用数据融合技术识别火灾风险并快速报警。实验结果显示,该系统错报率低于1%,报警间隔约为114 ms,能够实现精准实时的火灾报警。

数据无线传输技术在津滨轻轨桥墩托换中的应用

研究目的:在津滨轻轨桥墩托换施工过程中,轻轨列车不能停运,轻轨桥梁也无法加固,采用数据无线传输技术对被托换桥墩墩顶高程等内容进行实时监测,以确保轻轨列车运营安全和施工质量。研究结论:数据无线传输技术在津滨轻轨桥墩托换工程中,监测贯穿施工全过程,信息及时,数据准确,可实现实时数据采集与显示,为各个施工工序的正常进行提供了决策依据。数据无线传输技术比有线传输优势明显,可运用到其它工程施工监测或长期健康监测中。

电力用电信息计量数据无线通信采集系统研究

文章基于无线通信技术的优势,针对电力用电信息计量数据无线通信采集系统展开研究。硬件部分包括系统接收端和发送端,软件部分确定用电信息计量数据指标。精心部署电力用电信息计量数据采集节点,形成覆盖广泛的采集网络。确定电力用电信息计量数据采集约束矩阵,规范和约束采集过程,实现电力用电信息计量数据的高效采集。系统测试结果表明,在长时间运行测试中,无论是待机状态还是工作状态,系统的功耗均呈现出稳定趋势,证明系统具有优秀的功耗稳定性,不会出现功耗异常升高的情况。