基于t-SNE算法的电力设备监测数据动态分析系统

设计基于t-SNE的电力设备数据监测动态分析系统,以解决传统电力设备异常状态监测不足、无法实时预警等问题.系统的硬件部分采用ARM920T作为设备监测电路处理核心,通过视频传感器、压电传感器和电流震荡传感器实现设备状态信号的实时采集与融合,通过zigbee网络完成监测数据的输出控制.通过机器学习算法t-SNE实现了数据降维处理、数据相似性处理与监测数据的t分布处理,实现了异常数据监测与异常状态预警.测试结果表明,系统的准确度达到了90%以上,能耗百分比达到了5%左右,实现了设备状态实时监测、实时预警,具有数据采集精确和运行能耗低等特点.

基于改进t-SNE算法的人体运动数据关键帧提取

针对根据关键帧重建运动序列时重建误差率较高的问题,提出一种基于改进的t-SNE降维算法,提取人体运动数据关键帧。利用t-SNE对原始运动数据进行降维,通过改变t-SNE中函数宽度参数的计算方法,得到稳定的低维特征曲线。提取低维特征曲线的局部最大值、最小值作为初始关键帧,再使用曲线幅度算法提取最终的关键帧序列。实验结果表明,在相同压缩比下,与其他关键帧提取方法相比,该方法具有较低的重建误差率。

基于t-SNE算法的ABPSK信号个体识别

同一通信体系下的ABPSK(aeronautical binary phase shift keying)信号都有着相同的前导码,传统信号识别方法无法通过相同的前导码部分准确地识别出信号源,且常用信号特征属于高维特征,非常容易引发维度灾难。采用前导码相同的ABPSK实际信号采集数据的前导码,使用t-SNE算法对实际采集信号的前导码以及双谱进行降维,并且把降维后信号单一特征输入分类器中,不仅有效地利用了信号数据的流形信息,而且显著提升了基于信号单一特征进行信号个体识别的正确率。

基于t-SNE算法的ICN缓存容量分配机制

针对现有ICN中节点负载不均衡、重要节点缓存利用率低、缓存开销大等问题,面向互联网主干网节点,提出了基于t-SNE算法的ICN缓存容量分配机制.首先,收集网络拓扑信息和流量特征信息并建立高维数据集;然后,通过构造K-近邻表征相似性的方式改进t-SNE算法,对数据集进行降维并对网络节点进行聚类划分;最后,基于聚类结果,将有限的缓存容量合理地分配给不同节点以平衡节点负载.仿真结果表明,本设计的缓存容量分配机制和基准机制相比,在保证路由成功率维持在约95%的前提下,缓存命中率提升了3%~4%,平均缓存开销减少了13.5%~23.4%.

结合PCA的t-SNE算法的并行化实现方法

为了提高大数据环境下高维非线性数据的处理速度和精确度,提出一种结合主成分分析(PCA)的基于t分布的随机近邻嵌入(t-SNE)算法.首先,通过主成分分析法对原始数据进行预处理,去除噪声点;然后,结合t-SNE算法,构建K最邻近(K NN)图,以表示高维空间中数据的相似关系;最后,在Spark平台上进行并行化运算,并在BREAST CANCER,MNIST和CIFAR-10数据集上进行实验.结果表明:文中算法完成了高维数据至低维空间的有效映射,提升了算法的效率和精确度,可应用于大规模高维数据的降维.

基于t-SNE算法的县市工业高质量发展评估研究

从规模效益、创新引领、动能转化、集约发展、融合发展和绿色发展六个方面构建工业高质量发展的评价体系,并以江西100个县市区为例,运用t-SNE算法进行聚类分析。研究发现各地还不能很好地处理好发展与环境的平衡,距离工业高质量发展还存在差距,工业发展方式亟待转变调整。本文最后从规模、竞争力、附加值、产业结构、要素配置五大方面给出县市区高质量发展的对策,推动实体经济稳步提升,打造坚实的产业基础,引领工业迈向高质量发展的新阶段。

基于t-SNE降维算法的区域化探数据中地质体空间分布信息可视化:以英格兰西南部为例

区域化探数据中包含了丰富的地质信息,提取出蕴含在这些数据中的地质体空间分布信息,对于区域地质研究和找矿勘查具有重要意义。区域化探数据通常包括数十个元素,属于高维数据,隐藏在这些高维数据中的地质体空间分布信息无法直接从数据中观察到。针对这个问题,构建了一个基于t分布随机近邻嵌入(t-distributed stochastic neighbor embedding,简称t-SNE)算法的高维区域化探数据降维可视化模型。t-SNE算法是一种非线性降维方法,特别适用于高维数据集的降维和可视化。选择对岩性鉴定比较稳定的元素,通过t-SNE算法将高维化探数据降维到人眼可观察的一、二、三维,把降维之后的变量表达为栅格图,通过三原色混合等方法进行可视化,从而把隐藏在高维化探数据中的地质体空间分布信息可视化表达出来。以英格兰西南部某地区水系沉积物区域化探数据为例进行研究来检验t-SNE算法在高维化探数据可视化上的实际应用效果。结果显示:①通过t-SNE算法对高维化探数据进行可视化得到的结果能够很好地反映研究区的地质体空间分布情况;②可视化的效果与t-SNE算法的目标维度和复杂度两个参数密切相关。在t-SNE算法中设定要降维到的目标维度越高,所显示的地质体信息越详细。③基于t-SNE算法的化探数据降维可视化效果比基于主成分分析(PCA)的化探数据降维可视化效果更好。本文研究表明基于t-SNE算法的化探数据降维可视化方法能够很好地将地质体空间分布信息可视化表达出来,对于推断地质体的空间分布有一定的指导意义。

基于t-SNE降维的密度峰值聚类算法

为了提高密度峰值聚类(DPC)算法处理复杂高维数据的能力,提出了一种基于t-SNE降维的密度峰值聚类算法(t-SNE-DPC)。该算法用t-SNE算法对数据进行预处理,将高维数据点间的关系用概率分布映射到低维空间中,通过最小化相对熵最大化保留数据的本质特征,使用密度峰值聚类算法进行聚类操作。仿真实验结果表明,t-SNE-DPC可以高效地对高维数据进行聚类,在AMI指标上的聚类结果可达0.828。

t-SNE+LDA算法在仿生嗅觉中的应用研究

将流形学习中的t-SNE算法引入仿生嗅觉领域中,提出一种基于t-SNE(t-分布邻域嵌入)与LDA(线性判别分析)算法相结合的气味分类鉴定新方法。由PEN3电子鼻获取物质气味特征信息,通过t-SNE算法将非线性、高维度的气味响应数据降维到低维空间,并利用LDA算法对低维数据进行分类和识别。利用五种不同成分的纺织品材料气味信息,通过t-SNE、PCA+LDA和t-SNE+LDA三种算法做对比实验。实验结果表明,相较于其他两种方法,t-SNE+LDA算法对常见的不同成分纺织品材料拥有更好的分类和识别效果,而且t-SNE+LDA算法得到的结果具有较小的类内离散度和较大的类间离散度。因此,t-SNE+LDA算法是仿生嗅觉中气味分类和识别的一个新方法。

基于t-SNE降维与k-means聚类算法的化工厂节能减排分析

节能减排对于经济社会和谐发展、实现可持续发展具有重大战略意义。为保证化工企业实现节能减排的目标,提出了一种结合t-SNE降维与k-means聚类算法,用于分析海量、高维、多元数据的一种方法。首先通过分析和收集安徽省某化工厂化工产品生产工艺过程中监测的多源数据和生产指标,对数据进行预处理分析;然后利用t-SNE降维算法对上千个变量进行降维可视化分析,随后采用k-means聚类算法分析得到对于实现节能减排目标的重要生产指标。结果表明,复合肥的使用量是影响该化工厂节能减排的关键因素。本研究为基于海量多源大数据的化工厂节能减排治理路径分析提供了新思路。

基于t-SNE降维和KNN算法的波浪传感器故障诊断方法

针对波浪传感器故障诊断困难、故障类型无法识别、诊断耗时长的问题,提出一种基于小波包分解、降维与k-近邻算法(k-nearest neighbor algorithm,KNN)分类网络的波浪传感器故障诊断方法。首先将原始信号进行标准差标准化处理,然后对标准化后的数据进行小波包3层分解,将分解后的第3层8个频带上的数据进行归一化处理,作为提取的特征向量,采用t-SNE降维算法对特征数据进行降维,最后将降维后的特征数据输入到KNN分类网络中进行故障分类检测。实验结果表明,该方法能够提高波浪传感器故障诊断的准确度和诊断速度,对正常状态和6种故障状态的诊断准确率能够达到93.55%。

基于E-t-SNE的混合属性数据降维可视化方法

针对传统的t分布随机近邻嵌入(t-SNE)算法只能处理单一属型数据,不能很好地处理混合属性数据的问题,提出一种扩展的t-SNE降维可视化算法E-t-SNE,用于处理混合属性数据。该方法引入信息熵概念来构建分类属性数据的距离矩阵,采用分类属性数据距离与数值属性数据欧式距离相结合的方式构建混合属性数据距离矩阵,将新的距离矩阵输入t-SNE算法对数据进行降维并在二维空间可视化展示。此外,为验证算法有效性,采用k近邻(kNN)算法对混合数据降维后的效果进行评价。通过在UCI数据集上的实验表明,该方法在处理混合属性数据方面,不仅具有较好的可视化能力,而且能有效地对不同类别的数据进行降维分簇,提升后续分类器的分类准确率。

基于t-SNE的脑网络状态观测矩阵降维方法研究

针对基于功能核磁共振重构的脑网络状态观测矩阵维数过高和无特征的特点,对其降维方法展开研究,给出了基于t-SNE的脑网络状态观测矩阵降维算法,并且利用Python实现了降维及可视化平台。实验结果表明,与目前主流的其他降维算法相比较,使用该方法得到的脑网络状态观测矩阵低维空间的映射点有明显的聚类表现,并且在多个样本上的降维结果显现出一定的规律性,从而证明了该算法的有效性和普适性。

互联网金融空间聚集分析及系统性风险防范——基于t-SNE机器学习模型

互联网金融同传统金融具有不同的空间聚集特征。互联网金融在带来金融开放、门槛降低、效率提升、成本下降的同时,也给互联网金融体系、乃至整个金融系统带来风险新问题。大量研究表明互联网金融在宏观经济冲击、内部脆弱性等影响下,往往具有与以往不同的系统性金融风险特征。本文利用北京大学的31个省和335个地市区域的互联网金融发展指数有关数据,运用t-SNE机器学习模型进行我国互联网金融发展的降维和聚类分析,得到我国互联网金融空间聚集和不同业务模式发展的分布特征,发现在区域发展程度上存在尖峰厚尾,在业务模式上存在不均衡现象。基于此,提出了考虑互联网金融发展区域差异造成的三方面系统性风险,并为防范互联网金融系统性风险提出建议。

基于Wasserstein散度的t-SNE相似性度量方法研究

近红外光谱具有高维、高冗余、非线性的特性,严重影响了样本之间的相似性度量的精准,故而提出了一种基于Wasserstein散度的t分布随机近邻嵌入算法(Wt-SNE)。基于流形学习算法思想,利用高斯分布将高维数据的距离转换为概率分布,使用更加偏重长尾分布的方式t分布表示低维空间中对应数据点的概率分布。将高维数据的概率分布嵌入映射至低维度空间,重构低维流形结构,引入Wasserstein散度度量两个空间内概率分布的差异,通过降低散度值来提高两个分布的相似度,以此来实现高维数据降维处理。为验证Wt-SNE算法的有效性,首先对烟叶近红外光谱数据进行降维投影,并与PCA、 LPP、 t-SNE算法比较,结果表明Wt-SNE算法降维后的数据,在低维空间内样本类别边界更加明显。其次,采用KNN、 SVM和PLS-DA分类器对降维后的数据进行烟叶产地预测,准确率分别为93.8%、 91.5%、 92.7%,表明降维后的数据不仅重构了原始光谱的空间结构而且保留了样本间的相似度关系。最后,选取某一卷烟叶组配方中的烟叶进行单料目标烟叶的替换,根据备选样本与目标样本之间的马氏距离选取替换样本。实验表明,Wt-SNE选取的替换烟叶与目标烟叶相似度最高,烟碱、总糖等化学成分含量与目标烟叶差异较小,香气、烟气、口感得分表现出较高的一致性。该方法能够有效度量烟叶近红外光谱之间的相似性,为卷烟叶组配方的维护提供有力的依据。

Grain-128算法的密码体制识别研究

密码体制识别是进一步开展密码分析的基础,也是区分攻击的一个重要方面。对Grain-128密码体制的识别进行研究,首先提取多种密文特征,随后基于随机森林算法构建密码体制识别分类器,对Grain-128与其他11种密码体制进行两两识别。实验结果表明,基于随机性测试的密文特征识别性能优于现有的密文特征,其平均识别准确率最高可达到81%,与现有密文特征相比,识别准确率提高10%以上。t-SNE算法在保持识别准确率前提下,降低了部分特征的维数,提高了数据效用。

基于t-SNE降维预处理的网络流量异常检测

网络流量中大多数流量都是正常的,但经常会出现偏离正常范围的异常流量,主要由DDOS攻击、渗透攻击等恶意的网络行为引起,这些异常行为通常会导致网络质量下降,甚至网络直接瘫痪。因此引入网络安全态势的预测,在仅知道正常网络流量的情况下判断网络中的异常。异常检测是一种网络安全态势的预测方法,用来判断网络中是否有异常。现有的异常检测算法由于无法准确提取网络数据包的低维特征导致算法的性能不佳,因此,需要找到网络数据包的准确的低维特征表示,该低维特征表示能够区分网络数据包是正常的还是有攻击的。为此,本文引入基于t-SNE降维的NLOF异常检测算法。该算法采用t-SNE算法自动预处理网络数据包以获得低维的网络数据包特征,之后将得到的低维的网络数据包特征作为NLOF算法的输入进行异常检测。其中,本文的NLOF算法首先采用k-means算法将网络数据包聚类成为K个簇,并将网络数据包数量小于N个的簇标记为异常簇,之后将未被标记为异常簇的网络数据包作为LOF算法的输入进行异常检测。在ISCX2012数据集上的实验结果表明,基于t-SNE降维的LOF算法达到最优性能时,准确率为98.46%,精确度为98.38%,检测率为98.54%,FAR为0.66%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.18个百分点、0.02个百分点和0.01个百分点。基于t-SNE降维的NLOF算法达到最优性能时,准确率为98.53%,精确度为98.86%,检测率为98.86%,FAR为0.32%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.25个百分点、0.34个百分点和0.41个百分点。这是异常检测中首次采用t-SNE算法自动提取低维的网络数据包特征。此外,LOF算法仅能捕获异常点,而本文的NLOF算法能够同时捕获异常点和异常簇。

基于特征迁移的光伏功率短期预测

随着国家对可再生能源占比要求的不断提高,新光伏电站的建设需求随之增加。为解决新建光伏电站历史数据不足问题,建立基于特征迁移学习的光伏功率短期预测模型。模型采用日辐照度特征、光伏电池温度和t-SNE算法对气象数据进行特征提取,构建具有泛化能力的高识别度预测模型特征。根据迁移学习理论,将长期运行的光伏电站历史数据用于GRU神经网络预训练,少量本地运行数据对预测模型输出权重进行微调,提升预测精度实现预测模型本地化。

大学生学习风格调查与分析——基于Felder-Silverman及Kolb量表

随着信息技术的发展,自适应学习受到学者越来越多的关注。在自适应学习中尤为重要的便是根据学习者由学习风格等构成的学习者模型为其推送适合的学习资源。该研究中,使用对比研究方法运用Felder-Silverman学习量表部分维度及Kolb学习风格量表组成的新量表对全体大三的数学专业与历史专业的学生进行学习风格测试,然后运用Spss工具、Python中T-sne算法等对数据进行统计研究。结果表明,理科生在学习风格信息加工维度较文科生明显倾向于反思观察思维,且理科生学习风格更加倾向于发散型思维,而文科生则在除聚合型思维的其他三种思维分布较为均匀。

电力设备运行中监测数据库信息分析方法

针对电力设备运行过程中监测数据库管理分析能力落后、监测数据管理欠妥的问题,本文设计了一种新型的监测数据库管理分析系统,并设计出基于ARM Cortex-M0微处理器的硬件监测电路,通过压电传感器和电流振荡传感器实现系统对电力设备运行状态自动信息采集,构建出t-SNE算法模型。实验结果表明,本研究系统的准确度高达98%,运行耗能相对较低(在5%左右),可视化效果较好,动态监测预警能力较强。