基于半监督算法的高光谱影像特征提取仿真

高光谱影像包括待测物的空间、光谱和辐射三重信息,且图像信息具有维度高、空间相关性弱、特征非线性强的特点,导致其空间特征序列混乱,特征提取难度大。于是提出基于半监督算法的高光谱影像特征提取方法。应用半监督算法对高光谱图像中的高维数据降维处理,并基于降维结果完成高光谱图像的去模糊。高光谱图像完成降维去模糊后,根据特征学习模型学习高光谱影像数据,获取图像深层特征。在像元空间内对深度特征以及空间信息完成空、谱的联合,实现高光谱影像特征的提取。实验结果表明,所提方法应用下影像特征点在特征空间内聚类效果好,查全率和查准率均能达到95%以上,说明上述方法的应用性能更优。

基于半监督学习代理辅助的混合进化算法

针对目标函数评价昂贵的优化问题,在计算资源有限的情况下很难获得足够数据训练一个准确的全局代理模型,然而,不准确的全局代理模型其潜在优势是可以平滑局部极值点,从而可以引导算法加速找到最优解。另一方面,局部模型虽然不能辅助算法跳出局部最优,但是其相对于全局模型在局部区域具有较好的拟合效果。本文利用这两类模型的优点,针对计算昂贵问题提出了基于半监督学习代理模型的混合进化算法(SSL-SAHA)。在现有算法的基础上,对局部搜索部分进行了改进。利用在全局搜索过程中建立的集成模型选择一些未真实计算的个体,一起用于训练局部模型,从而提高局部RBF模型的估值准确度。实验结果表明,此算法可以有效求解计算昂贵问题。

非独立同分布下联邦半监督学习的数据分享研究

联邦学习作为一种保护本地数据隐私安全的分布式机器学习方法,联合分散的设备共同训练共享模型。通常联邦学习在数据均有标签情况下进行训练,然而现实中无法保证标签数据完全存在,提出联邦半监督学习。在联邦半监督学习中,如何利用无标签数据提升系统性能和如何缓解数据异质性带来的负面影响是两大挑战。针对标签数据仅在服务器场景,基于分享的思想,设计一种可应用在联邦半监督学习系统上的方法Share&Mark,该方法将客户端的分享数据由专家标记后参与联邦训练。同时,为充分利用分享的数据,根据各客户端模型在服务器数据集上的损失值动态调整各客户端模型在联邦聚合时的占比,即ServerLoss聚合算法。综合考虑隐私牺牲、通信开销以及人工标注成本3个方面的因素,对不同分享率下的实验结果进行分析,结果表明,约3%的数据分享比例能平衡各方面因素。此时,采用Share&Mark方法的联邦半监督学习系统FedMatch在CIFAR-10和Fashion-MNIST数据集上训练的模型准确率均可提升8%以上,并具有较优的鲁棒性。

基于Tri-training-SSAE半监督学习算法的电力系统暂态稳定评估

基于机器学习的暂态稳定评估方法主要采用监督学习方法,为了解决监督学习方法所需的有标签样本难以获取的问题,提出基于三体训练-稀疏堆叠自动编码器(Tri-training-SSAE)半监督学习算法的电力系统暂态稳定评估方法。构建基于堆叠稀疏自动编码器的暂态稳定评估模型;在传统的三体训练过程中加入伪标签样本置信度判断,以减小噪声数据对模型训练的影响;以堆叠稀疏自动编码器为基分类器构建三体训练-稀疏堆叠自动编码器模型,利用大量的无标签样本提高模型的泛化能力。通过IEEE 39节点系统与华东某省级电网进行分析验证,结果表明,所提方法在有标签样本数较少时具有更高的评估准确度。

基于半监督学习标签传播-极端随机树算法的光伏阵列故障诊断及定位

对光伏阵列故障进行精确诊断和定位有助于提升光伏发电系统的可靠性。针对现有的诊断方法过度依赖大量有标签样本,难以同时兼顾故障类型诊断、故障定位及低成本等问题,将多传感器法与半监督学习算法相结合,构建了一种融合标签传播算法(label propagation,LP)和极端随机树(extra-trees,ET)的半监督学习算法LP-ET。为克服工程实际故障样本较少且往往缺失故障标签的问题,搭建了光伏阵列故障仿真模型获取样本,引入LP算法,基于少量含故障类型及定位信息的有标签故障样本,实现原始故障样本集全标注;继而引入ET模型,持续构建大量决策树形成极端随机树,采用多数投票机制(Bagging)获得故障类型及定位结果。实验结果表明,所提出的LP-ET模型可以在含有大比例未标注样本数据集情况下实现短路、断路、退化及遮阴故障的较高精度诊断,兼顾单组件及多组件故障,有效解决光伏阵列故障诊断及定位问题。

融合光谱度量标记迁移和Tri-training的高光谱遥感图像半监督分类算法

针对海量的高光谱遥感图像光谱和丰富的空间信息中可用于分类的有标记样本远少于无标记样本的数据特性,提出了一种融合光谱度量标记迁移和Tri-training的高光谱遥感图像半监督光谱-空间分类算法。该算法提出了一种基于光谱度量的标记迁移方法,通过结合迁移标记和Tri-training预测标记进行扩充样本标记预测,提高了扩充样本标记的准确性。同时,该算法基于空间相关性选择扩充样本,综合运用光谱和空间特征提升图像分类的精度。在两个公开的高光谱遥感图像数据集上进行了实验,结果表明该算法优于基于Tri-training算法的高光谱遥感图像的分类性能。

运用区间二型模糊集的半监督模糊聚类算法

将区间二型模糊集引入半监督聚类,提出一种运用区间二型模糊集的半监督聚类算法.该算法以区间二型模糊集为隶属度,将已标识样本的类别标签融入目标函数,使得聚类算法可以在已标识样本类别信息的引导下,得到合理的隶属度.实验表明,相比其他聚类模型,结合半监督机制和区间二型模糊集的聚类算法具有更好的聚类性能.

一种无需手工标注的半监督学习关键词抽取方法

关键词的自动抽取技术是为了满足信息时代人们对特定领域知识快速便捷获取的需求.它也是机器翻译、信息检索、知识图谱构建等应用场景中的关键基础问题和研究热点.监督学习方法的效果是建立在有现成的大量的带有准确标注的高质量的数据集的前提上的,无法在低资源环境下快速运用.本文提出了一种考虑词频、词长以及词大小写特征的无监督算法以及结合了该无监督算法的自扩展迭代的半监督学习关键词抽取方法.半监督学习方法在同样无需手工标注关键词的前提下,相比无监督算法具有更高的F1值.

基于区块链技术的绿色证书核发流程实时半监督自训练算法

由于大型数据库存在绿色证书错误核发的现象,导致数据库安全性降低,机密数据存在丢失的风险。为此,提出一种基于区块链技术的绿色证书核发流程实时半监督自训练算法。从访问者身份信息、权限信息、行为信息以及生物信息等四个方面提取用户身份特征,构建自训练(Self-Training)特征库;以特征库中的特征作为对照,利用区块链技术中的智能合约规则认证身份,判断是否给访问者颁发绿色通行证书;给通过认证的访问者,颁发绿色证书,允许其访问数据库,实现安全访问控制。实验结果表明,算法的数据查询平均准确率较高,平均漏报率和误报率较低,能够准确认证访问者身份,提高了数据库安全性,保证了绿色证书核发的准确性。

基于改进VGG16网络的半监督石刻表层裂缝识别

针对如何快速准确地检测石刻表层裂缝问题,笔者建立一种改进的VGG16网络模型,将原本的3层全连接层改为2层全连接层,增加dropout正则化,并结合使用半监督学习算法,将深度学习应用于石刻表层裂缝的智能识别研究。为了检验改进后模型的性能与准确性,选用Unet、ResNet以及原模型进行比较,使用精确率、召回率和训练时间等对模型进行综合评估。改进后的VGG16网络模型精度达到93.6%,且训练时间较原模型减少了18%,具有轻量化运算的优点,模型可以满足基本的表层裂缝识别需求,且具有较好的鲁棒性。

半监督Relief-F特征选择算法

数据规模的不断增加,使得为数据库中全部样本做标记变得尤为困难,数据集也因此呈现出了明显的弱标记性.为此,针对大规模少数标记数据集的特征选择问题,基于经典的Relief-F算法,通过综合考虑有标记样本与无标记样本对数据样本近邻的影响,重新定义样本近邻的搜索策略,提出了一种面向符号数据的半监督特征选择算法.为进一步分析新算法的有效性,仿真实验中选取了5组UCI数据集,并引入机器学习中3个常用分类器对新算法和对比算法的特征选择结果的分类性能作了分析和比较,实验结果很好地验证了本文中提出的新算法的有效性和可行性.

基于半监督学习和支持向量机的铀矿分选方法研究

为了识别可冶炼铀矿石,提高资源利用率,采用X射线透射技术,并结合半监督学习算法—ITSVM,实现对铀矿的智能分选。同时为进一步优化模型性能,引入了亮暗校正方法以解决图像噪声问题,该方法通过归一化处理,将噪声图片中的每个像素点进行映射,从而提升图像质量。通过改进的直线凹点检测与切割算法和切片方法,攻克了支持向量机对多目标分类任务的难题,该算法通过检测像素点相对于直线的位置和距离,利用约束条件判断凹点,采用最小距离切割方法获得对应的切割线,再通过切片的方法将多目标检测问题转化为多个独立的单一目标检测问题。通过综合这2种优化方法,最终建立了ITSVM铀矿分选模型。通过X射线投射技术收集到的2000张铀矿图片对该模型进行训练测试,并与SVM和TSVM模型进行结果对比。结果表明,经过亮暗校正,模型在检测铀矿的准确性方面提升了2.9个百分点;通过使用改进的直线凹点检测与切割算法和切片方法,使ITSVM模型具备多目标检测功能,模型对多目标铀矿图片检测的准确性达到95.7%;在测试集上,ITSVM模型检测铀矿的准确性达到97.3%。相比于SVM和TSVM,ITSVM在检测铀矿的准确性和持续优化模型方面具有更大优势,实验结果验证了ITSMV模型在铀矿分选领域的可行性。

半监督学习算法下数字化信息归并分类仿真

由于数字化信息具有无限性、高维度以及不平衡等特征,难以准确分类,为此提出基于半监督学习的数字化信息归并分类算法。检测原始数字化信息中的概念漂移数据,滤除噪声数据,降低对后续分类结果精度的影响;利用半监督学习训练K均值聚类算法,利用训练后算法训练数据块,构建基础分类器,通过对目标函数求解获得最优聚类中心;构建基于SDClass算法的归并分类器,计算每个数据块类标签的估计值,以及估计值与簇中心间距离,找出最近的簇,将对应的数据块划分到该簇中,实现数字化信息的归并分类。选取6种不同类型的数据集对所提方法展开实验测试,结果表明,所提方法针对不同类型的数据集均可实现高精准分类,且具有较高的分类效率。

结合特征金字塔网络的半监督AP聚类算法

为使AP算法对图像进行聚类时充分考虑不同尺度的特征及有效利用未标记数据的特征,提出了结合特征金字塔网络的半监督AP聚类算法(Semi-supervised AP clustering Based on Feature Pyramid Networks, FPNSAP)。FPNSAP算法使用改进的特征金字塔网络来获得图像不同尺度的特征图,对不同大小的特征图进行融合,获得图像的高级语义特征,识别不同大小、不同实例的目标;k近邻标记更新策略可以动态增加标记数据集样本数量,充分利用未标记数据的特征,提高AP算法的聚类性能。FPNSAP算法与四个经典算法(FCH、SAP、DCN和DFCM)在Fashion-MNIST、YaleB和CIFAR-10数据集上进行实验对比,结果表明,FPNSAP算法具有较高的聚类性能,同时算法的鲁棒性更好。

基于超像素与半监督的岩石图像分割与识别

岩石薄片图像的分析往往依赖于专业人员在显微镜下观察并给出鉴定结果,不但费时费力,并且受设备影响较大。近些年,针对薄片图像的自动识别方法已经被提出。然而,这些方法大多采用监督学习与深度学习相结合的方式,由于需要大量人工标注而受到限制,为方法的推广与应用带来巨大困难。此外,模型在不同的地层、岩性等目标应用时,由于不同地质环境中岩石的差异性,其泛化性也受到极大限制。本文针对该问题提出了一种简单线性迭代聚类算法(simple linear iterative cluster,SLIC)与半监督自训练结合的方法,仅依靠6%的人工标注便能够实现岩石图像的自动化分割与组分识别,极大地增强岩石图像自动识别方法在实际应用中的价值。该方法首先使用超像素算法SLIC对岩石图像进行预分割,随后基于分割片的颜色特征进行粗合并,并根据最小外接矩形进行切割;切割下来的岩石组分分割图像作为后续处理的基础数据集,这里仅需要人工标注6%的岩石组分数据;随后,这些数据通过一个改进的半监督自训练方法,以改进的VGG16模型作为主模型、ResNet18模型作为评判模型,不断生成高置信度的伪标签,利用迭代优化调整,将其扩展到整个数据集,最终获得一个具有较高的稳定性、准确性及一致性的组分识别模型。实际数据的测试与分析表明,本文所提出SLIC和半监督自训练结合的方法,对6类岩石组分的识别准确率可达到96%。该方法能够在数据差异不大的条件下,帮助用户基本实现自动化的组分识别。而当数据集产生较大差异时,仅需标注小部分样品即可实现自动组分识别。本方法具有较高的泛化性和可靠性,能够在实际应用提供足够的准确性与便利性。

基于自训练EM算法的半监督文本分类

为了提高计算效率,提出基于自训练的改进EM算法STEM。在每步迭代的E-step中,将中间分类器最有把握对其类别进行预测的未标注样本转移至标注样本集,并应用到M-step中进行下一个中间分类器的训练,从而引入了利用中间结果的自训练机制。文本分类实验表明STEM算法在大部分情况下的分类准确性都高于EM,并通过减少迭代提高了分类器学习的计算效率。

一种增强差异性的半监督协同分类算法

半监督学习中的Tr-i Training算法打破了以往算法对充分冗余视图的限制,并通过利用三个分类器处理标记置信度和样本预测问题提高了标记效率.为进一步增强协同训练过程中分类器之间的差异性以提高性能,本文在其理论基础上提出了一种增强差异性的半监督协同分类算法.该算法利用三个不同的分类器进行学习;考虑到分类模型在更新过程中,可能会因随机抽样导致性能恶化,该算法利用基于标记类别的分层抽样法来对已标记样本集进行抽样,并通过基于分类正确率的加权投票法实现了分类器的集成,提高了预测准确率.本文通过实验对所提出算法与Tr-i Training算法做了性能比较,实验结果表明本文所提出的方法在分类问题上具有较好的性能,验证了该算法的有效性和可行性.

一种用于图像检索的新型半监督学习算法

基于支持向量机的理论提出了一种用于图像检索的半监督学习算法。该算法的基本思想是,如果两点彼此是最近点,则它们共用一个标注。因此,该算法可以在具有最大类间空隙和很好保留位置特征的基础上找到一个投影。对该算法和标准支持向量机及转导(transductive)支持向量机的图像检索效果进行了实验比较,结果表明该算法可以获得更好的效果。

一种半监督K均值多关系数据聚类算法

提出了一种半监督K均值多关系数据聚类算法.该算法在K均值聚类算法的基础上扩展了其初始类簇的选择方法和对象相似性度量方法,以用于多关系数据的半监督学习.为了获取高性能,该算法在聚类过程中充分利用了标记数据、对象属性及各种关系信息.多关系数据库Movie上的实验结果验证了该算法的有效性.

基于约束动态更新的半监督层次聚类算法

提出了一种基于约束动态更新的半监督层次聚类算法.与现存的半监督层次聚类算法类似,该算法也使用了必连和不连约束.但不同的是,该算法并不是在对满足必连约束的数据样本点进行预先划分的基础上依据不连约束进行聚合操作,而是首先将约束扩展为一个闭包,然后在这此基础上直接依据不连约束进行聚合操作,并在聚合的过程中依据聚类结果动态地更新必连和不连约束,以保证最终的聚类结果同时满足必连和不连约束.该算法的优势在于省略了对必连约束的数据样本点进行预先划分的步骤,这一改进能够保证数据样本点获得更为合理的聚合顺序,从而得到更为准确的聚类结果.本文具体给出了该算法基于Ward层次聚类算法的实现,提出了C-Ward算法.实验表明,与其他同类算法相比,无论是在人工模拟数据集还是在现实数据集上,本文提出的算法都表现出了更高的准确性和更强的稳定性.