基于CART决策树的分布式数据离群点检测算法

在分布式计算环境中,离群点通常表示数据中的异常情况,例如故障、欺诈、攻击等。通过检测分布式数据的离群点,可以对这些异常数据进行集中处理,保护系统和数据的安全。而进行离群点检测时,不仅要考虑数据的规模和复杂性,还要在分布式环境下高效地发现离群点。因此,提出一种基于CART决策树的分布式数据离群点检测算法。在构建CART决策树时,使用类间中心距离作为分裂准则,根据分离类别对训练数据进行分类,从而确定数据的类型。在上述基础上,考虑到离群点的分布模式与其周围数据对象不同,使用空间局部偏离因子(SLDF)对空间内各个数据对象之间的离群程度展开度量,同时在高维空间内展开网格划分,引入SLDF算法检测剩余离群点集,最终实现分布式数据离群点检测。实验结果表明,所提方法的离散点检测错误率在0.010以内,可以更加精准地实现分布式数据离群点检测,具有良好的检测性能。

非平衡数据流在线主动学习方法

数据流分类是数据流挖掘领域一项重要研究任务,目标是从不断变化的海量数据中捕获变化的类结构.目前,几乎没有框架可以同时处理数据流中常见的多类非平衡、概念漂移、异常点和标记样本成本高昂问题.基于此,提出一种非平衡数据流在线主动学习方法(Online active learning method for imbalanced data stream,OALM-IDS).AdaBoost是一种将多个弱分类器经过迭代生成强分类器的集成分类方法,AdaBoost.M2引入了弱分类器的置信度,此类方法常用于静态数据.定义了基于非平衡比率和自适应遗忘因子的训练样本重要性度量,从而使AdaBoost.M2方法适用于非平衡数据流,提升了非平衡数据流集成分类器的性能.提出了边际阈值矩阵的自适应调整方法,优化了标签请求策略.将概念漂移程度融入模型构建过程中,定义了基于概念漂移指数的自适应遗忘因子,实现了漂移后的模型重构.在6个人工数据流和4个真实数据流上的对比实验表明,提出的非平衡数据流在线主动学习方法的分类性能优于其他5种非平衡数据流学习方法.

基于原型对比学习的开放集识别方法

开放集识别的目标是识别出未知类样本,同时保持对已知类样本的分类能力.现有的判别式开放集识别方法忽视了已知类过度占用特征空间和模型训练过程缺乏未知类信息的问题,导致未知类样本容易被误分类为已知类.为此,提出一种结合原型对比学习的开放集识别方法.引入对比学习和类原型理论,使用编码器和投影网络对开放集识别问题进行建模,设计原型对比损失函数,使用梯度下降法学习模型参数,最小化样本与其对应的类原型之间的距离和最大化样本与其他类原型间的距离,促使样本在特征空间中向类原型靠近,从而缓解已知类过度占用特征空间的问题.此外,设计混合样本对比损失函数,提出样本生成方法OSR-Mix以生成未知类样本,从而在模型训练过程有效地补充未知类信息.在4个公开数据集上的实验结果表明,与主流的开放集识别方法相比,本文提出的方法在AUROC和F1分数上均有明显的优势.

引入激活扩散的类分布关系近邻分类器

针对同质性关系分类器基于一阶Markov假设简化处理的局限性,在类分布关系近邻分类器构建类向量和参考向量时,引入局部图排序激活扩散方法,并结合松弛标注的协作推理方法,通过适当扩大分类时邻居节点的范围增加网络数据中待分类节点的同质性,从而降低分类错误率.对比实验结果表明,该方法扩大了待分类节点的邻域,在网络数据上分类精度较好.

基于IFC标准的机场道面结构信息模型存储与传递方法

为解决机场跑道系统在全生命周期建筑信息模型(BIM)应用中的信息传递和数据交互问题,将工业基础类(IFC)标准在机场跑道系统进行扩展,建立机场道面结构的IFC实体架构,在此基础上创建面向运维应用的刚性道面板实体,并进行几何信息与属性信息的扩展;提出基于IFC的属性信息添加与传递方法,对信息传递过程中的属性信息丢失率进行分析。研究表明:通过建立IFC标准模型,可以实现机场跑道系统的信息传递和数据交互;采用基础模型族扩展法进行机场道面模型传递的属性信息丢失率高达84.21%;采用IFC解析扩展法首次传递可保证信息不丢失,但二次传递信息存在丢失问题;族模型IFC解析扩展法可实现信息首次传递不丢失,二次传递属性信息丢失率低至16.7%,并且采用不同IFC标准版本对模型传递过程中的属性信息丢失率产生较大影响。应用IFC标准进行机场领域扩展具有较高的可行性,所提的信息传递方法可实现机场道面全生命周期信息传递。研究成果可为机场飞行区新IFC实体的扩展提供支持,为机场工程数字化提供技术参考。

基于工业基础类标准的钢结构BIM全数据交互技术

研究了适用于各类钢结构的基于工业基础类标准(IFC)的全数据交互技术,可以导出钢结构模型完整的几何信息与附加属性,使通用建筑BIM软件能够进行模型信息读取并编辑其中的参数化构件;可以将模型全信息导入钢结构主流详图设计软件Tekla进行解析并重生成结构模型,实现模型二次编辑与施工出图。经工程实例验证,该成果应用于钢结构建筑信息模型(BIM)数据交互时信息传递完整、模型转换质量高,避免了钢结构不同设计阶段的重复建模,极大提升了设计效率。

世界一流大学开放科学数据政策体系框架及内容要素研究

[目的/意义]针对世界一流大学制定的开放科学数据政策体系展开调研分析,以期为国内科研机构制定与完善开放科学数据政策体系提出政策建议。[方法/过程]本研究首先调研了世界一流大学制定的开放科学数据政策体系,其次归纳了其开放科学数据政策体系所包含的政策类型及涉及的相关政策法规,然后分析了各个政策类型应涵盖的与开放科学数据相关的政策内容要素,最后针对我国科研机构制定与完善开放科学数据政策体系提出了政策建议。[结果/结论]建议国内科研机构参考与借鉴世界一流大学的先进政策实践,尽快制定涵盖个人数据保护、科研档案管理、科研诚信管理、科研伦理治理、知识产权保护、数据安全管理等相关政策的开放科学数据政策体系,在政策制定层面支持科学数据、原始资料、科研档案的协同管理,以期确保在科学数据全生命周期内遵守近年来持续调整的各类相关政策法规,并关注科研机构与资助机构、出版机构、数据知识库等其他利益相关者制定的开放科学数据政策之间的政策协同问题。

基于批数据过采样的中医临床记录四诊描述抽取方法

中医临床记录四诊描述抽取对中医临床辨证论治的提质增效具有重要的应用价值,然而该任务尚有待探索,类别分布不均衡是该任务面临的关键挑战之一。该文围绕中医临床记录四诊描述抽取任务展开研究,首先构建了中医临床四诊描述抽取语料库;然后基于无标注的中医临床记录微调通用预训练语言模型实现该模型的领域适应;最后利用小规模标注数据,采用批数据过采样算法,完成中医临床记录四诊描述抽取模型的训练。实验结果表明,该文提出的抽取方法的总体性能均优于对比方法,并且与对比方法的最优结果相比,该文方法将少见类别的抽取性能F1值平均提升了2.13%。

非平衡概念漂移数据流主动学习方法

数据流分类研究在开放、动态环境中如何提供更可靠的数据驱动预测模型,关键在于从实时到达且不断变化的数据流中检测并适应概念漂移.目前,为检测概念漂移和更新分类模型,数据流分类方法通常假设所有样本的标签都是已知的,这一假设在真实场景下是不现实的.此外,真实数据流可能表现出较高且不断变化的类不平衡比率,会进一步增加数据流分类任务的复杂性.为此,提出一种非平衡概念漂移数据流主动学习方法 (Active learning method for imbalanced concept drift data stream, ALM-ICDDS).定义基于多预测概率的样本预测确定性度量,提出边缘阈值矩阵的自适应调整方法,使得标签查询策略适用于类别数较多的非平衡数据流;提出基于记忆强度的样本替换策略,将难区分、少数类样本和代表当前数据分布的样本保存在记忆窗口中,提升新基分类器的分类性能;定义基于分类精度的基分类器重要性评价及更新方法,实现漂移后的集成分类器更新.在7个合成数据流和3个真实数据流上的对比实验表明,提出的非平衡概念漂移数据流主动学习方法的分类性能优于6种概念漂移数据流学习方法.

基于领域自适应的变工况轴承故障诊断

针对轴承故障诊断中存在训练样本和测试样本分布不同及各类故障数据不平衡导致故障识别率低的问题,设计了一种基于改进残差网络(ResNet)的领域自适应故障诊断方法。在诊断网络第1层使用多维度卷积结构进行特征提取,得到不同维度的故障特征信息;在领域自适应层采用局部最大平均差异(LMMD)对齐源域和目标域的分布,获取更多细粒度信息;使用类平衡损失函数(CBLoss)解决不平衡数据的训练问题,以Adam优化网络实现故障诊断。实验结果表明,所提方法可在故障样本类别不平衡下有较高的诊断结果。在2个轴承数据集和采集的风力发电机数据上进行实验验证,结果表明,所提方法具有一定的优越性,在数据样本不平衡情况下,诊断性能优于深度神经网络和领域自适应网络等深度迁移学习方法,可作为一种有效的跨工况故障分析方法。

数智时代高职计算机课程混合教学模式研究--以数据分析精品课程建设为例

进入数智时代,大数据、人工智能等前沿技术正深刻改变着高职计算机课程教学模式。以数据分析精品课建设为例,通过分析课程的教学现状与存在问题,依托云班课教学平台,分别在课程设置、课程培养目标、课程内容、教学设计、教学资源、教学团队、考核模式七个方面,开展混合教学模式的探究与实践。旨在善用智慧理念,采取创新思维,实现数据治理,为教师教学创新、学生深度学习、精品课程建设进行赋能。

基于多模型组合的类别不平衡海洋数据质量控制方法

提出一种多模型组合的两层海洋数据质量控制框架,选择了多种常见分类算法作为基学习器对数据质量标签进行初级预测,再经过投票法或堆叠(Stacking)法确定海洋数据质量的标识符;针对类别不平衡问题,结合自适应下采样策略,降低数据的不平衡比率,并结合Focal Loss损失函数,提升模型对难分类样本的识别能力。以来源于国际综合海洋大气数据集的海表温度和气温数据为例进行质量控制验证,结果表明:投票法或堆叠法对极少类的错误样本分类的F1 score(精确率和召回率的加权调和平均值)在海表温度数据上可达到0.980 6和0.981 2,在气温数据上可达到0.998 5和0.998 3。

基于前景理论的软件缺陷预测过采样方法

在软件缺陷预测中,数据困难因子对预测性能的影响比类不平衡更为明显。然而,大多数现有软件缺陷预测过采样方法在解决类不平衡问题过程中,忽视了软件项目数据集固有的数据困难因子,从而导致预测性能不佳。针对上述问题,提出一种基于前景理论的过采样算法(POS)。POS同时考虑局部邻域中同类和异类样本的影响来评估少数类样本的学习难度,通过基于引力的策略构建同类收益和异类损失来刻画样本的前景值,并强调异类损失来计算少数类样本的采样权重,以此降低引入数据困难因子的风险,提高合成样本的质量,进一步提升预测性能。在NASA数据集上的实验结果表明,POS算法在AUC、balance和G-mean等性能指标上均有所提升,具有更好的缺陷预测性能。

基于主从多链的数据分类分级访问控制模型

为解决数据混合存储导致精准查找速度慢、数据未分类分级管理造成安全治理难等问题,构建基于主从多链的数据分类分级访问控制模型,实现数据的分类分级保障与动态安全访问。首先,构建链上链下混合式可信存储模型,以平衡区块链面临的存储瓶颈问题;其次,提出主从多链架构,并设计智能合约,将不同隐私程度的数据自动存储于从链;最后,以基于角色的访问控制为基础,构建基于主从多链与策略分级的访问控制(MCLP-RBAC)机制并给出具体访问控制流程设计。在分级访问控制策略下,所提模型的吞吐量稳定在360 TPS(Transactions Per Second)左右。与BC-BLPM方案相比,发送速率与吞吐量之比达到1∶1,具有一定优越性;与无访问策略相比,内存消耗降低35.29%;与传统单链结构相比,内存消耗平均降低52.03%;与数据全部上链的方案相比,平均存储空间缩小36.32%。实验结果表明,所提模型能有效降低存储负担,实现分级安全访问,具有高扩展性,适用于多分类数据的管理。

语义网赋能建筑信息交付及模型数据模式分析

针对以建筑信息模型(BIM)进行交付的信息共享模式所依赖的工业基础类(IFC)标准行业适用性不足且难以拓展的问题,探讨在IFC基础上引入语义网实现异源数据集成共享,并于语义层面实现信息交付。首先,通过算法解析和模型转化介绍语义化建模方法,并以二层钢框架厂房结构为例对该方法进行说明;然后,通过对转化案例进行数据模式分析,以验证建筑信息交付的准确性和建筑语义的可传递性。案例实践论证基于IfcOWL本体的语义化建模方法的可实施性;通过分析该语义化模型单元实例的数据模式,探究制约该语义化建模方法赋能建筑信息交付的关键因素;针对语义化建模方法所面临的问题,提出冗余信息规避、领域本体开发和轻量化语义建模的初步解决思路。SPARQL查询实例表明,所解析的数据模式对规避冗余信息有效。因此,该方法在共享和集成建筑多源异构信息方面具有优势,能有效提升建筑信息管理的智能化水平。

超声造影在BI–RADS 4类乳腺囊实性病灶中的诊断价值

目的:探讨常规超声(US)与US联合超声造影(CEUS)对超声乳腺影像报告与数据系统(BI–RADS)4类乳腺囊实性病灶的诊断价值。方法:回顾性分析2017年8月至2024年1月收治于深圳市第二人民医院进行US与CEUS且为BI–RADS 4类的乳腺囊实性病灶患者116名,116个病灶。采用盲法分析US与CEUS的静态图片、动态视频,以穿刺活检或手术获得的病理为金标准,比较良性、恶性组临床资料、US与CEUS指标的差异。构建受试者工作特征(ROC)曲线,CEUS后调整BI–RADS分类,比较US与US联合CEUS的诊断效能。结果:116例乳腺病灶中,良性90例,恶性26例。两组乳腺囊实性病灶在年龄、病灶最大径、形态、边界、囊实性成分的分界、钙化、血流、实性成分增强的边缘、实性成分增强后范围是否扩大、实性成分增强范围是否超出基底部、实性成分与瘤壁的夹角、增强后壁和/或分隔是否增厚差异具有统计学意义(P <0.05)。US与US联合CEUS诊断乳腺囊实性病灶的ROC曲线下面积、灵敏度、特异度、准确度分别为(0.682、34.62%、65.56%、58.62%)、(0.898、88.46%、86.67%、87.07%)。CEUS检查后重新调整BI–RADS分类,以BI–RADS 4B类为活检阈值,活检率由100%下降至30.17%。结论:CEUS对鉴别诊断乳腺囊实性病灶的良恶性具有重要价值,能够为临床提供重要的影像学依据。

图像数据增广技术研究

数据是人工智能的基础,数据集的规模与质量在很大程度上影响着模型的训练效果。在深度学习实践中,常常会面临数据样本数量不足、类别分布不均匀等情况,引发模型无法收敛、过拟合、陷入局部最优等问题,无法达到预期训练效果。为解决这一问题,数据增广技术应运而生。论文针对目标检测领域的图像数据增广技术,从传统数据增广技术和基于深度学习的数据增广技术进行归类整理,归纳了数据增广技术的概念及意义,总结了数据集规模预估方法及影响因素,系统分析各类增广技术的实现方法,为研究人员针对不同模式的数据进行增广提供研究思路。

基于动态权重模型的数据不平衡SEI方法

针对辐射源个体识别(SEI)中个体数据分布不平衡导致的识别准确率下降的问题,提出一种基于动态权重模型的SEI方法。通过设计一个动态类权重(DCW)模型,先利用元学习算法使用少量样本数据通过2层计算得到一个适中的权重初始值;再设计一种新的代价敏感损失函数计算预测值与真实值之间的距离,反向调整赋予少数类的学习权重,适度增加对少数类数据的重视程度。对少数类更加友好,对高度不平衡数据的处理有明显优势,缓解多数类样本对整个识别过程的计算误导,提高整体的识别正确率。

基于多核学习的单分类多示例学习算法

将多核学习引入到单分类多示例学习中,提出了一种基于多核学习的单分类多示例支持向量数据描述算法,解决了多核学习方法在实际应用中多示例数据具有比较复杂分布结构的学习问题。本文算法是将多个示例数据通过多个不同的核函数多核映射到特征空间,在特征空间中通过支持向量数据描述算法构建球形分类器。该算法采用迭代优化框架,首先,根据初始化包中的正示例来优化目标函数以此建立分类器。然后,根据上一步得到的分类器再对包中的正示例的标签进行更新。最后,在Corel、VOC 2007和Messidor数据集上的实验结果表明,所提出的算法比单核多示例方法具有更好的性能,进一步验证了算法的可行性和有效性。

基于改进主动生成式过采样的个人信用风险评估研究

针对个人信用风险评估中的样本不均衡和类别重叠问题,提出一种改进的主动生成式过采样模型。首先,在辅助分类器生成对抗网络(ACGAN)框架的基础上引入Wasserstein距离改善真假判别损失函数,加入梯度惩罚以防止模式崩溃;其次,采用Focalloss代替传统交叉熵损失,以增强对困难样本的识别能力;最后,利用所提模型对不平衡数据进行过采样,以提升分类器性能。针对真实信贷数据的实验表明,该模型将分类器的分类性能指标F1、AUC及G-means分别提升11.2%、1.7%、12.8%,在增强样本多样性、减少类别重叠及提升分类器针对非平衡数据集的分类效能方面取得了显著成效。