基于多特征融合嵌入与DCNN的临床命名实体识别模型研究

针对目前最先进的临床命名实体识别(Cinical Named Entity Recognition,CNER)模型未能充分挖掘文本的全局信息和语义特征,以及未能解决文本中的字符替换等问题,改进了传统的单词嵌入模型,并在此基础上提出了一种结合深度卷积神经网络和双向短时记忆条件随机场(DCNN-BiLSTM-CRF)的临床文本命名实体识别方法。改进的单词嵌入模型融合词根、拼音和字符本身意义,使用了来自Transformers的双向编码器表示,使单词嵌入向量具有汉字和临床文本的特点,该方法通过在临床命名实体识别任务中引入深度卷积神经网络(Deep Convolutional Neural Networks,DCNN),解决了CNN预测时丢失部分信息无法找回的问题。通过使用DCNN,本文模型能够更有效地捕获全局信息、获取字符之间的权重关系和多层次语义特征信息,从而提高了临床命名实体识别的准确性。在数据集CCKS2017和CCKS2018上分别进行实验,实验结果表明,与基准模型相比,该模型F1值分别改善了0.48%,0.68%,0.6%,0.58%,0.04%和1.43%,2.36%,3.31%,1.11%,0.17%。为了进一步验证本文的模型,进行了两种消融实验。结果表明,在两个数据集CCKS2017和CCKS2018上本文模型对比变体模型M1,F1值分别改善了0.79%和0.84%;对比变体模型M2,F1值分别改善了0.53%和0.64%。这些实验结果证明了本文所提算法的可行性。

基于特征嵌入的小样本涡轮叶片缺陷识别研究

航空发动机涡轮叶片的缺陷,影响发动机可靠性与使用寿命,基于计算机视觉与深度学习技术进行叶片缺陷的自动化检测具有重要现实意义。但是,涡轮叶片图像采集环境的高度非结构化、缺陷形式高差异性,为准确的缺陷识别带来困难。针对上述问题,提出了深度特征嵌入先验网络,其核心通过引入缺陷形状先验的特征嵌入层,准确刻画缺陷的形状特征,提高模型在小样本情况下的分类准确率。实验结果表明,所提方法在小样本叶片缺陷识别问题上取得了优越性能。

基于特征融合与嵌入的人脸图像盲修复算法

人脸图像盲修复是从未知退化中恢复出高质量的人脸图像,其不适定性往往会造成修复出的图像出现局部纹理缺失或面部成分不匹配的结果,为此提出基于特征融合与嵌入的人脸图像盲修复算法。通过提取退化输入的面部先验特征,采用多头交叉注意力进行特征交互融合和全局上下文建模,将面部先验嵌入预训练生成网络的潜在空间中,并基于损失函数进行优化,修复因退化而丢失或损坏的局部纹理,实现真实性与忠实度之间的平衡。数值实验在3个真实退化图像数据集上进行,本文方法在客观指标和主观质量上都优于现有方法,最后的消融实验验证了退化人脸图像盲修复算法的有效性。

基于内容风格增强和特征嵌入优化的人脸活体检测方法

针对现有人脸活体检测算法的特征表示不佳,以及在跨数据集上泛化性能较差等问题,提出了一种基于内容风格增强和特征嵌入优化的人脸活体检测方法。首先,使用ResNet-18编码器提取来自多个源域的通用特征,并经过不同注意力机制的两个自适应模块进行分离,增强全局内容特征与局部风格特征表征;其次,基于AdaIN算法将内容特征与风格特征进行有机融合,进一步提升特征表示,并将融合后的特征输入到特定的分类器和域判别器进行对抗训练;最后,采用平均负样本的半难样本三元组挖掘优化特征嵌入,可以兼顾类内聚集和类间排斥,更好地捕捉真实和伪造类别之间的界限。该方法在四个基准数据集CASIA-FASD、REPLAY-ATTACK、MSU-MFSD和OULU-NPU上进行训练测试,分别达到了6.33%、12.05%、8.38%、10.59%的准确率,优于现有算法,表明该方法能够显著提升人脸活体检测模型在跨数据集测试中的泛化性能。

结合多特征嵌入和多网络融合的中文医疗命名实体识别

在医疗领域中,实体识别能够从大规模电子病历文本中提取有价值信息,由于缺乏定位实体边界的特征以及存在语义信息提取不完整等问题,中文的命名实体识别(NER)实现更加困难。该文提出一种针对中文电子病历的结合多特征嵌入和多网络融合的模型(MFE-MNF)。该模型嵌入多粒度特征,即字符、单词、部首和外部知识,扩展字符的特征表示,明确实体边界。将特征向量分别输入到双向长短期记忆神经网络(BiLSTM)和该文构建的自适应图卷积网络等双通路中,全面深入地捕获上下文语义信息和全局语义信息,缓解语义信息提取不完整问题。在CCKS2019和CCKS2020数据集上进行实验验证,结果表明,相比于传统实体识别模型,该文模型能够准确且有效地提取实体。

融合内外部特征水印的模型保护方案

针对经典模型水印技术在保护模型所有权过程中存在鲁棒性差、提取率低等问题,融合白、黑盒水印优势,提出了一种特征嵌入的模型保护方案。按照香农熵大小进行数据集样本划分的策略,将数据集样本划分为良性样本、风格迁移样本、关键密钥样本;利用风格迁移样本集对模型嵌入外部特征,将关键密钥样本标签嵌入模型内部特征;通过训练二元分类器并利用掩码梯度下降方法修改极少量参数让模型产生特定输出来综合判断模型是否被窃取。实验结果表明,所提方案用较小开销保证了水印的高保真度,在标签查询、知识蒸馏等攻击下仍具有较高稳定性,且能规避恶意检测风险。

一种融合运动特征嵌入的多目标分割跟踪算法

针对现有多目标跟踪算法中存在目标运动模糊和相互遮挡的难点,在单阶段和无锚框的实例分割框架下,提出了一种融合运动特征嵌入的多目标分割跟踪算法.首先,提取当前帧与前后两帧光流场中的运动信息对表观特征进行运动补偿,再利用特征金字塔网络融合含有运动信息的多尺度特征,提高了目标检测性能.其次,通过两个用于提升网络预测性能的损失函数的设计和使用,进一步减少了由于检测器失效和目标遮挡而导致的漏检.最后,关联网络提取目标的外观特征,并通过预测并关联的更新轨迹策略将可靠的跟踪结果合并至轨迹.实验结果表明,本文提出的算法在MOTS20训练集上跟踪准确度达到了66.0%,测试集上达到了63.1%,与同类算法相比,本文算法表现出更好的有效性.

研发团队海外嵌入特征、知识搜索与创新绩效——基于浙江高新技术企业的实证研究

在技术、资金引进模式下我国高技术产业收益低,在高技术产品出口竞争中,国内背景企业逐渐落后的现实背景下,构建"高新技术企业研发团队海外嵌入特征、知识搜索与创新绩效"的关系研究模型。通过实证分析,揭示了高新技术企业在研发团队层面,现阶段尚面临整体的"海外嵌入性不足",同时也发现了研发团队通过两种截然不同、但并不对立的海外知识搜索路径,分别实现了对国外先进技术保持紧密联系的跟踪模仿的创新模式,和对国外同类技术保持广泛联系的组合创新和国内市场领先的模式。

基于多特征融合的自监督图像配准算法

为保证提取特征的信息量丰富,当前基于深度学习的图像配准算法通常采用深层卷积神经网络,模型的计算复杂度高,而且还存在相似特征点区分度低的问题。针对上述问题,提出一种基于多特征融合的自监督图像配准算法(SIRA-MFF)。首先,使用浅层卷积神经网络提取图像特征,降低计算复杂度,并且通过在特征提取层添加特征点方向描述符,弥补浅层网络特征信息量单一的问题;其次,在特征提取层后添加用于扩大特征点感受野的嵌入与交互层,融合特征点局部和全局信息以提升相似特征点区分度;最终,最佳匹配方案由改进的特征匹配层计算得到,并同步设计了一种基于交叉熵的损失函数用于模型训练。在ILSVRC2012数据集生成的2个测试集中,SIRA-MFF的平均匹配准确率(AMA)分别为95.18%和93.26%,优于对比算法;在IMC-PT-SparseGM-50测试集中,SIRA-MFF的AMA为89.69%,也优于对比算法,且与ResMtch算法相比,单张图像运算时间降低了49.45%。实验结果表明,SIRAMFF具有较高精度和较强的鲁棒性。

一种基于嵌入式特征选择的垃圾邮件过滤模型

垃圾邮件自身的特点决定了消极学习型的文本分类算法更加适合于垃圾邮件过滤问题.但是,以k-NN为代表的消极型文本分类算法却存在着运行效率偏低等诸多缺点,不便于实际使用.为此,该文在向量余弦相似性公式的基础上,提出了一种新的"嵌入式特征选择垃圾邮件过滤模型"和基于此模型的消极学习型垃圾邮件过滤算法.与一些经典算法相比,新算法在显著降低运算开销的同时,巧妙地避免了由此而引起的信息丢失问题,因而在性能与效率两个方面都有明显提高,具有非常高的实际价值.

融合自注意力特征嵌入的夜间机场跑道异物入侵检测

飞机在夜间起降时机场跑道上侵入的异物严重威胁航空运输安全,而暗光背景下依靠人工步行巡查小尺度异物更易留存致命的安全隐患。将智能视觉检测算法引入机场跑道异物入侵领域,针对现有模型倾向关注局部特征而造成检测精度低等问题,设计了一种融合自注意力特征嵌入的CSPTNet夜间机场跑道异物检测算法。为改善卷积神经网络关注局部特征而忽视全局特征的缺陷,将标准瓶颈模块替换为Transformer瓶颈模块,特征图子块扁平化分割后嵌入位置特征编码,有利于图像从像素表示转化为向量表示,在高维向量空间中捕捉像素间关系。采用多头自注意力机制从注意力分支子空间中获取不同分支聚合的特征信息,从而实现全局特征与局部特征信息的融合。针对数据集目标尺度较小导致轮廓边缘模糊以及定位困难等问题,引入CIoU损失函数以实现预测框尺寸和中心位置的修正优化,提高异物目标轮廓的定位精确性。实验结果表明,本文模型的检测速度达到38 frame/s,满足实时检测的要求;平均精度最高为88.1%,应用融合自注意力特征嵌入的Transformer模块相比于标准瓶颈模块提升5.7%,与当前先进的YOLOv5模型相比提升5.2%,从而验证了CSPTNet算法对夜间机场跑道异物检测的有效性和工程实用性。

一种基于特征嵌入神经网络的中文分词方法

针对传统基于特征的中文分词模型中,参数相对于训练数据过多而难以准确估计特征权值这一问题,提出了一种基于特征嵌入的神经网络方法.嵌入方法将特征转化为低维实值向量,能有效降低特征维度.另外,为了增强模型的性能,给出了一种学习速率线性衰减方法.研究了正则项的方法来增强模型的泛化能力.实验表明:文中提出的模型可以提高中文分词问题的求解效率.

稀疏近似最近特征空间嵌入标签传播

针对现有的基于图的半监督学习(graph-based semi-supervised learning,简称GSSL)方法存在模型参数敏感和数据空间判别信息不充分等问题,受最近特征空间嵌入和数据稀疏表示思想的启发,提出一种稀疏近似最近特征空间嵌入标签传播算法SANFSP(sparse approximated nearest feature space embedding label propagation).SANFSP首先利用特征空间嵌入投影点来稀疏表示原始数据;然后,度量原始数据和稀疏近似最近特征空间嵌入投影间的相似性;进而提出稀疏近似最近特征空间嵌入正则化项;最后,基于传统GSSL方法的标签传播算法,实现数据标签的平滑传播.同时,还将SANFSP算法简单拓展到out-of-sample学习.SANFSP算法在人造和实际数据集(如人脸识别、可视物件识别以及手写数字分类等)上取得了有效的实验结果.

稀疏特征空间嵌入正则化:鲁棒的半监督学习框架

在机器学习领域,半监督学习作为一种有力工具吸引了越来越多的关注,其利用少量带标签数据和大量无标签数据进行有效学习,其中基于图的半监督学习方法因其优雅的数学形式和良好的学习性能而引起更广泛的研究.针对现有基于图的半监督学习方法所存在的模型参数敏感和数据判别信息不充分等问题,提出一种稀疏特征空间嵌入正则化(Sparse Feature Space embedding Regularization,SFSR)半监督学习框架,其主要思想为:首先分别将原始数据嵌入到线性特征空间,然后利用特征空间嵌入投影点集来稀疏重构原始数据,随后在由原始数据线性张成的标签空间通过保留这种稀疏表示关系来构建一个Laplacian正则化项,或称SFSR,最后提出一个鲁棒的基于SFSR的半监督学习框架,在几个实际基准数据库上的综合实验结果证实了所提框架的鲁棒有效性.

融合多特征嵌入与注意力机制的中文电子病历命名实体识别

中文电子病历文本包含大量嵌套实体、句子语法结构复杂、句式偏短.为有效识别其医疗实体,提出一种融合多特征嵌入与注意力机制的命名实体识别算法,在输入表示层融合字符、单词、字形三个粒度的特征,并在双向长短期记忆网络的隐含层引入注意力机制,使算法在捕获特征时更加关注于医疗实体相关的字符,最终实现对中文电子病历中疾病、身体部位、症状、药物、操作五类实体的最优标注.面向开源和自建糖尿病数据集的实验结果中所提算法的实体识别准确率、召回率和F1值都达到97%以上,表明其可以更加有效地识别中文电子病历中各类实体.

基于GRU与特征嵌入的网络入侵检测

当前基于神经网络的入侵检测方法并没有将数据分类信息考虑在内,无法有效利用网络流量数据的时序信息,为此将门控循环单元(gated recurrent unit,GRU)和基于分类信息的特征嵌入技术结合起来,构建了基于GRU与特征嵌入的网络入侵检测模型。利用UNSW-NB15数据集进行模型仿真实验,结果表明该模型提高了对入侵攻击的检测率,为入侵检测中大规模数据的处理提供了一种全新的思路。

多特征嵌入的Seq2Seq风速预测模型

针对由于风速变化因素复杂导致的风速预测模型准确率低的问题,提出一种多特征嵌入的Seq2Seq(序列到序列)风速预测模型。以Seq2Seq为基础,将影响风速的多种因素数据进行多特征嵌入编码,实现对未来若干个小时风速的预测。通过准确率、预测评分和平均绝对误差等指标的实验评价,验证Seq2Seq模型相比当前最优模型达到了更好的预测稳定性,风速多特征嵌入编码方法的加入显著提高了Seq2Seq模型的预测准确性。实验结果验证了该模型的有效性。

融合深度特征提取和注意力机制的跨域推荐模型

为缓解跨域推荐中目标域数据稀疏和冷启动问题,综合增强嵌入、嵌入迁移、注意力机制调整和跨域推荐技术,提出一种融合深度特征提取和注意力机制的跨域推荐模型(cross-domain recommendation model of deep feature extraction and attention mechanism,CRDFEAM).利用潜在因子模型将类型相似度合并到矩阵分解过程,挖掘项目类型的隐性偏好.相比评分这一显性偏好,项目类型能更充分获取用户特征.在跨域迁移时,用分布对齐方式使域间差异最小化,以减少两个领域特征之间的数据分布差异.相对于直接迁移,分布对齐方式具有更强的可解释性.在特征调整过程中,引入多层感知机(multilayer perceptron,MLP)映射,并使用注意力机制进一步调整用户特征,使源域中没有出现过的目标域用户注意到源域用户的特征信息,同时也使源域中出现过的目标域用户注意到目标域中的项目特征信息.在真实数据集Movielens(M)、Netflix(N)和Douban(D)上的实验验证结果表明,引入MLP映射嵌入的CRDFEAM+模型的均方根误差(root mean square error,RMSE)值较基准模型跨域潜在特征映射(cross-domain latent feature mapping,CDLFM)平均提升9.88%,平均绝对误差(mean absolute error,MAE)值平均提升11.14%.研究验证了CRDFEAM+模型的跨域推荐效果,能够更充分地提取用户特征,有效缓解目标域信息不足问题.

基于谱特征嵌入的脑网络状态观测矩阵降维方法

针对基于功能核磁共振(f MRI)重构的脑网络状态观测矩阵维数过高且无特征表现的问题,提出一种基于谱特征嵌入(Spectral Embedding)的降维方法。该方法首先计算样本间相似性度量并构造拉普拉斯矩阵;然后对拉普拉斯矩阵进行特征分解,选取前两个主要的特征向量构建2维特征向量空间以达到数据集由高维向低维映射(降维)的目的。应用该方法对脑网络状态观测矩阵进行降维并可视化在二维空间平面,通过量化类别有效性指标对可视化结果进行评价。实验结果表明,与主成分分析(PCA)、局部线性嵌入(LLE)、等距映射(Isomap)等降维算法相比,使用该方法得到的脑网络状态观测矩阵低维空间的映射点有明显的类别意义表现,且在类别有效性指标上与多维尺度分析(MDS)和t分布随机邻域嵌入(t-SNE)降维算法相比,同一类样本间平均距离Di指数分别降低了87.1%和65.2%,不同类样本间平均距离Do指数分别提高了351.3%和25.5%;在多个样本上的降维可视化结果均有一定的规律性体现,该方法的有效性和普适性得以验证。

基于非线性距离和夹角组合的最近特征空间嵌入方法

最近特征空间嵌入NFSE方法在训练过程中选取最近特征空间时采用传统的欧氏距离度量会导致类内离散度和类间离散度变化同步;测试时,最近邻规则也使用欧氏距离度量,而高维空间样本间直线距离具有趋同性。这些都会降低识别率,为解决此问题,提出了基于非线性距离和夹角组合的最近特征空间嵌入方法。在训练阶段,该方法使用非线性距离度量选取最近特征空间,使类内离散度的变化速度远小于类间离散度的变化速度,从而使转换空间中同类样本距离更小,不同类样本距离更大。在匹配阶段,使用结合夹角度量的最近邻分类器,充分利用样本相似性与样本夹角的关系,更适合高维空间中样本分类。仿真实验表明,基于非线性距离和夹角组合的最近特征空间嵌入方法的性能总体上优于对比算法。