基于知识图谱增强的领域多模态实体识别

针对特定领域中文命名实体识别存在的局限性,提出一种利用学科图谱和图像提高实体识别准确率的模型,旨在利用领域图谱和图像提高计算机学科领域短文本中实体识别的准确率。使用基于BERT-BiLSTMAttention的模型提取文本特征,使用ResNet152提取图像特征,并使用分词工具获得句子中的名词实体。通过BERT将名词实体与图谱节点进行特征嵌入,利用余弦相似度查找句子中的分词在学科图谱中最相似的节点,保留到该节点距离为1的邻居节点,生成最佳匹配子图,作为句子的语义补充。使用多层感知机(MLP)将文本、图像和子图3种特征映射到同一空间,并通过独特的门控机制实现文本和图像的细粒度跨模态特征融合。最后,通过交叉注意力机制将多模态特征与子图特征进行融合,输入解码器进行实体标记。在Twitter2015、Twitter2017和自建计算机学科数据集上同基线模型进行实验比较,结果显示,所提方法在领域数据集上的精确率、召回率和F1值分别可达88.56%、87.47%和88.01%,与最优基线模型相比,F1值提高了1.36个百分点,表明利用领域知识图谱能有效提升实体识别效果。

基于交叉特征感知融合的多领域虚假新闻检测

各领域虚假新闻的传播对社会造成了严重的影响,不同领域间新闻的领域偏移问题和跨域关联问题也对模型的预测能力造成了极大的挑战.针对上述问题,本文提出了一种基于交叉特征感知融合的多领域虚假新闻检测方法.该方法可以捕捉不同领域间新闻的多种特征差异,并挖掘新闻之间的关联关系,从多个维度控制模型在不同领域的特征融合策略.此外,本文还提出了一种联合训练框架.本方法的模型使用本框架进行训练,在中英文数据集上的预测F1分数分别达到了92.84%和85.49%,相较于最先进的模型,预测效果分别提升了1.16%和1.07%.

面向科学与技术的交叉领域研究--概念内涵、测度方法

[目的/意义]科学与技术的交叉融合是前沿创新突破的重要生长点。系统性梳理与总结国内外交叉领域的研究成果,旨在为本领域研究提供参考。[方法/过程]基于科学领域内部交叉、技术领域内部交叉、科学—技术领域间交叉3种交叉类型,梳理交叉领域的概念关系及其内涵,立足计量学与内容挖掘视角,细致阐释交叉领域的测度方法。[结果/结论]基于现有研究,提出交叉领域研究的概念关系与测度方法框架,从3个方面总结该领域未来发展方向:基于科技报告、专著、标准、论文、专利等海量、多源、异构数据的交叉研究,综合3种类型交叉的全局分析,基于交叉领域的前沿创新方向探测。

协同、安全的大数据+跨域能力融合架构的设计与应用

为满足行业客户的业务需求,拓宽行业能力融合型应用场景,文中从能力支撑、技术架构、融合应用、安全赋能等方面,构建了大数据+多域能力融合新架构,实现了融合能力服务价值变现。通过打造大数据+多云跨域能力底座,构建“大数据、全网、AI”新能力融合的服务体系,建立了一站式跨域能力服务中心,实现大数据+多域融合能力全流程安全管控,提高跨域融合的协同性、安全性、高效性。

全局-局部注意力引导的红外图像恢复算法

针对真实世界的红外图像恢复算法中存在的图像模糊、纹理失真、参数过大等问题,提出了一种用于真实红外图像的全局-局部注意力引导的超分辨率重建算法。首先,设计了一种跨尺度的全局局部特征融合模块,利用多尺度卷积和Transformer并行融合不同尺度的信息,并通过可学习因子引导全局和局部信息的有效融合。其次,提出了一种新颖的退化算法,即域随机化退化算法,以适应真实红外场景图像的退化域。最后,设计了一种新的混合损失函数,利用权重学习和正则化惩罚来增强网络的恢复能力,同时加快收敛速度。在经典退化图像和真实场景红外图像上的测试结果表明,与现有方法相比,该算法恢复的图像纹理更逼真,边界伪影更少,同时参数总数最多可减少20%。

基于时频感知双路径Conformer的语音增强

近年来,Conformer在语音领域的应用表现较为突出。该模块通过结合多头自注意力机制和卷积神经网络,能够同时关注短时和长时序列信息,从而在语音处理任务中表现出卓越的性能。在此基础上提出了一种基于时频感知双路径Conformer的语音增强网络(TFDPCNet)。首先,该网络将改进的Conformer结构作为核心,采用双路径结构,构成时频感知的双路径Conformer模块(TFDP-Conformer),增强了整体网络的时频提取能力;同时,为了减小时频特征融合的难度,提出了注意力门控交叉融合模块(AGCF),通过额外的注意力门进一步增强了网络训练过程中时频特征的交互,提高了时频特征的利用率;最后,引用度量鉴别器,并对其进行适当剪枝,使得增强后的音频和原始音频在量化评价指标上保持更高的一致性。实验结果表明,相比于TSTNN算法,TFDPCNet在主观和客观指标上都有明显提高。

融合姿态信息和注意力机制的行人重识别研究

针对行人重识别(person re-identification,Re-ID)任务中行人遮挡以及背景信息杂乱不便于提取具有辨识度特征的问题,引入人体关键点模型定位出行人的关键点坐标以便于消除背景信息,根据关键点坐标将图片分割成具有语义信息的区域块。对于骨干网络,为使其提取的特征更加鲁棒,设计一个强化注意力模块(enhanced attention module,EAM),使网络自动分配权重,最终得到更加具有辨识度的特征向量。最后将这些区域块和整体图片送入修改后的注意力机制的神经网络并且联合多个损失一起优化网络。在几个行人重识别数据集试验验证了本研究提出方法优于大多数方法。试验结果还表明该网络针对跨域以及遮挡问题也起到积极作用。

级联跨域特征融合的虚拟试衣

基于图像合成蒙版策略的虚拟试衣技术在扭曲服装和人体融合时能较好地保留服装细节。然而由于在试衣过程中人体和服装的位置和结构难以对齐,试衣结果容易产生严重的遮挡,影响视觉效果。为解决试衣过程中的遮挡问题,提出了一种基于U-Net的生成器。该生成器在U-Net解码器上添加级联的空间和通道注意力模块,从而实现了着装人体的局部特征和扭曲服装的和全局特征的跨域融合。形式上,首先采用卷积网络预测薄板样条插值(TPS)变换的方法将服装根据目标人体姿态进行扭曲;然后,将着装人体解析信息和扭曲服装输入到提出的生成器中,并获取对应服装区域的掩码图像以渲染中间结果;最后,采用掩码合成的策略来通过掩码处理将扭曲服装与中间结果合成得到最终的试衣结果。实验结果表明,所提方法不仅可以减少遮挡,而且增强了图像细节,相较于CP-VTON方法,产生的图像的平均峰值信噪比(PSNR)提高了10.47%,平均FID减小了47.28%,平均结构相似性(SSIM)提高了4.16%。

一种基于跨域融合网络的红外目标检测方法

由于红外图像本身缺乏纹理信息,多数目标检测网络针对红外图像难以达到理想的检测效果,该方法提出了一种跨域融合网络结构,结合多个模态进行红外目标检测。首先,采用无需成对的图像转换网络,对已有的红外数据集进行模态转换,生成伪可见光数据集;然后,提出了红外域和伪可见光域双通道的多尺度特征融合结构,采用特征金字塔网络获取每个模态的特征图,对多尺度特征进行双模态特征融合;最后,为了弥补融合过程中的纹理缺失,提出软权重分配模块,通过拼接参数化后的源域、目标域和融合域特征,自适应分配和优化网络权重,从而提高特征提取与目标检测的精度。与常规方法相比该方法方法具有更好的红外目标检测性能。

跨域推荐中的知识融合研究进展

[目的/意义]跨域推荐通过挖掘、迁移并融合利用不同来源的知识为用户提供个性化的推荐服务,近年来得到学术界和工业界的热点关注,文章从多个角度对跨域推荐中的知识融合研究进展进行梳理和归总。[方法/过程]首先对跨域推荐问题进行了系统地分析,探讨了跨域推荐的“域”、跨域推荐场景和跨域推荐任务中的知识需求;其次对跨域推荐中的知识融合方法进行了分类,总结了基于聚类、基于语义、基于图模型和基于标签关联的跨域知识融合方法的优点和不足;然后分析了知识图谱技术对于跨域知识融合的启发;最后对跨域推荐研究中的知识融合进行了总结和展望。[结果/结论]知识融合作为跨域推荐研究中的重要环节,可以在知识层面实现对数据的深度加工和有效利用,为跨域推荐问题研究与实践提供新的范式。

基于多支路特征融合的行人重识别研究

针对目前行人重识别不能充分利用有效特征信息进行识别的问题,提出了一种基于多支路特征融合的行人重识别模型。首先将3个不同的卷积块分别接出1条支路;然后对每条支路上的特征采用注意力机制、批特征擦除等方法处理;最后将各支路特征进行融合,获得了高细粒度表征能力的特征。训练时,各支路相互监督。在Market1501、DukeMTMC-reID、CUHK03和MSMT17数据集上进行了单域和跨域验证实验,结果表明本文模型具有良好的性能,Rank-1和mAP指标高于大多数主流模型,其中在CUHK03数据集上,Rank-1和mAP分别达到了76.6%和72.8%。

跨域协同:无人系统技术发展和应用新趋势

随着无人系统技术的不断发展,多无人系统之间的跨域协同凭借其诸多优势成为当前无人系统领域研究和应用的热点。首先,阐述了无人系统跨域协同的概念形成与发展历程,并对未来发展趋势进行了展望;其次,系统梳理了国外多无人系统跨域协同技术的研究情况,分别从比赛竞技、项目研发和应用三个角度对美国、欧盟等无人系统跨域协同技术开展分析综述;然后,介绍了无人系统跨域协同的核心问题和技术体系;最后,通过对典型应用案例分析表明跨域协同对实际应用效能有明显提升作用,相关研究为我国未来无人系统跨域协同相关发展提供参考。

跨域特征融合的端-边协同遮挡人脸识别方法

提出了跨域特征融合的端-边协同遮挡人脸识别方法,设计了端-边协作的人脸识别架构,充分利用终端和边缘的计算资源进行遮挡人脸的实时识别。提出了跨域人脸特征融合的方法,通过显式域人脸特征增强与隐式域人脸特征挖掘,进行人脸特征的融合提取。进而,提出时延优化的边缘识别任务调度方法,综合考虑边缘的任务负载、计算能力、带宽及时延容忍约束,动态调度人脸识别任务,在保证识别精度的同时最小化识别时延。实验结果表明,所提方法相比基线方法,在人脸识别任务精度基本持平的同时大幅提高了识别时延方面的性能。

动态迁移实体块信息的跨领域中文实体识别模型

由于中文文本之间没有分隔符,难以识别中文命名实体的边界.此外,在垂直领域中难以获取充足的标记完整的语料,例如医疗领域和金融领域等垂直领域.为解决上述不足,提出一种动态迁移实体块信息的跨领域中文实体识别模型(TES-NER),将跨领域共享的实体块信息(entity span)通过基于门机制(gate mechanism)的动态融合层,从语料充足的通用领域(源领域)动态迁移到垂直领域(目标领域)上的中文命名实体模型,其中,实体块信息用于表示中文命名实体的范围.TES-NER模型首先通过双向长短期记忆神经网络(BiLSTM)和全连接网络(FCN)构建跨领域共享实体块识别模块,用于识别跨领域共享的实体块信息以确定中文命名实体的边界;然后,通过独立的基于字的双向长短期记忆神经网络和条件随机场(BiLSTM-CRF)构建中文命名实体识别模块,用于识别领域指定的中文命名实体;最后构建动态融合层,将实体块识别模块抽取得到的跨领域共享实体块信息通过门机制动态决定迁移到领域指定的命名实体识别模型上的量.设置通用领域(源领域)数据集为标记语料充足的新闻领域数据集(MSRA),垂直领域(目标领域)数据集为混合领域(OntoNotes 5.0)、金融领域(Resume)和医学领域(CCKS 2017)这3个数据集,其中,混合领域数据集(OntoNotes 5.0)是融合了6个不同垂直领域的数据集.实验结果表明,提出的模型在OntoNotes 5.0、Resume和CCKS 2017这3个垂直领域数据集上的F1值相比于双向长短期记忆和条件随机场模型(BiLSTM-CRF)分别高出2.18%、1.68%和0.99%.

基于二级链结构的跨域数据融合溯源框架设计

针对跨域数据融合中数据安全、数据可信和数据溯源问题,提出一种基于二级链结构的跨域数据融合溯源框架,开展面向跨域数据融合的二级链构建、可信接入存储、可信快速溯源等关键技术研究,并基于该框架研制了原型系统,通过设定通用性的三级分域数据融合场景,验证了该框架的可行性、便捷性和轻量化.为大规模数据融合系统的安全监管和全生命周期溯源提供了新的方法和思路,在政府数据共享、城市数据治理、海洋态势观测等场景下具有广泛的应用价值.

包含跨域建模和深度融合网络的手绘草图检索

在手绘草图检索(sketch-based image retrieval,简称SBIR)领域,引入一种手绘草图的新型检索模型.手绘草图与自然图片之间存在巨大的差异性,这是因为,与自然图片相比,手绘草图展现出高度抽象的视觉表达,用现有的方法对手绘草图进行特征提取,其产生的特征描述子对于手绘草图的内容无法进行有效地拟合;对于相同的物体,不同的人群用手绘草图描述方式和表达也存在巨大的差距,这就使得手绘草图-自然图片的匹配更加困难;同时,将手绘草图与自然图片映射到相同视觉域的工作,也是一项具有困难的任务.所以,手绘草图检索技术是公认的比较有挑战性的任务.提出一种将手绘草图与自然图片在多个层次上映射到同一视觉域的策略来解决跨域的问题.同时,引入多层深度融合卷积神经网络(multi-layer deep fusion convolutional neural network)的框架来训练并获得手绘草图和自然彩色图片的多层特征表达.在Flickr15k图像数据库进行检索实验,实验结果显示,多层深度融合卷积网络学习到的特征的检索精度超过了现有的手工特征以及由自然图片或者手绘草图训练出来的卷积神经网络(convolutional neural network,简称CNN)的特征.

基于贝叶斯网的跨领域情感分析方法

基于机器学习的情感分析依赖于充足的标签样本。针对标签样本不足以及情感分类器存在的领域适应性问题,提出一种基于贝叶斯网的跨领域情感分析方法。基于贝叶斯网,对源领域和目标领域构建局部特征模型;研究局部特征模型的融合方法并构建全局特征模型;基于全局特征模型建立情感知识的迁移方法并训练分类器。在Amazon数据集上进行实验,结果表明,该方法在一定程度上提高了目标领域文本的情感分类精度,以及分类器在目标领域中的适应性。

多源跨域数据融合的无线通信网络流量预测

精准地预测无线通信网络流量能够辅助运营商进行精细化运营,更高效地配备与部署基站资源,从而满足大量涌现的各种业务需求。然而,高度复杂的时空依赖性以及多源跨域因素的影响使得无线通信流量的精准预测面临着巨大的挑战。首先,对无线通信流量从时间属性、空间属性、社会属性、以及自然属性进行相关性分析,数据分析表明,无线通信流量具有多源跨域性;其次,基于对无线通信流量多重属性的全面分析,提出了一种改进的密集全连接网络模型MST-DenseNet。该模型利用单个DenseUnit结构的卷积操作捕获无线通信流量的空间相关性,利用多个并列的DenseUnit结构捕获无线通信流量在不同时间尺度上的相关性,同时考虑跨域数据对流量的影响,最终将通信流量自身的时空特征与跨域数据中的社会特征、自然特征高效融合,实现对无线通信流量的精准预测。在实际蜂窝数据集上与现有模型进行预测误差的对比,结果表明MST-DenseNet具有更高的预测精度。

军事领域知识图谱的构建及应用

军事领域知识图谱是链接作战部队、指挥系统、武器平台等各类作战要素的桥梁,是打通各军兵种不同业务领域间信息隔阂的重要手段。现有的知识图谱多为面向通用领域的通用知识图谱,而针对军事特定领域的行业数据并没有成熟的领域知识图谱构建以及表示方法。对此,基于未来信息化、智能化作战领域对军事知识采集、存储、表示、查询等技术的特殊需求及图谱在部队平时及战时的应用场景,初步探讨了军事领域知识图谱当前面临的机遇和挑战,提出了军事领域知识图谱构建及应用技术架构,并对基于本体体系的知识表示、基于机器学习的知识抽取、跨领域知识融合、知识计算、知识应用等知识全生命周期各个环节的关键问题及核心技术进行研究,以满足军事领域对知识的深度、准确性的严格要求。

基于语义融合的域内相似性分组行人重识别

无监督跨域行人重识别旨在使有标签源域数据集上训练的模型适应目标域数据集。然而,基于聚类的无监督跨域行人重识别算法在网络特征学习过程中常因输入行人图片情况各异而产生噪声,从而影响聚类效果。针对这一问题,提出一种基于语义融合的域内相似性分组行人重识别网络,首先在Baseline网络的基础上添加语义融合层,依次从空间和通道2个方面对中间特征图进行相似特征的语义融合,从而提升网络的自适应感知能力。此外,通过充分利用域内相似性细粒度信息,进而提高网络对全局和局部特征的聚类精准度。通过在DukeMTMC-ReID、Market1501和MSMT17这3个公开数据集上进行实验,结果表明,所提算法的均值平均精度(mAP)和Rank识别准确率与近年无监督跨域行人重识别算法相比有显著提升。