自然语言处理研究综述

近年来,自然语言处理因在分析与建模人类语言任务领域取得诸多成果而备受关注。当前,大规模预训练语言模型展现出强大的对话问答和文本生成能力,带来自然语言处理研究的新一轮热潮。自然语言处理在机器翻译、文本摘要、信息抽取等领域应用广泛。文本首先讨论自然语言处理针对语言学四个不同层次文本信息的分析手段,对自然语言处理的基本任务组成进行概述;其次,讨论自然语言处理在具体下游任务中的应用现状,包括自然语言处理在具体任务中的应用历史、当前的研究趋势以及面临的挑战;最后,在大规模预训练语言模型研究对数据集提出更高要求的背景下,对自然语言处理领域已有的数据集及评测基准集等进行讨论。

面向工业互联网的语义编码传输方法及应用

通过将语义通信技术引入工业网络,构建了一个面向工业互联网的语义编码传输系统。系统中设计了语义编解码器以提取信源中的语义信息,相对于传统通信系统,基于语义信息的通信有更高的信息压缩效率与更高的符号差错容忍能力。同时引入信源信道联合编解码器,以信源信道联合编码的方式将语义信息转化为信道符号传输,进一步提升系统对工业网络通信资源的利用效率。所有编解码器均构建在深度神经网络架构Transformer上,确保了编解码器对语义信息的理解能力及系统的泛化能力。在工业药品生产场景中,对该系统进行测试,结果显示:相较于传统通信方案,该语义编码传输系统在图像重建质量和传输处理速度方面均有显著提升。且系统对下游任务的性能影响极小,保证了工业生产中如缺陷检测等关键任务的准确性。

语义三角理论视域下的土木工程专业术语探析

为加深对土木工程专业术语的理解、促进专业知识学习,引入语义三角理论对土木工程专业术语进行了深层次的探析,构建了学习、掌握与发展土木工程专业术语的新路径。具体要点包括:语义三角形中的“外界物体/实物”对于土木工程专业可扩充为广义“所指”、增加考虑隐蔽型效应与假定;“语言/符号”和“概念/词义”的关系有助于更好地理解“义同形不同”术语;“语言/符号”与“物体/实物/效应/假定”的关系有助于推动专业术语的发展与改进,同时促进新术语的不断产生。

复杂越野场景无人履带平台3D语义占据预测方法

为了理解和处理复杂越野场景中环境要素形状不规则、地形多变及路面属性复杂等问题,提出了一种基于多模态融合感知的3D语义占据预测方法.首先,基于图像和激光雷达融合网络获取初始3D语义标签;然后,对越野场景稀疏点云采用贝叶斯稠密化算法补全3D语义占据标签;最后,生成包含复杂环境要素大小、位置和语义信息的3D语义占据栅格地图.试验结果表明,该方法能够有效地提取和表示复杂越野环境中的3D信息,为复杂越野环境下无人履带平台的路径规划提供了更加准确和丰富的先验信息.

基于知识图谱增强的恶意代码分类方法

针对应用程序接口(application programming interface,API)序列识别的恶意代码分类方法存在特征描述能力弱和调用关系缺失的问题,提出一种基于知识图谱增强的恶意代码分类方法。首先,基于函数调用图抽取恶意代码所含的API实体及其调用关系,在此基础上构建恶意代码API知识图谱。其次,使用Word2Vec技术计算携带上下文调用语义的API序列向量,借助TransE技术捕获API知识图谱中的API实体向量,将这两个向量的融合结果作为API特征。最后,将恶意代码所含的API表示为特征矩阵,输入TextCNN进行分类模型训练。在恶意代码家族分类任务中,与基线模型相比,所提方法的准确率有较大提升,达到93.8%,表明知识图谱可以有效增强恶意代码家族分类效果。同时,通过可解释性实验证实了所提方法具有应用价值。

多尺度特征增强的街景绿色景观分割方法

针对街景图像中景观复杂多样且多种景观相互遮挡,绿色景观分割效果存在相似景观错分、边界分割模糊、细节丢失等问题,提出一种多尺度特征增强的城市绿色景观分割网络。在编码部分改进多尺度残差网络提取上下文信息以区分相似景观,同时构建多级特征聚合增强模块增强目标特征的边缘细节信息。增加双注意力机制,在局部特征上建模丰富的上下文联系。最后,将多级特征聚合增强模块同样引入解码器,并融合多层级特征来提高目标信息的恢复能力完善边缘信息。在公共街景数据集Cityscapes与自制数据集StreetData的消融实验表明,该网络与基础网络相比,平均交并比分别提高2.96%和5.57%。此外,在两个数据集上进行对比实验,该网络较对比模型平均交并比分别高1.25%~5.29%和1.52%~6.95%。定量分析与实验结果表明,该方法能够有效识别街景的绿色景观,实现高精度的城市绿色景观数据提取。

基于CNN和Transformer交叉教学的半监督医学图像分割

由于医学图像分割领域缺乏高质量的标注数据,半监督学习方法在医学图像语义分割任务中受到高度重视.为了充分利用卷积神经网络(Convolutional Neural Network,CNN)和Transformer在半监督学习中的优势,本文提出一种基于CNN与Transformer交叉教学的半监督医学图像分割方法.该方法将经典的深度协同训练从一致性正则化简化为交叉教学,利用循环伪标签方案使两个网络的预测差异转换为无监督损失,以鼓励两个网络具有一致的低熵预测.所提方法在ISIC 2018数据集上进行实验,在采用20%的标注比例时,Dice系数和Jaccard系数分别达到87.25%和79.17%,相比于监督U-Net++的训练结果分别提升了2.89%和3.53%,并且优于目前主流的半监督学习方法,验证了所提方法在半监督医学图像分割上的有效性和泛化性.

Semantic Segmentation of Lumbar Vertebrae Using Meijering U-Net(MU-Net)on Spine Magnetic Resonance Images

Lower back pain is one of the most common medical problems in the world and it is experienced by a huge percentage of people everywhere.Due to its ability to produce a detailed view of the soft tissues,including the spinal cord,nerves,intervertebral discs,and vertebrae,Magnetic Resonance Imaging is thought to be the most effective method for imaging the spine.The semantic segmentation of vertebrae plays a major role in the diagnostic process of lumbar diseases.It is difficult to semantically partition the vertebrae in Magnetic Resonance Images from the surrounding variety of tissues,including muscles,ligaments,and intervertebral discs.U-Net is a powerful deep-learning architecture to handle the challenges of medical image analysis tasks and achieves high segmentation accuracy.This work proposes a modified U-Net architecture namely MU-Net,consisting of the Meijering convolutional layer that incorporates the Meijering filter to perform the semantic segmentation of lumbar vertebrae L1 to L5 and sacral vertebra S1.Pseudo-colour mask images were generated and used as ground truth for training the model.The work has been carried out on 1312 images expanded from T1-weighted mid-sagittal MRI images of 515 patients in the Lumbar Spine MRI Dataset publicly available from Mendeley Data.The proposed MU-Net model for the semantic segmentation of the lumbar vertebrae gives better performance with 98.79%of pixel accuracy(PA),98.66%of dice similarity coefficient(DSC),97.36%of Jaccard coefficient,and 92.55%mean Intersection over Union(mean IoU)metrics using the mentioned dataset.

融合语义分割与模糊推理的无人机应急降落选址算法

随着无人机的应用领域从娱乐摄影拓展到物流、军事和灾害响应,对于无人机的自主智能化要求也越来越高。针对无人机紧急情况下自主降落区域复杂难以保证着陆安全的问题,提出了一种实时语义分割网络与模糊推理相结合的降落选址算法(STDC-LSSNet)。考虑到潜在危险因素在航拍图像上占比小、易被错误分割的问题,提出了小目标特征提取模块(small target feature capture module,STFCM),通过计算不同尺度特征的相似性并进行权重分配,强化小目标特征的表达。考虑到安全区域与危险区域边界混淆会导致无人机降落存在巨大风险,提出了边界特征融合模块(boundary feature fusion module,BFFM),将浅层网络由拉普拉斯卷积得到的边界信息与深层网络的语义信息进行特征融合,引入注意力机制,增强边界区域特征的表达。通过对分割得到的图像进行模糊推理,从而精确识别应急降落地点。所提算法在公开数据集Semantic Drone和AeroScapes上与最先进的算法进行了广泛的对比实验,mIoU提升1.72个百分点和3.89个百分点,实时分割速度达到210 FPS,选址的速度达到58.62 ms,实现了无人机在复杂情况下的应急降落选址。

DCaT:面向高分辨率场景的轻量级语义分割模型

语义分割是计算机视觉中分析和理解场景的关键任务,但现有的分割模型需要较高的计算成本和内存需求,不适合高分辨率场景的轻量级语义分割。针对该问题,提出了一种新的面向高分辨率场景的轻量级语义分割模型DCaT。采用深度可分离卷积提取图像的局部语义;使用基于坐标感知和动态稀疏混合注意力的轻量级Transformer获取图像的全局语义;通过模块融合,在低级语义上注入高级语义;通过分割头输出像素预测标签。实验结果表明:与基线模型相比,DCaT在高分辨率数据集Cityscapes上的平均交并比提高了1.5个百分点,模型复杂度降低了26%,推理速度提升了12%。实现了高分辨率场景下模型复杂度与性能之间的更好平衡,证明了DCaT的有效性和实用性。

基于点云语义分割的猕猴桃冠层叶密度测量方法

提出了一种基于LiDAR的猕猴桃果园叶密度测量方法,旨在为猕猴桃果园冠层喷药提供更精确的指导。首先,使用激光雷达扫描10个密度不同的猕猴桃冠层建立点云数据集,利用RandLA-Net神经网络模型并通过6折交叉验证的方法对猕猴桃冠层的树叶、树枝和T型架点云进行语义分割;然后,计算仅包含树叶信息的冠层点云表面积,通过与人工落叶后的实测冠层叶属性(叶面积、叶片数)进行回归分析比较,得到冠层叶点云表面积与真实冠层叶属性的关系;最后,将3 m×3 m的猕猴桃冠层区域划分为400个225 cm^(2)的小网格区域,用以生成冠层叶密度图。结果表明:RandLA-Net网络模型能够有效地对猕猴桃冠层的树枝、树叶与T型架点云进行分割,模型平均总体精度OA达到92%以上,平均交并比mIoU为81.4%,冠层实测叶面积与冠层叶点云表面积的回归分析中获得了较高的相关性R=0.78,回归方程为y=1.491x+8315。对于每个猕猴桃冠层点云数据,通过Alpha-shape算法计算网格区域的冠层体积和预测网格真实叶面积的方法生成冠层叶密度图。所开发的基于点云语义分割的猕猴桃冠层叶密度测量方法,各项指标均符合预期要求,可以为果园冠层喷药提供更精准的指导。

基于混合语义的切片级智能合约重入漏洞检测

针对现有基于深度学习的漏洞检测方法主要集中在源代码的单一表现形式上,无法完全捕获源代码中包含的丰富语义信息和结构信息,以及大多数方法基于函数粒度,检测样本存在大量与漏洞无关的冗余代码导致检测精度下降的问题,聚焦于智能合约最严重的漏洞之一,即重入漏洞,提出一种基于混合语义的切片级智能合约重入漏洞检测方法SCHyVulDect。根据漏洞特征关键字对智能合约进行切片操作,获得合约切片;构建合约切片的代码图,通过图注意力网络(graph attention network,GAT)提取其深层语义信息。并使用双向长短期记忆网络(bidirectional long-short term memory,Bi-LSTM)和注意力机制,提取切片代码的上下文序列特征,将提取的图结构特征和序列特征进行融合,从而进行漏洞检测。实验结果表明,SCHyVulDect检测重入漏洞的精确率、召回率和F1值分别为96.36%、94.45%、91.70%,比现有的基于深度学习的智能合约漏洞检测方法的精确率提高13.03~18.00个百分点,具有较好的检测效果。

从句子图到篇章图——基于抽象语义表示的篇章级共指标注体系研究

篇章级共指关系是语言学和计算语言学的研究难点之一。本文在梳理共指理论研究与趋势的基础上,回顾共指语料库的构建与自动解析方法,指出共指语料的构建主要存在以下两个问题:共指关系的标注较为粗疏,也基本不考虑与句子语义结构本身的关系。本文在句子级语义标注体系(中文抽象语义表示)的基础上,设计篇章共指的标注体系,以“概念同一性”为基本原则,从词形的异同和概念的表述角度区分9种篇章共指关系,标注了500个篇章的共指信息。与已完整标注的52种句内语义关系相结合,构建出带有篇章共指信息的篇章抽象语义图库。该语料库选自CTB新闻语料,体裁涵盖经济、体育及生活类,规模为6237句,16万词例。该语料库的构建为篇章级语义分析提供了新框架与数据资源。

融合注意力机制和多尺度特征的无人机图像分割方法

针对现有无人机遥感图像分割算法普遍存在的未充分利用位置信息、小目标分割不准确等问题,基于DeeplabV3+网络提出融合注意力机制和多尺度特征的无人机遥感图像语义分割方法。首先,在DeeplabV3+网络基础上,用经过预训练的MobileNetV2网络替代原模型中的Xception主干网络,减少模型参数量;其次,在空洞空间金字塔池化结构中加入坐标注意力细化模块以充分利用位置信息来增强深层特征,并通过多尺度特征融合模块处理骨干网络不同层次的信息,帮助模型更好地适应不同尺度的物体;最后,利用双三次插值上采样法替代双线性插值上采样法,便于模型对特征图进行上采样,在训练时用Dice损失和交叉熵损失之和作为模型的损失函数来预防无人机图像存在的类别不平衡问题。实验结果表明:改进后模型在Aeroscapes数据集上的平均交并比、类别平均像素准确率分别为67.23%、76.01%,与原模型相比分别提高了6.89%、6.59%;在WHDLD数据集上的平均交并比、类别平均像素准确率分别为66.09%、78.19%,与原模型相比分别提高了0.88%、2.04%。

双编码端高分辨率遥感影像语义分割算法

遥感影像具有多尺度对象、复杂背景、不均衡类别等特点。基于卷积神经网络(CNN)的语义分割算法难以捕捉到影像的全局特征,导致分割效果不佳。针对以上问题,利用Swin Transformer的全局特征提取能力,提出了双编码端高分辨率遥感影像语义分割算法DEGFNet。设计特征融合模块(FFB)将Swin Transformer捕获的全局特征引入编码端,应对多尺度对象带来的挑战。在Swin Transformer中设计空间交互模块(SIB),降低复杂背景样本带来的负面影响;在解码端引入全局-局部注意力模块(GLTB)和特征细化模块(FRB),来更好地利用编码端提取的信息,提高语义分割的精确性;采用交叉熵损失和Dice Loss组成的混合损失函数训练模型,减轻样本类别不均衡带来的消极影响。在Vaihingen数据集上,宏观平均F1值(mF1)、平均交并比(mIoU)和整体准确率(OA)指标分别达到91.9%、84.8%和92.4%;在LoveDA数据集上,mIoU指标达到55.0%,均展现出了更好的语义分割效果和良好的泛化性。

基于视觉与文本语义增强的多模态命名实体识别方法

为了解决视觉特征和文本特征融合后存在部分语义缺失从而导致视觉信息对文本信息的补充有较大偏差的问题,提出了一种基于视觉与文本语义增强的多模态命名实体识别方法。融合BERT文本特征提取和CLIP(contrastive language–image pre-training)视觉特征提取方法,设计了基于协同交叉注意力机制的特征交互单元,以增强视觉信息和文本信息之间的语义关系。CLIP通过对比学习框架进行预训练,优化模型以正确匹配视觉和对应的文本描述,最大化正样本(匹配的视觉-文本对)的相似性,同时最小化负样本(不匹配的视觉-文本对)的相似性。采用通用领域数据集TWITTER-2015和TWITTER-2017作为实验数据集。实验结果表明,本模型相比传统方法在多模态命名实体识别任务中的准确率、召回率、F1值均有显著提升。

基于门控循环单元的日志异常检测方法

针对现有日志特征提取不充分且存在噪音等问题,提出一种基于门控循环单元(Gate Recurrent Unit,GRU)的日志异常检测方法。该方法使用BERT(Bidirectional Encoder Representations from Transfomers)提取日志的语义特征,然后利用事件逆频率加权对特征进行优化。采用基于注意力和门控循环单元的模型进行日志异常检测,以减少日志噪声对检测结果的影响。在2个真实的数据集上的实验结果表明,该方法在异常检测任务中表现出色,F1值平均达到0.98,与基准方法DeepLog(Deep Log Anomaly Detection)相比,分别提高了3.36%和11.0%。

基于语料库工具Wmatrix对Incoterms和UCP文本特征的研究与比较

本文以语料库自动赋码软件Wmatrix为工具,以Incoterms的三个修订版和整合后的两个UCP修订版为语料,从语义域、词性分布和关键词三个角度探讨了它们的文体特征及异同,结果发现:1)从语义域角度看,两种文本都有将各方的权利和义务明晰化的倾向。但是Incoterms在规定中突出的是对贸易双方的约束;而UCP文本则更强调对买方一方的要求;2)从词性特征看,Incoterms在功能上更偏向于表达型文本的特征;而UCP文本在功能上则更偏向于信息型文本的特征;3)对两份语料关键词分布特征的统计结果,也进一步证实了以上两个结论。

企业数实技术融合与新质生产力发展——来自企业专利信息的经验证据

文章以2013—2023年我国上市企业为研究对象,通过手工整理208万条企业专利信息,借助深度学习算法测算专利文本语义以构建企业数实技术融合指数与新质生产力指标。实证检验发现,企业数实技术融合能够有效促进新质生产力发展,且对创新突破和绿色转型两类新质生产力均有促进作用,两者存在显著的杠杆效应。机制分析表明,数实技术融合通过降低企业生产成本、提高管理能力、抑制研发操纵以推动企业新质生产力发展。异质性分析发现,在大型国有企业和管理层创新意识、数字化思维较强的企业,数实技术融合的赋能效果更明显。经济后果检验显示,数实技术融合对企业新质生产力的赋能作用是实现经济高质量发展的关键路径。

基于语义解析技术的苏州城市意象古今对比研究

城市意象对于城市发展和形象塑造起着关键作用。文章基于语义解析的技术手段,收集古代与现代的文本数据作为主要资料进行苏州城市意象的古今对比研究。通过对苏州古代与现代城市的主要特征和意象进行类簇分析,揭示城市意象的形成原因和影响因素,进一步分析苏州古代城市意象与现代城市意象的差异点,探讨古代城市意象对现代城市的影响和延续,包括城市规划和建筑风格、文化传承、城市形象建设,以及居民生活和社区环境等方面,旨在为未来苏州城市空间发展提供有益参考。