产业化工程型软件工程专业人才培养体系探索与构建

以大数据为引领的电子信息产业迅猛发展,但是现有的人才培养模式并不能完全对接市场需求,人才供需不平衡。为更好地服务区域经济和社会发展,聚焦产业发展,培养适应行业和企业需要的高水平工程应用型人才,与企业深度合作,发挥校企双方各自优势,探索形成六位一体的校企深度融合的产业化、实践型软件工程专业人才培养体系。在此体系下,形成较好的人才培养效果,形成一种可借鉴、可复制的面向本科层次的校企合作人才培养模式。

数字化背景下计算机公共课程教学方法探索

在数字化背景下,我国提出要实施国家教育数字化战略行动,推动新工科等领域的人才培养和对应课程的高质量建设。于是,计算机公共基础课程作为建设“四新”学科的重要支撑,其数字化转型、改革和应用必将得到更多的关注,同时也将面临新的挑战和机遇。该文总结目前的大学计算机公共基础课程教学中存在的问题,并探讨在教育数字化转型背景下对该课程的教学改革思路,重点在于如何通过大数据、人工智能等结合新兴的数字化技术分析学生的学习过程、教师的教学过程及二者的交流过程,促进教师的教学能力及学生对计算机知识的自主学习和综合运用能力,并尝试以数字技术为依托改革课程体系和教学模式,实现计算机公共基础课程教学的数字化转型。

面向机器阅读理解的边界感知方法

针对现有的基于预训练语言模型的答案获取方法存在预测边界不够准确的问题,提出一种面向片段抽取式机器阅读理解(MRC)的边界感知方法。首先,在问题输入阶段引入特殊字符标记问题边界,通过增强问题语义信息的方式实现对问题边界的感知;其次,在答案预测阶段,构建答案边界回归器,实现感知的问题边界语义信息与输出的预测答案边界语义信息的语义交互;最后,通过交互后的语义信息进一步调整存在偏差的预测答案边界,实现对预测答案的校准。实验结果表明,与SpanBERT(Span-based Bidirectional Encoder Representation from Transformers)相比,该方法在公共数据集SQuAD(Stanford Question Answering Dataset)1.1上的F1值提升了0.2个百分点、精确匹配(EM)值提升了0.9个百分点;在HotpotQA(Hotpot Question Answering)数据集上的F1值和EM值都提升了0.7个百分点;在NewsQA(News Question Answering)数据集上的F1值提升了2.8个百分点、EM值提升了3.3个百分点。可见,该方法能有效增强对问题边界信息的感知并且实现对预测答案边界的校准,有利于更好地理解和分析文本数据,在智能问答、智能客服等领域的应用中提高系统的准确性。

面向小样本抽取式问答的多标签语义校准方法

小样本抽取式问答任务旨在利用文章给定的上下文片段,抽取出真实的答案片段。其基线模型采用的方法只针对跨度进行学习,缺乏对全局语义信息的利用,在含有多组不同重复跨度的实例中存在着理解偏差等问题。为了解决上述问题,该文利用不同层级的语义提出了一种面向小样本抽取式问答任务的多标签语义校准方法。采用包含全局语义信息的头标签和基线模型中的特殊字符构成多标签进行语义融合,并利用语义融合门来控制全局信息流的引入,将全局语义信息融合到特殊字符的语义信息中。然后,利用语义筛选门对新融入的全局语义信息和该特殊字符的原有语义信息进行保留与更替,实现对标签偏差语义的校准。在8个小样本抽取式问答数据集中的56组实验结果表明:该方法在评价指标F1值上均明显优于基线模型,证明了所提方法的有效性和先进性。

多尺寸注意力的命名实体识别方法

命名实体识别(NER)任务的准确性将促进自然语言领域中诸多下游任务的研究。由于文本中存在大量嵌套语义,导致命名实体识别困难,成为自然语言处理中的难点。以往研究提取特征尺度单一,边界信息利用不够充分,忽略了不同尺度下的许多细节信息,从而造成实体识别错误或遗漏的情况。针对上述问题,提出一种多尺度注意力的命名实体识别方法(MSA-NER)。首先,利用BERT模型得到包含上下文信息的表示向量,并通过BiLSTM网络加强文本的上下文表示。其次,将表示向量进行枚举拼接形成跨度信息矩阵,并融合方向信息获得更丰富的交互信息。然后,利用多头注意力构建多个子空间,通过二维卷积在每个子空间下可选地聚合不同尺度的文本信息,在每个注意力层同时进行多尺度的特征融合。最后,将融合的矩阵进行跨度分类以识别命名实体。实验表明,该方法在GENIA和ACE2005英文数据集上F1分别达到81.7%和86.8%,与现有主流模型相比有更好的识别效果。

融合限定关系和交互信息的实体关系联合抽取模型

实体关系抽取作为信息抽取领域的核心任务,旨在从非结构化文本中自动抽取所有的关系三元组。现有研究较难处理句子中关系重叠的情况,存在识别冗余和语义依赖不足的问题。鉴于此,该文提出一种融合限定关系和交互信息的实体关系联合抽取模型。该模型首先对句子进行关系预测,构成限定关系集。其次,利用限定关系分别地预测可能存在关系的头实体和尾实体,解决关系重叠问题,同时缓解冗余识别。为了加强句子中实体与关系的交互,利用注意力机制强化句子中关系有关信息,通过双仿射和卷积操作来构建评分矩阵。最后,通过评分矩阵对候选三元组进行校正,确定最终的关系三元组。实验结果表明,该模型在NYT和WebNLG数据集上F1值分别达到92.0%和88.7%,相比于所对比的基线模型F1值分别提高了2.8%和1.0%,验证了模型的有效性。

结合实体边界线索的中文命名实体识别方法

命名实体识别作为信息抽取领域的一个基础任务,能为机器翻译、关系抽取等下游任务提供有效支撑,具有重要的研究意义。针对中文命名实体识别方法中存在的实体边界模糊的问题,提出了一种结合实体边界线索的命名实体识别模型,模型由边界检测、线索生成、实体分类三个模块组成。利用边界检测模块识别实体边界。在线索生成模块中依据边界信息生成实体跨度,得到带边界线索标签的文本序列,使模型通过边界线索标签感知句子中的实体边界,学习实体边界和上下文的语义依赖特征。将带有边界线索标签的文本序列作为实体分类模块的输入,使用双仿射机制增强标签之间的语义交互,并结合双仿射机制与多层感知机的共同预测作为实体识别的结果。该模型在ACE2005中文数据集和Weibo数据集上的F1值分别达到了90.47%和73.54%,验证了模型对中文命名实体识别的有效性。

基于审判逻辑步骤的裁判文书摘要生成方法

面向裁判文书的司法摘要是提升裁判文书分析能力的关键技术。裁判文书作为审判活动的载体,精准地呈现了案件的审判逻辑,但目前针对裁判文书的摘要方法只关注裁判文书的序列化信息,忽视了裁判文书的逻辑结构,且不能有效解决文本过长、信息冗余等问题。提出基于审判逻辑步骤的裁判文书摘要生成方法,采取“抽取+生成”相结合的方式,在抽取部分利用多标签分类方法,依据人民法院审理案件的逻辑步骤抽取出“类型、诉请、事实、结果”四个句子集合,在生成部分由微调后的T5-PEGASUS模型得到摘要。利用基于内部知识的最大相似度匹配算法对“事实”部分的输入文本进行降噪处理,进一步改善了摘要效果。实验结果表明,相比于主流的指针生成网络模型,该方法在ROUGE-1、ROUGE-2和ROUGE-L的F1指标上分别提升了17.99个百分点、21.24个百分点、21.86个百分点,说明在司法摘要任务中引入逻辑结构能够提升性能。

基于掩码提示与门控记忆网络校准的关系抽取方法

针对关系抽取(RE)任务中实体关系语义挖掘困难和预测关系有偏差等问题,提出一种基于掩码提示与门控记忆网络校准(MGMNC)的RE方法。首先,利用提示中的掩码学习实体之间在预训练语言模型(PLM)语义空间中的潜在语义,通过构造掩码注意力权重矩阵,将离散的掩码语义空间相互关联;其次,采用门控校准网络将含有实体和关系语义的掩码表示融入句子的全局语义;再次,将它们作为关系提示校准关系信息,随后将句子表示的最终表示映射至相应的关系类别;最后,通过更好地利用提示中掩码,并结合传统微调方法的学习句子全局语义的优势,充分激发PLM的潜力。实验结果表明,所提方法在SemEval(SemEval-2010 Task 8)数据集的F1值达到91.4%,相较于RELA(Relation Extraction with Label Augmentation)生成式方法提高了1.0个百分点;在SciERC(Entities, Relations, and Coreference for Scientific knowledge graph construction)和CLTC(Chinese Literature Text Corpus)数据集上的F1值分别达到91.0%和82.8%。所提方法在上述3个数据集上均明显优于对比方法,验证了所提方法的有效性。相较于基于生成式的方法,所提方法实现了更优的抽取性能。

融合行为词的罪名预测多任务学习模型

随着人工智能技术在司法领域的应用,依据案情描述预测所属罪名成为一项重要研究内容。案情内容术语专业,描述言简意赅,而现有方法却往往依赖文本特征,忽略了不同案件相关要素的差异性,缺乏对案情行为词要素的有效利用。为了解决此类问题,提出一种融合行为词的罪名预测多任务学习模型。首先,由边界识别器生成行为词跨度,提炼出案情核心内容;其次,通过构建行为词的结构特征预测所属罪名;最后,将行为词识别和罪名预测进行统一建模,通过共享参数的方式增强模型的泛化能力。通过构建行为词识别和罪名预测的多任务数据集进行验证,实验结果表明该模型识别行为词任务的F值达到了83.27%,罪名预测任务的F值达到了84.29%,与BERT-CNN模型相比,分别提高了0.57%和2.61%,验证了该模型对行为词识别和罪名预测的优势。

基于多头指针的司法事件检测方法

针对如何解决中文司法事件检测中触发词与上下文关系不足以判定事件实例、案件触发词表述相似以及同一个案件中多个触发词识别和分类模糊的问题,本研究提出一种基于多头指针的司法事件检测方法。首先,该方法将上下文信息和罪名特征融合作为输入,使用双向长短期记忆(Bi-directional Long Short-Term Memory,BiLSTM)网络捕获数据依赖关系,深入提取特征;然后,使用多头指针网络对字符间的依赖关系进行建模,有效捕捉句子中的触发词;最后,利用指针标注技术抽取触发词,实现司法事件的有效检测。在公开司法数据集LEVEN上实验验证该方法的有效性,其中微平均和宏平均的F1指标达到了87.53%和78.05%,优于现有模型。该方法不仅显著提高了事件触发词的识别精度,而且也增强了对复杂司法文本中事件上下文关系的把握能力。

基于多模态学习的乳腺癌生存预测研究

乳腺癌是最常见的癌症之一,基于患者的基因组学数据进行预后5年生存预测是乳腺癌研究中的常见任务。针对乳腺癌患者基因组学数据中存在嘈杂性、异质性、序列长以及正负样本不平衡等问题,提出基于多模态学习的乳腺癌预后5年生存预测模型MLBSP。利用单模态模块提取基因表达数据、基因突变累积数、单核苷酸变异以及基因拷贝数变异数4种模态数据的有效信息。在此基础上,为了减少单一模态数据异质性对全局特征造成的影响,将深度可分离卷积和多头自注意力机制作为多模态模块架构对数据进行特征融合,捕获患者多模态基因组数据的全局信息,并使用Focal Loss解决正负样本不平衡的问题,以指导预后5年生存预测。实验结果表明,MLBSP模型在乳腺癌患者真实数据集BRCACell、METABRIC、PanCancer Altas上的AUC分别达到91.18%、71.49%、77.37%,与XGBoost、随机森林等主流癌症生存预测方法相比,平均提升了17.69%、6.51%、10.24%。此外,通过通路分析发现一些生物标志物SLC8A3、TP 53等,进一步验证多模态研究的新颖性和有效性。

基于多尺度混合注意力卷积神经网络的关系抽取模型

针对基于卷积神经网络(CNN)的关系抽取获取句子语义信息时缺少不同尺度语义特征信息的获取以及对关键信息的关注的问题,提出基于多尺度混合注意力CNN的关系抽取模型。首先,将关系抽取建模为二维化表示的标签预测;其次,通过多尺度的特征信息提取与融合,获得更细粒度的多尺度空间信息;然后,通过注意力与卷积的结合自适应地细化特征图,使模型关注重要的上下文信息;最后,使用两个预测器共同预测实体对之间的关系标签。实验结果表明,多尺度混合卷积注意力模型能够获取多尺度语义特征信息,而通道注意力和空间注意力通过权重捕捉通道和空间的关键信息,以此来提升关系抽取的性能。所提模型在数据集SemEval(SemEval-2010 task 8)、TACRED(TAC Relation Extraction Dataset)、Re-TACRED(Revised-TACRED)和SciERC(Entities,Relations,and Coreference for Scientific knowledge graph construction)上的F1值分别达到90.32%、70.74%、85.71%和89.66%。

基于跨度解码的嵌套命名实体识别方法

跨度分类是嵌套命名实体识别常用的方法,但由于需要穷举并验证每一个跨度,存在高复杂度和数据不平衡的问题。并且,由于对每个跨度是单独进行预测,忽视了文本序列中存在的实体间的依赖关系。针对跨度分类方法存在的上述问题,提出了一种基于跨度解码的嵌套命名实体识别方法。结合词性特征、字符特征、词特征以及上下文特征对文本进行编码,获取文本丰富的语义信息;识别可能的实体开始位置,在此基础上穷举可能的实体跨度,一定程度地减少潜在的实体跨度;使用基于注意力机制的解码器逐一对每个开始所对应的实体跨度的类型进行预测,解码过程中将已预测的实体信息进行传递,进而捕获和学习实体间的依赖关系。实验结果表明,跨度解码可以有效地改进跨度分类,所提出的方法在公共的英语嵌套实体数据集ACE2005和GENIA上的F1分数分别提高了0.45和0.14个百分点。

Corrective-Net:面向多标签文本分类的标签关联学习模块

在目前的多标签文本分类任务中,主要面临以下2个问题:(1)侧重文本表示学习,对标签之间的关联信息建模不充分;(2)尽管使用了标签关联信息来改善多标签分类任务,但对标签关联的建模过于依赖人工预定义的外部知识,而外部知识的获取成本高昂,限制了其实际应用。针对以上问题,提出了一种面向多标签文本分类的标签关联学习模块Corrective-Net。该模块可以在不依赖外部知识的前提下,自动学习数据中的标签关联信息;同时,它还可以利用标签关联信息,对基础分类模块的初始预测结果进行修正,使得最终预测兼顾语义信息和标签关联信息,以获得更精准的多标签预测结果。在AAPD和SO数据集上的大量实验表明,Corrective-Net具有通用性和有效性,通过分析标签修正对各个标签性能的影响,得到了显式的标签关联信息,并进行了可视化。

一种面向关系抽取的表填充依赖特征学习方法

基于表填充的关系抽取方法利用深度神经网络将句子映射到二维抽象表示,忽略了句子中不同跨度之间的语义结构,很难获取到句子中的长距离语义依赖。针对表填充方法的这一不足之处,提出了一个结合句法依存树的表填充关系抽取模型。该模型通过双仿射将句子映射到二维抽象表示。利用句子的句法依存树初始化语义依赖邻接矩阵,利用邻接矩阵学习二维表示中单词与单词之间的句法依赖特征。使用门控循环单元提取特征对句子的二维表示进行更新,从而在句子二维抽象表示中获取跨度之间的语义依赖关系和句子的结构特征。实验结果表明提出的模型可以有效获取句子中的长距离语义依赖特征,通过学习跨度的语义依赖信息和句子的语法结构特征来提升关系抽取的性能。

面向司法数据的事件抽取方法研究

司法数据中的事件主要用于描述案件中犯罪主体和客体之间行为状态的改变,通过识别司法事件能有效地支撑智能化辅助办案研究。目前,现有事件抽取技术主要通过触发词识别事件,然后根据预定义的模板抽取对应参数。其主要缺点是只能抽取预定义的事件类型,并且抽取的事件不一定是句子语义表达的中心。针对上述问题,提出一种基于谓语中心词的司法事件定义方法,并搭建一个结合字词语义信息的神经网络模型。该模型采用字的Embedding获取字的语义信息,并通过CNN获得词特征信息。将词特征信息结合后,使用Cross-BiLSTM交叉学习字词交互信息在上下文的依赖表示,由CRF计算出每个字的最优标签路径。通过实验表明,该模型在司法数据集上的F1值达到84.41%,超出对比方法4.8%。

基于多层子空间语义融合的深度文本聚类

针对传统深度文本聚类方法仅利用中间层的文本语义表示进行聚类,没有考虑到不同层次的神经网络学习到的不同文本语义表示以及中间层低维表示的特征稠密难以有效区分类簇的问题,提出一种基于多层次子空间语义融合的深度文本聚类(deep document clustering via muti-layer subspace semantic fusion,DCMSF)模型。该模型首先利用深度自编码器提取出文本不同层次的潜在语义表示;其次,设计一种多层子空间语义融合策略将不同层的语义表示非线性映射到不同子空间以得到融合语义,并用其进行聚类。另外,利用子空间聚类的自表示损失设计一种联合损失函数,用于监督模型参数更新。实验结果表明,DCMSF方法在性能上优于当前已有的多种主流深度文本聚类算法。

基于跨度回归的中文事件触发词抽取

在中文事件触发词抽取任务中,基于词的模型会受到分词带来的错误,而基于字符的模型则难以捕获触发词的结构信息和上下文语义信息,为此提出了一种基于跨度回归的触发词抽取方法。该方法考虑到句子中特定长度的字符子序列(跨度)可能构成一个事件触发词,用基于Transformer的双向编码器的预训练语言模型获取句子的特征表示,进而生成触发词候选跨度;然后用一个分类器过滤低置信度的候选跨度,通过回归调整候选跨度的边界来准确定位触发词;最后对调整后的候选跨度进行分类得到抽取结果。在ACE2005中文数据集上的实验结果表明:基于跨度回归的方法对触发词识别任务的F1值为73.20%,对触发词分类任务的F1值为71.60%,优于现有模型;并与仅基于跨度的方法进行对比,验证了对跨度边界进行回归调整可以提高事件触发词检测的准确性。

居民出行异质性与城市活动结构

城市活动结构在居民出行过程中会产生动态变化,发现城市活动结构已经成为城市地理学、交通地理学研究的热点问题,对于城市规划与管理、公交线路调配、流量估计等具有重要意义。传统的城市结构发现方法是从计算机技术发展而来的,通常只考虑区域之间的交互,忽视了区域的属性信息,并且在顾及居民出行异质性方面研究不足。本文基于自编码模型,提出一种顾及居民出行异质性探测城市活动结构的表示学习方法,实现静态属性信息与动态出行信息的融合,并引入多元高斯分布模型,旨在完成从节点表示到社区表示的完整过程,实现更为准确的表示结果;借助地理探测器思想,顾及不同社区之间的居民出行异质性特征。试验发现,本文方法能够较为准确地发现城市活动结构以及居民的出行规律,通过与传统方法的比较,证明该方法在居民出行行为的挖掘上具有独特优势,便于从居民出行的角度重新认识城市活动结构。