基于渐进机器学习的中文问句匹配方法

问句匹配旨在判断不同问句的意图是否相近.近年来,随着大型预训练语言模型的发展,利用其挖掘问句对在语义层面隐含的匹配信息,取得了目前为止最好的性能.然而,由于基于独立同分布假设,在真实场景中,这些深度学习模型的性能仍然受制于训练数据的充足程度和目标数据与训练数据之间的分布漂移.本文提出一种基于渐进机器学习的中文问句匹配方法.该方法基于渐进机器学习框架,从不同角度提取问句特征,构建融合各类特征信息的因子图,然后通过迭代的因子推理实现从易到难的渐进学习.在特征建模中,设计并实现了两种类型特征的提取:(1)基于TF-IDF(Term frequency-inverse document frequency)的关键词特征;(2)基于DNN(Deep neural network)的深度语义特征.最后,通过通用的基准中文数据集LCQMC和BQ corpus验证了所提方法的有效性.实验表明,相比于单纯的深度学习模型,基于渐进机器学习的方法可以有效提升问句匹配的准确率,且其性能优势随着标签训练数据的减少而增大.

基于迁移学习的棉/毛纤维自动识别方法

针对纺织品废料中织物纤维手工分类存在效率低、主观性强等问题,提出了一种小样本条件下纺织品废料中棉/毛纤维的自动识别方法。首先使用扫描电子显微镜,对已有的棉/毛纤维进行拍照,形成小样本棉/毛纤维图像集;然后分别加载4种经ImageNet数据集训练过的模型进行迁移学习,保留或部分微调模型的网络参数,并基于小样本图像集进行训练和验证,生成棉/毛纤维的分类模型;最后基于准确率、精确率和召回率评价指标,对各种分类模型进行对比测试,选出最优分类模型,实现棉/毛纤维的自动识别。经过实验发现ResNetXt50模型在模型训练过程中取得了最高的精确率,其值为97.33%。对测试集进行测试,结果显示通过微调后的4种分类模型中,ResNet50和ResNetXt50的测试准确率可达99.537%,验证了方法的有效性。

乳腺钼靶肿块自监督预训练迁移检测方法研究

借助深度学习技术在乳腺钼靶领域辅助医生进行乳腺癌诊断在当下已经成为很多研究关注的热点,诊断技术主要包括良恶性分类、病灶区域检测以及病灶区域分割等。由于深度学习训练的模型性能很大程度上依赖于大量的带有标注的数据,而医学图像数据集往往存在数据量少、标注成本昂贵以及公开数据集标注质量差等现象,所以在医学图像领域应用深度学习技术具有重重困难。为使基于深度学习的乳腺钼靶计算机辅助诊断技术的开发不受限于大量有标注的数据,提出一种适用于钼靶自监督目标检测方法来完成乳腺钼靶肿块检测任务,利用大量来自肿瘤医院的数据预训练,并在公开数据集DDSM上进行微调与测试。实验结果表明,提出模型在乳腺钼靶肿块检测任务中表现优异,并且不依赖于位置标签,具有重要的研究价值与应用前景。

基于连续提示注入与指针网络的农业病害命名实体识别

针对农业病害领域命名实体识别过程中存在的预训练语言模型利用不充分、外部知识注入利用率低、嵌套命名实体识别率低的问题,本文提出基于连续提示注入和指针网络的命名实体识别模型CP-MRC(Continuous prompts for machine reading comprehension)。该模型引入BERT(Bidirectional encoder representation from transformers)预训练模型,通过冻结BERT模型原有参数,保留其在预训练阶段获取到的文本表征能力;为了增强模型对领域数据的适用性,在每层Transformer中插入连续可训练提示向量;为提高嵌套命名实体识别的准确性,采用指针网络抽取实体序列。在自建农业病害数据集上开展了对比实验,该数据集包含2933条文本语料,8个实体类型,共10414个实体。实验结果显示,CP-MRC模型的精确率、召回率、F1值达到83.55%、81.4%、82.4%,优于其他模型;在病原、作物两类嵌套实体的识别率较其他模型F1值提升3个百分点和13个百分点,嵌套实体识别率明显提升。本文提出的模型仅采用少量可训练参数仍然具备良好识别性能,为较大规模预训练模型在信息抽取任务上的应用提供了思路。

基于特征重建的无监督木材图像异常检测

为有效解决目前木材图像异常边缘区域检测精度不高的问题,提出一种基于特征重建的无监督异常检测模型FRNet。设计多层级特征提取器为图像子区域生成多个空间上下文特征表示;多尺度特征生成器将多层特征融合为一幅具有多尺度特征表达的特征图;设计具有跳跃连接的卷积自编码器,通过补充下采样时丢失的细节信息重建特征图,根据重建误差定位异常区域。在构建的木材异常数据集上进行实验,其结果表明,FRNet取得了最好的异常检测性能。

人工智能大模型发展带来的风险挑战和对策

近年来,以预训练大模型为代表的人工智能技术能力快速提升,也加速推动人工智能技术与科技、经济、社会发展深度融合,成为新一轮科技革命和产业变革的重要驱动力量。作为一项新兴技术,人工智能的“双刃剑”效应使得技术在快速进步和应用的同时,也引发了全球对其可能带来各类风险挑战的担忧。特别是随着大模型技术的突破,人工智能可能带来的风险挑战发生了一些新的变化。因此,需要在充分把握人工智能技术发展规律的基础上,从政策法规、技术能力、标准规范等多个方面采取针对性的治理之策,深化全球协作,共同应对风险挑战。

基于提示学习的篇章级事件论元抽取方法研究

事件论元抽取是指在自然语言文本中识别出事件论元及其对应的角色,是事件抽取的关键。传统事件论元抽取方法将抽取范围局限在单个句子中,在面对长文本中论元分散的情况时表现不佳。近年来,有研究者提出基于提示学习的篇章级事件论元抽取方法,能根据提示信息在输入文本中获取事件论元,实现事件论元抽取。然而现有基于提示学习的方法大多是由人工手动构建提示模板,模板结构固定容易导致论元抽取错误。针对以上不足,该文在以往基于提示学习研究的基础上,提出以文本触发词为关键实现模板自动构建的方法,并在输入文本中融入事件角色语义信息,使模型能更好地捕获文本语义特征,提高事件论元抽取准确率。在篇章级数据集RAMS上的实验结果表明,该模型在事件论元识别和事件论元分类的F1值分别达到54.3%和48.1%,相比最优的基准方法分别提升了1.8百分点和1.2百分点,验证了模型的有效性。

基于KMeans-EDA算法的非均衡评论情感分类研究

学习者真实的评价是反映在线课程优缺点的重要指标,快速准确地获得其反馈,对于在线课程的优化极为重要。为深入挖掘学习者的在线学习行为,继而为在线教学提供有效的数据基础,爬取了中国大学MOOC平台的课程评论文本,基于Bert模型的结构,建立了基于自注意力文本表征的机器学习模型,能够实现对评论文本的精确情感分类,从而获得学习者内隐的情感状态。由于爬取数据中负面评论较少,故设计了KMeans-EDA自适应均衡采样训练策略,解决了训练过程中模型偏向多数类的问题,提升了模型对负面评论的识别能力。实验结果表明,该策略可以将模型对评论文本的F1-score值从0.6902提升到0.7399。

提示学习驱动的新闻舆情风险识别方法研究

从新闻报道中识别企业的风险可以快速定位企业所涉及的风险类别,从而帮助企业及时地做出应对措施。一般而言,新闻舆情风险识别是一种风险标签的多分类任务。以BERT为代表的深度学习方法采用预训练+微调的模式在文本分类任务当中表现突出。然而新闻舆情领域标记数据偏少,构成了小样本的机器学习问题。以提示学习为代表的新范式为小样本分类性能的提升提供了一种新的途径和手段,现有的研究表明该范式在很多任务上优于预训练+微调的方式。受现有研究工作的启发,提出了基于提示学习的新闻舆情风险识别方法,在BERT预训练模型基础之上根据提示学习的思想设计新闻舆情风险提示模板,通过MLM(masked language model)模型训练之后,将预测出来的标签通过答案工程映射到已有的风险标签。实验结果表明在新闻舆情数据集的不同数量小样本上,提示学习的训练方法均优于微调的训练方法。

基于深度学习的自然语言处理鲁棒性研究综述

近年来,基于深度神经网络的模型在几乎所有自然语言处理任务上都取得了非常好的效果,在很多任务上甚至超越了人类.展现了极强能力的大规模语言模型也为自然语言处理模型的发展与落地提供了新的机遇和方向.然而,这些在基准测试集合上取得很好结果的模型在实际应用中的效果却经常大打折扣.近期的一些研究还发现,在测试数据上替换一个相似词语、增加一个标点符号,甚至只是修改一个字母都可能使得这些模型的预测结果发生改变,效果大幅度下降.即使是大型语言模型,也会因输入中的微小扰动而改变其预测结果.什么原因导致了这种现象的发生?深度神经网络模型真的如此脆弱吗?如何才能避免这种问题的出现?这些问题近年来受到了越来越多的关注,诸多有影响力的工作都不约而同地从不同方面讨论了自然语言处理的鲁棒性问题.在本文中,我们从自然语言处理任务的典型范式出发,从数据构建、模型表示、对抗攻防以及评估评价等四个方面对自然语言处理鲁棒性相关研究进行了总结和归纳,并对最新进展进行了介绍,最后探讨了未来的可能研究方向以及我们对自然语言处理鲁棒性问题的一些思考.

发展基于“语义检测”的低参数量、多模态预训练电池通用人工智能模型

ChatGPT的出现意味着一种以“预训练+微调”为主的新科研范式诞生,以OpenAI为代表的企业正朝着训练通用人工智能(AGI)模型的路线前进,AGI意味着人工智能具备超越人类智力并解决通用性问题的能力,其是为了解决通用问题并具有强大的自学能力来促进人类社会发展。然而OpenAI等模型仍然是以文本为主结合图像等作为输入,对于电池体系来说,文本信息是少数的,更多的是温度、电压-电流曲线等的多模态数据,其所关注的结果包括电池荷电态、电池健康度、剩余寿命和是否出现电池性能跳水的拐点,甚至包括无数据情况下电池二次(梯度)利用的健康度评估。这意味着ChatGPT的路线虽然也可能解决电池体系的问题,但是以文本为主的样式或许有些“杀鸡用牛刀”,即使未来OpenAI的AGI可能解决当前电池存在的问题,但是在模型参数和输入方面与电池本质不符会使得模型参数量巨大而不适合电池离线端评估。对于电池体系的AGI,应该有自己独特的“文本语言”即理解电池运行过程中所发生的一切物理、化学过程以及其之间的关联,从而实现通用性并为后续全固态电池量产上车做铺垫。本文展望了在电池体系发展AGI过程中应该重新设计模型架构,特别在特征表示、数据结构设计、预训练方法、预训练过程设计和实际任务微调等需要重新设计。此外,相较于运行在服务器端的大模型,发展低参数量特别是离线的模型对于实时预测和基于我国国情及国际形势发展是十分必要的。本文主要讨论了发展基于“语义检测”的低参数量、多模态预训练电池通用人工智能模型所需要经历的几个阶段、可能面临的困难和评价指标,同时给出中国科学院物理研究所(以下简称物理所)在电池大模型在预训练、微调和测评三个方面“三步走”计划中的规划和可能线路。

面向借贷案件的相似案例匹配模型

相似案例匹配任务是文本匹配在司法领域的具体应用之一,目的在于区分法律文书是否相似,对类案检索具有重要意义。与传统文本匹配任务相比,法律文本通常篇幅较长,同时相似案例匹配是针对相同案由案件的匹配,案情文本之间的差异较小,以往的文本匹配方法很难计算文本相似度。针对借贷案件文本匹配存在的问题,建立一种融合借贷案件关键要素的相似案例匹配模型。为了获取文本中更丰富的语义特征,构建正则表达式获得借贷案件的特定案件要素,如借款交付形式、借款人基本属性等,并与原有的案情文本相结合,联合学习法律文本与案件关键要素的语义特征。同时,利用共享权重的预训练模型分别对不同的文书进行编码,并且对预训练模型特定编码层的输出进行融合,得到更加丰富的语义信息。引入有监督对比学习框架,更好地利用样本信息,进一步提高相似案例匹配的性能。在CAIL2019-SCM数据集上的实验结果表明,与LFESM模型相比,该模型在测试集上的准确率提高了1.05个百分点。

基于迁移学习的滚动轴承剩余使用寿命预测

为解决轴承剩余使用寿命预测模型预测泛化能力低,不能准确预测出未训练轴承剩余使用寿命的问题,本文提出了一种迁移轴承状态知识的剩余使用寿命的方法。利用计算时域、频域特征以及模糊熵作为预测特征,使用“3σ”准则将轴承全寿命过程划分为正常阶段、退化阶段,以实现对退化阶段轴承剩余使用寿命的预测。构建基于门控循环单元的轴承剩余使用寿命预测模型,并使用某一轴承的全寿命周期数据进行训练,使模型学习到新轴承的状态信息。研究表明:相较于未使用迁移学习的方法,其预测所有轴承的轴承剩余使用寿命平均均方根误差减小了52.53%,平均百分比误差减少了68.87%。本文提出的方法可以有效、准确地预测出轴承的轴承剩余使用寿命。

多模态知识图谱融合技术研究综述

多模态知识图谱融合了视觉、文本等多种模态信息,并以图的形式展现知识结构。随着人工智能的发展,多模态知识图谱在推荐系统、智能问答和知识搜索等领域发挥了重要作用。与传统知识图谱相比,多模态知识图谱可以多维度理解和展现知识,有更好的表示和应用能力。为了深入研究多模态知识图谱,对多模态知识图谱价值及类别进行了详细的分析与阐述,根据多模态知识图谱构建中融合方法的不同,从多源异构数据文本转换、表示学习、实体对齐、特征抽取方面进行对比和总结,重点对跨模态知识图谱融合技术分类叙述。对多模态知识图谱的应用进展进行了分析,并探讨了多模态知识图谱的局限性,提出了多模态知识图谱领域今后的研究方向。

生成式人工智能在医院管理领域的应用前景与挑战探讨

目的/意义探讨以ChatGPT为代表的生成式人工智能在医院管理领域的重点应用场景和未来发展方向,为人工智能自然语言处理技术应用于我国医院管理领域提供参考。方法/过程通过文献调研梳理生成式人工智能快速发展给医院管理领域带来的变革和挑战,分析其在医院管理领域的重点应用场景和未来发展方向。结果/结论人工智能在医院管理领域具有广阔应用前景,应重点探索其实际应用场景和战略方向,为推动公立医院高质量发展提供借鉴和参考。

基于预训练模型自适应匹配的视觉故事生成算法

视觉故事生成任务是为一组图像序列生成具有表现力和连贯性的、能准确描述所涉及视觉内容的语句段落,是当前计算机视觉和自然语言处理交叉领域中一个有趣而又快速发展的多模态研究方向。随着预训练模型在各种下游任务的成功,基于预训练模型的视觉故事生成算法也被广泛研究。但因为数据模态的差异和语义鸿沟的存在,预训练模型在微调学习过程中会产生灾难性遗忘问题。如何协调视觉和语言两种模态数据的预训练模型,是当前多模态预训练模型研究的主要目标之一。该文提出基于预训练模型自适应匹配的视觉故事生成算法,一方面综合挖掘图像流的视觉、关系、序列等多样化互补信息,弥补语义差异;同时,另一方面用适应性损失对图文两种模态数据进行特征对齐,以及对图像流数据进行连续信息对齐,取得了较好的效果。算法在目前已公开的视觉故事生成数据集(VIST)上与近年的先进算法进行实验比较。评测结果表明,该文算法在生成故事的图文相关性、文本多样性、内容逻辑连贯性等指标上取得了具有竞争力的结果。

基于主题感知和语义增强的作文自动评分方法

作文自动评分(AES)是教育领域中应用自然语言处理(NLP)技术的重要研究方向之一,其旨在提高评分效率,增强评价的客观性和可靠性。针对主题相关性缺失和长文本信息丢失问题以及预训练语言模型BERT不同层次能够提取不同维度特征的特点,提出一种基于主题感知和语义增强的作文自动评分模型。该模型采用多头注意力机制提取作文的浅层语义特征并感知作文主题特征,同时利用BERT的中间层句法特征和深层语义特征增强对作文语义的理解。在此基础上,融合不同维度的特征并用于作文自动评分。实验结果表明,该模型在公共数据集ASAP的8个子集上均表现出了显著的性能优势,相比于通义千问等基线模型,其能够有效提升作文自动评分性能,平均二次加权的卡帕值(QWK)达到80.25%。

面向多模态情感分析的低秩跨模态Transformer

多模态情感分析将基于文本的方法扩展到包含视觉和语音信号的多模态环境,已成为情感计算领域的热门研究方向。在预训练-微调的背景下,将预训练语言模型微调到多模态情感分析领域是必要的。然而,微调大规模预训练语言模型仍然很昂贵,而且跨模态交互不足会影响性能。因此,提出低秩跨模态Transformer(LRCMT)来解决这些问题。受大型预训练语言模型在适应不同的自然语言处理下游任务时所呈现的低秩参数更新现象启发,LRCMT在每个冻结层中注入可训练的低秩参数矩阵,这大大减少了可训练参数,同时允许动态单词表示。此外,设计了跨模态交互模块,其中视觉和语音模态在与文本模态交互之前首先相互交互,从而实现更充分的跨模态融合。在多模态情感分析基准数据集上的大量实验表明了LRCMT的有效性和高效性。仅微调约全参数量0.76%的参数,LRCMT实现了与完全微调相当或更高的性能。此外,它还在许多指标上获得了最先进或具有竞争力的结果。消融实验表明,低秩微调与充分的跨模态交互有助于提升LRCMT的性能。总之,本文的工作降低了预训练语言模型在多模态任务上的微调成本,并为高效和有效的跨模态融合提供了思路。

基于预训练模型的单帧航拍图像无监督语义分割

针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,使用对比语言-图像预训练(contrastive language-image pretraining, CLIP)模型生成航拍图像的粗粒度语义标签,然后进行网络的预热训练。其次,在第一阶段的基础上,采用分割一切模型(segment anything model, SAM)对航拍图像进行细粒度类别预测,生成精细化类别掩码伪标签;然后迭代优化网络,得到最终语义分割结果。实验结果显示,相较于现有无监督语义分割方法,算法显著提高了航拍图像的分割精度,同时提供了准确的语义信息。

基于预训练的两段式自动文本摘要研究

主要通过从源文中抽取重要语句组成摘要,该方式会存在词语冗余、可读性差的不足;生成式摘要则尝试通过创造新的词语来构建摘要,可能会引发语义不连贯和逻辑性差的挑战。针对以上两种方式存在的问题,提出一种基于预训练的两阶段式的自动文本摘要模型。该模型融合抽取式和生成式的方法,首先,模型通过预训练模型BERT获取文本向量,再通过抽取式图结构中所蕴含的关系显示指导摘要生成,然后将抽取的输出当作生成模型的输入,同时结合指针网络和覆盖机制解决训练过程中的未登录词(OOV)问题和重复生成问题。通过整合上述步骤,最终获得的摘要在CNN/Daily Mail数据集上展现出良好的效果,在ROUGE-1、ROUGE-2和ROUGE-L这三个指标上均有显著提升。