一种基于孪生网络预训练语言模型的文本匹配方法研究

孪生网络预训练语言模型(Sentence Embeddings using Siamese BERT-Networks,SBERT)在文本匹配的表示层面上存在两个缺点:(1)两个文本查询经BERT Encoder得到向量表示后,直接进行简单计算;(2)该计算不能考虑到文本查询之间更细粒度表示的问题,易产生语义上的偏离,难以衡量单个词在上下文中的重要性。该文结合交互方法,提出一种结合多头注意力对齐机制的SBERT改进模型。该模型首先获取经SBERT预训练的两个文本查询的隐藏层向量;然后,计算两文本之间的相似度矩阵,并利用注意力机制分别对两个文本中的token再次编码,从而获得交互特征;最后进行池化,并整合全连接层进行预测。该方法引入了多头注意力对齐机制,完善了交互型文本匹配算法,加强了相似文本之间的关联度,提高了文本匹配效果。在ATEC 2018 NLP数据集及CCKS 2018微众银行客户问句匹配数据集上,对该方法进行验证,实验结果表明,与当前流行的5种文本相似度匹配模型ESIM、ConSERT、BERT-whitening、SimCSE以及baseline模型SBERT相比,本文模型在F1评价指标上分别达到了84.7%和90.4%,比Baseline分别提高了18.6%和8.7%,在准确率以及召回率方面也表现出了较好的效果,且具备一定的鲁棒性。

一种基于VCG拍卖的分布式网络资源分配机制

网络带宽资源分配的不合理是开放性网络环境中的一个突出问题.为抑制用户自私性行为,提出基于VCG(Vickrey-Clarke-Groves)机制的网络资源竞拍分配机制.该机制具有占优策略激励兼容特性,且仅需单维竞价信息.同时给出了指导用户进行策略选取的离散随机式学习算法,进一步分析了该算法的收敛性.仿真结果表明,本文所提出的分配机制通过有效的支付惩罚,使自私用户主动选择真实带宽需求策略,抑制说谎动机;离散随机式学习算法能够正确地引导用户选择出占优策略,合理分配带宽资源.

基于拍卖机制的网络带宽分配问题研究

现存网络中存在着大量自私的用户,由于它们追求自身收益的最大化而造成了网络资源分配的不合理.基于VCG拍卖机制,提出了一种仅需一维竞价信息的网络资源分配机制,分析证明了该机制具有占优策略激励兼容的特性,进一步证明该机制纯的纳什均衡解存在且唯一.在此基础上,给出了指导用户进行策略选择的离散随机式学习算法.不同条件下的仿真表明,该算法能够正确地引导用户选择出占优策略,使得收益值达到最优.

生成对抗网络在医学图像计算上的进展与展望

生成对抗网络中生成器和判别器进行博弈的对抗训练方法在计算机视觉任务中引起了大量关注。生成器的参数更新不是直接来自真实数据样本,而是依据判别器的真伪和类别判别,从而具有生成媲美真实图像的能力。此外,生成对抗网络的对抗训练方式具有半监督/无监督训练特性,非常适合应用于医学图像计算领域,用以解决医学图像数据量少、质量低的缺陷。本文从不同角度对基于生成对抗网络的医学图像计算(医学图像合成、超分辨率重建和辅助诊断)的研究进展进行了回顾,并从模型设计、性能表现等方面对相关工作进行了概述和分析。最后,对生成对抗网络在该领域面临的挑战及潜在应用进行了展望。

基于卷积神经网络的骨龄阶段识别研究

骨骼成熟度分析对于指导临床管理等具有重要作用,而目前评定骨骼成熟度还主要靠医师进行人工读片。本文根据骨骼成熟度评价指标与临床应用实际,提出一种基于卷积神经网络的骨龄阶段自动识别方法,实现从手部X光片中自动检测出尺骨、桡骨末端区域,并对其进行骨龄阶段分类的自动化识别过程。最终,通过卷积神经网络建模训练,参数优化、数据增强等技术的运用,尺骨与桡骨分别获得了90%与92%的识别精度。

基于深度神经网络的尺桡骨远端图像语义分割

对尺桡骨远端图像进行语义分割可以提取出尺骨桡骨感兴趣区域(ROI),ROI提取对后期的辅助诊断分析非常重要。本文提出了一种基于深度全卷积神经网络的语义分割模型,并对尺桡骨远端图像进行像素级的语义分割。实验表明,该模型可以精准地从尺桡骨远端图像中分割尺骨、桡骨并识别其语义,并分析了几种典型网络结构对分割模型的影响作用。分割模型对尺骨的识别精度和召回率为97%,交并比(IoU)为95%;对桡骨识别精度为98.5%,召回率为98%,交并比(IoU)为96.6%。

基于增强型半监督生成对抗网络的糖尿病视网膜病变识别

糖尿病视网膜病变(Diabetic Retinopathy, DR)是由糖尿病引起的视网膜血管壁受损致使视觉功能下降的一种具有特异性改变的眼底病变,是主要致盲疾病之一。在医学图像处理中,糖尿病视网膜病变诊疗通常面临高质量标注样本少和未标注数据不能充分利用的困境。基于此,本文利用增强的半监督生成对抗网络对糖尿病视网膜病变等级和程度进行识别,实现更高的识别精度和泛化能力,最终四分类任务中准确率达到77.2%,二分类任务中AUC达到93.9%。

基于多粒度语义交互的无监督法律裁判文书检索

随着法律文书数据越来越多,信息过载问题日益严重,快速且准确地在海量法律文书中进行检索显得非常必要。法律文本作为一种特殊的文本形式,具有篇幅较长、结构复杂、专业性强等特点,传统基于关键字的文本检索方法不能满足用户查询法律信息的需求,容易出现答非所问、检索不全等问题。此外,基于语义的文本检索方法,大多依赖于对含有大量标注数据的法律文本进行有监督学习,而法律文本数据的人工标注则严重依赖专家知识,导致其需要高昂的人力成本。该文提出一种基于无监督学习的法律文书检索模型,分别从法律概念、词语和词组3个方面进行多粒度无监督文本匹配,避免了没有训练数据导致的冷启动问题。在法律裁判文书数据集上进行检索实验的结果表明,与基准模型相比,该模型在MAP、MRR和NDCG@10指标上均有显著提升,取得了优秀的检索效果,具有有效性和先进性。

基于3D卷积神经网络的区域降雨量预报

准确的区域降水量预报,在气象服务领域一直是非常重要的问题。短时降雨量预报的目标是在未来短期(0~6小时)内,对当地区域的降雨强度进行精确和及时的预测。气象站通过预测的短期降雨量数据,与观测的天气预报气象数据进行整合,能够发布城市紧急降雨警报,提供有效的防汛防洪信息。本文根据自动站检测的周边历年降水量数据,以及气象站观测的区域上空不同高度的多普勒雷达回波外推图,提出一种基于深度学习方法的降雨预测模型。所提出的模型基于3D卷积神经网络(3D Convolution Neural Network),将所建立的网络模型应用于降雨预测的回归问题,并利用合适的指标对模型精度进行评价,对高精度下特定区域的短时期降雨量进行预测。通过实验,在不同网络结构下进行分析对比实验预测值与观测值的均方根误差达到了6以下。该方法能够对区域上空未来短期的降雨量进行准确的预测。该训练模型在气象站整年的数据中预测稳定。