基于空间卷积融合的中文文本匹配方法

文本匹配是自然语言处理领域的核心任务之一,在智能问答和信息检索系统中有广泛应用.近年来,基于预训练模型的文本匹配方法取得了巨大的成功.现存的方法主要使用多层自注意力Transformer网络得到基于上下文的全局向量表示,并通过全连接层进行匹配概率预测,但这种应用方式对于预训练模型输出的句向量特征有很强的依赖,而且忽略了词向量序列之间的空间特征信息,存在一定的局限性.从BERT(Bidirectional Encoder Representation from Transformers)自身结构出发,提出一种基于空间卷积融合(Spatial Convolution Fusion,SCF)的文本匹配方法,在预训练模型的基础上引入卷积网络模块,很好地结合了BERT全局特征向量及其余词向量序列空间特征信息,可以显著提升中文文本匹配效果.具体地,把BERT最后一层Transformer的多头注意力输出看作图像特征输入卷积网络,捕捉新的匹配模式,之后融合卷积输出和原始全局向量用于匹配概率预测.在两个开源数据集和我们的生产数据集上的实验结果证明,提出的模型在中文文本匹配任务上优于一系列预训练基线方法.此外,该模型在未引入外部知识的情况下,和引入外部知识的方法相比,仍有很强的竞争力,更加符合实际生产需求.

基于区块链的征拆迁资金监管技术研究与应用

本文提出了基于区块链技术构建涵盖政府、银行、项目建设单位等多方参与的征拆迁资金监管体系,将征拆迁信息采集、财政资金审核、征拆迁安置资金拨付等全流程信息上链,实现征拆迁资金审批使用全程规范透明、资金申请和拨付流程可追溯,保障政府监管部门对资金流向的全流程穿透式监管。雄安新区的成功实践结果表明,本文提出的基于区块链的征拆迁资金监管方法可有效保障财政资金使用的公开透明,提高资金的流转效率,进一步完善财政管理体系。