探索中文预训练模型的混合粒度编码和IDF遮蔽

目前大多数中文预训练语言模型采用字级别编码,因为字符级编码序列长而产生大量计算开销。词级别编码尽管能够缓解这一问题,但也会带来其他问题,如词典外词、数据稀疏等。针对中文不同粒度的编码,该文提出使用混合粒度编码的中文预训练模型。这一编码所用的词表在大规模预训练语料上得到,因此缓解了词典外词和数据稀疏问题。为了更进一步增强模型性能,该文提出了一种选择性的遮蔽语言建模训练策略——IDF遮蔽。这一策略基于词在大规模预训练语料上统计的逆文档频率。实验表明,与之前的中文预训练语言模型相比,该文所提出方法预训练的模型在多个中文自然语言数据集上取得了更好或相当的性能,并且能更高效地编码文本。

多元环境审计工作格局构建研究

积极构建多元环境审计工作格局是进一步推动环境审计的深入发展,充分发挥环境审计的职能作用,促进我国生态文明建设的必然选择。本文首次创立了多元环境审计的概念,系统阐述了多元环境审计在我国产生的客观必然性和多元环境审计的主要内容,研究提出了深化多元环境审计的对策。构建多元环境审计工作格局,可以增强审计工作者的环境审计意识,整合国家审计机关内部的全部审计力量来开展环境审计,有利于扩大环境审计的覆盖面,提高环境审计的质量和效果,更加充分地发挥环境审计促进经济社会可持续发展的"免疫系统"功能,为我国生态文明建设做出更大的贡献。

小直径TBM施工有轨运输技术

小直径隧道掘进机(TBM)施工中,其出渣方式及运输设备的选型配套直接制约着工程进度。结合那邦水电站引水隧道TBM施工实例,对小直径TBM施工有轨运输的轨道系统设计、运输车辆选型、设备配置组合情况进行了详细阐述。

软基条件下高速公路路基拼接施工技术

针对软基条件下高速公路拓宽中关键问题就是解决新老路基的不均匀沉降,结合工程实例,采用水泥搅拌桩在新老路基之间施作隔离墙,起到隔水隔沉降的作用,并辅以土工格栅解决新老路基之间的衔接,较好地解决了新老路基的不均匀沉降问题。

CRTSⅡ型板式无砟轨道底座板施工监控技术研究

对于长大桥梁而言,CRTSⅡ型板式无砟轨道底座板的施工工艺复杂而繁琐。以石武客专无砟轨道底座板为研究对象,从施工角度对底座板施工的前期准备、质量要求、段落划分以及施工工序进行了详细描述,并进行了底座板施工应力监控研究。研究结果表明:对于长大的底座板结构而言,温度变化、混凝土的水化热及收缩徐变是导致混凝土开裂的原因;收缩徐变系数和摩擦系数的变化对结构应力影响较小,可以通过掺加钢纤维或采用分级加载技术等措施来控制裂纹产生和减小裂纹宽度。相关经验可为轨道板铺设、精调,水泥乳化沥青砂浆灌注施工奠定良好基础。

打开资源环境审计之门——《资源环境审计读本》简评

党的十八大以来，以习近平同志为核心的党中央把生态文明建设摆在全局工作的重要位置，以对国家和人民高度负责的态度，加强生态文明建设，努力建设美丽中国。2015年11月，