基于深度学习的语言模型研究进展

语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行了对比和分析.同时又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行了详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行了概述和评价.最后总结了语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望.

大数据时代基层农业统计调查工作的几点思考

当今社会正从一个“以计算为主”的时代进入到“以数据为中心”的时代，国家统计局马建堂局长在2013年全同统计工作会议上强调：“大数据时代”的来临，对我们统计数据的生产方式带来了很大的挑战。统计部门要充分利用海量数据并对其进行标准化处理．发掘这一数据宝库，认真把握好这一促进政府统计改革发展的难得机遇。这是官方统计首次对政府统计部门如何应对大数据时代的机遇和挑战提出要求。

永宁县农村三产融合发展的调查和思考

2018年政府工作报告中提出“推进农业供给侧结构性改革。促进农林牧渔业和种业创新发展，加快建设现代农业产业园和特色农产品优势区”，发展农村新产业新业态、推进农村一二三产融合发展，是农业供给侧结构性改革的重要内容，是培育农业农村发展新动能的突出亮点。

永宁县农户参保农业保险情况简析

农业是我国的基础产业，在国民经济中具有重要的战略地位。随着改革开放的深入，我国农村经济发展取得了巨大的成就，但个体农民以自身极其有限的抗灾能力，难以应对频繁发生的自然灾害和市场波动，经济负担存一定程度上被进一步加重。

永宁县现代农业发展状况探析

近年来，永宁县加快现代农业发展步伐，全县农业步入了良性发展的快车道，三大粮食作物耕、种、收农机化综合作业水平达82．5％，实现了从传统农业向现代农业的转变。

宁夏生态移民生产生活中存在的困难及对策建议

宁夏生态移民工程的实施对改善民生、改善生态环境效果明显。为深入了解生态移民生产生活中存在的主要问题，2014年8月，宁夏调查总队组织人员深入银川、石嘴山、吴忠3市和水宁、平罗、青铜峡3市县9个移民安置区120户移民家庭开展了问卷调查。问卷调查结果显示，对于“生态移民当前最大的困难”问题的回答排在前6位的依次是：收入低生活开支大占64．2％、就业没门路占59．2％、务工不稳定占56．7％、就业能力不强占39．2％、发展产业缺资金及技术占38．3％和看病难看病贵占34．2％。