数据驱动的软件智能化开发方法与技术专题前言

当今社会软件无所不在，追求高质量和高效率的软件开发是软件工程研究的核心目标．软件开发经历了从结构化方法、面向对象方法到网络服务化，逐步向基于互联网和开源模式构造的方法发展．软件开发工具与环境也是伴随着开发方法不断更替变化，从命令行开发工具到集成化开发环境，再到扩展开发环境、协同开发环境，正向智能化开发环境方向演进．

大数据管理技术专刊前言

大数据管理及处理能力已经成为引领网络时代IT发展的关键,获取大量运行数据并建立对其进行动态高效处理的能力,已经成为产业竞争力的体现.从2012年美国政府宣布“大数据研究计划（Big Data Initiative）”和我国发布的《“十二五”国家科技计划信息技术领域项目》将大数据研究列在首位以来,大数据管理分析技术得到了学术界和工业界空前的关注.2016年5月,美国又进一步发布了《联邦大数据研究与开发战略计划》.然而,

面向企业数据孤岛的联邦排序学习

排序学习(learning-to-rank,简称LTR)模型在信息检索领域取得了显著成果,而该模型的传统训练方法需要收集大规模文本数据.然而,随着数据隐私保护日渐受到人们重视,从多个数据拥有者(如企业)手中收集数据训练排序学习模型的方式变得不可行.各企业之间数据被迫独立存储,形成了数据孤岛.由于排序模型训练需要使用查询记录、文档等诸多隐私信息,数据孤岛难以融合打通,这制约了排序学习模型的训练.联邦学习能够让多数据拥有方在隐私保护的前提下联合训练模型,是一种打通数据孤岛的新方法.在其启发下,提出了一种新的框架,即面向企业数据孤岛的联邦排序学习,它同时解决了联邦学习场景下排序学习所面临的两大挑战,即交叉特征生成与缺失标签处理.为了应对多方交叉特征的生成问题,使用了一种基于略图(sketch)数据结构与差分隐私的方法,其相比于传统加密方法具有更高的效率,同时还具有隐私性与结果精度的理论保证.为了应对缺失标签问题,提出了一种新的联邦半监督学习方法.最终,通过在公开数据集上的大量实验,验证了所提方法的有效性.

面向多方安全的数据联邦系统

大数据时代,数据作为生产要素具有重要价值.因此,通过数据共享实现大规模数据的分析挖掘与利用具有重要意义.然而,近年来日益严格的隐私安全保护要求使得数据分散异质的多方之间不能任意共享数据,加剧了“数据孤岛”问题.数据联邦能让多数据拥有方在保护隐私的前提下完成联合查询.因此,基于“数据不动计算动”的联邦计算思想实现了一种多方安全的关系型数据联邦系统.该系统适配多种关系型数据库,能够为用户屏蔽底层多数据拥有方的数据异构性.系统基于秘密共享实现了支持多方安全的基础操作多方安全算子库,优化了算子的结果重建过程,提高了其执行效率.在此基础上,系统支持求和、求均值、求最值、等值连接和任意连接等查询操作,并充分利用多方特点减少各数据拥有方之间的数据交互,降低安全开销,从而有效支持高效数据共享.最后,在标准测试数据集TPC-H上进行实验,实验结果说明:与目前的数据联邦系统SMCQL和Conclave相比,该系统能够支持更多的数据拥有方参与,并且在多种查询操作上有更高的执行效率,最快可超越现有系统3.75倍.

一种基于社交事件关联的故事脉络生成方法

推特和新浪微博等社交网络已成为报道公共事件的重要平台,它们为监控事件及其演化提供了宝贵的数据.然而,这些数据包含的非正式词语和碎片化文本使得从中提取描述性的信息具有一定的挑战.另外,从快速生成的大量微博监控事件演化也有一定难度.提出在社交网络中监控事件并对具有相同主题的事件演化进行分析.这既可以在粗粒度水平获得事件的概述,又可以在细粒度水平获得事件的详细信息.通过3个连续的组件实现该任务.1)用结构化的方法从微博检测事件;2)基于事件的隐式语义信息对事件聚类并将聚类获得的簇定义为故事;3)用基于图的方法为每个故事生成故事脉络,故事脉络用包含摘要的有向无环图表示故事内事件的演化.用户体验评估实验表明:提出的方法比现有方法具有更高的准确性和可理解性,并能够帮助用户监控事件及其演化.

路网感知的在线轨迹压缩方法

随着定位技术的高速发展,定位传感器被广泛应用于智能手机、车载导航等移动设备中,用于采集移动对象位置数据并将数据上传至服务器.该技术的应用方便了位置跟踪、预测和分析,同时也带来了轨迹数据量大、数据冗余、传输和存储代价高等问题.轨迹压缩技术即是针对该问题而提出的,它通过保留关键轨迹点和去除冗余轨迹点信息,降低了轨迹数据的传输和存储开销.分析了近年来轨迹压缩领域的研究进展,针对现有研究工作的不足,提出了一种路网感知的在线轨迹压缩方法,包括针对轨迹压缩的距离有界的隐马尔可夫地图匹配算法和误差有界的高效轨迹压缩算法等,实现了该方法的原型系统ROADER(road-network aware and error-bounded trajectory compression).基于真实数据集的实验结果表明,该系统在压缩率、误差和执行时间等方面均显著优于同类算法.

基于神经网络的自动源代码摘要技术综述

源代码的摘要可以帮助软件开发人员快速地理解代码,帮助维护人员更快地完成维护任务.但是,手工编写摘要代价高、效率低,因此人们试图利用计算机自动地为源代码生成摘要.近年来,基于神经网络的代码摘要技术成为自动源代码摘要研究的主流技术和软件工程领域的研究热点.首先阐述了代码摘要的概念和自动代码摘要的定义,回顾了自动代码摘要技术的发展历程,并介绍了生成式摘要的质量评估方法和评估指标;然后分析了神经代码摘要算法的通用结构、工作流程和面临的主要挑战;给出了代表性算法的分类,并对每类算法的设计原理、特点和限制条件进行了分析.最后,讨论并展望了未来神经代码摘要技术的发展趋势和研究方向.