单词嵌入——自然语言的连续空间表示

单词嵌入是指运用机器学习的方法,将位于高维离散空间(维数为词典单词数目)中的每个单词映射到低维连续空间的实数向量的技术。在很多文本处理的任务中,单词嵌入提供了更好的语义级别的单词特征表示,从而为文本处理任务带来了诸多便利。同时,大数据时代海量的未标注文本数据,以及以深度学习为代表的机器学习技术的发展使高效的单词嵌入技术成为可能。本文将给出单词嵌入的定义以及实际意义,同时将综述目前单词嵌入技术的几种典型方法,包括基于神经网络的方法、基于受限玻尔兹曼机的方法以及基于单词与上下文共生矩阵分解的方法。本文将详细介绍不同模型的数学定义、物理意义以及训练方法,并给出他们之间的比较。

基于混合编程模型的支持向量机训练并行化

支持向量机(support vector machine,SVM)是一种广泛应用于统计分类以及回归分析的监督学习方法.基于内点法(interior point method,IPM)的SVM训练具有空间占用小、迭代趋近快等优点,但随着训练数据集规模的增大,仍面临处理速度与存储空间所带来的双重挑战.针对此问题,提出利用CPU-GPU异构系统进行大规模SVM训练的混合并行机制.首先利用计算统一设备架构(compute unified device architecture,CUDA)对基于内点法的SVM训练算法的计算密集部分并行化,并改进算法使其适合利用cuBLAS线性代数库加以实现,提高训练速度;然后利用消息传递接口(message passing interface,MPI)在集群系统上实现CUDA加速后算法的分布并行化,利用分布存储有效地增加所处理数据集规模并减少训练时间;进而基于Fermi架构支持的页锁定内存技术,打破了GPU设备存储容量不足对数据集规模的限制.结果表明,利用消息传递接口(MPI)和CUDA混合编程模型以及页锁定内存数据存储策略,能够在CPU-GPU异构系统上实现大规模数据集的高效并行SVM训练,提升其在大数据处理领域的计算性能和应用能力.

对抗P2P蠕虫的邻居选择机制

P2P网络中节点的邻居列表为蠕虫提供了快速传播的途径.网络中节点系统的漏洞情况各异,致使它们抵抗蠕虫的能力不同.无结构P2P网络中节点的位置影响着蠕虫围堵策略的效果,甚至影响整个网络的安全.为了对抗P2P蠕虫,在区分漏洞级别的基础上定义节点之间距离的计算方法,根据节点抵抗蠕虫的能力为其选择邻居,使得P2P网络中的节点分布更利于抵抗蠕虫的攻击;并将这种邻居选择机制应用到无结构P2P网络KaZaA中.实验结果表明,该选择机制明显提高了P2P网络对抗蠕虫的能力.

基于边界节点优化无线传感器网络的分簇

基于边界节点对无线传感器网络中常用的分簇协议进行优化,其中边界节点即为处于相邻分簇交界处的节点,通过动态分配边界节点以均衡分簇的节点负载;因为边界节点与簇中心相距较远还要参与均衡负载,因此不会成为簇首,从而能耗较少,利用这一特性提出基于边界节点的多跳路由转发算法。实验表明,本文提出的优化方法可以较好地均衡网络能耗,延长无线传感器网络的生存时间。