面向不确定数据的近似骨架启发式聚类算法

不确定数据聚类是传统数据挖掘的扩展,面对不确定数据聚类,研究者们经常把聚类问题描述成组合优化问题,并设计启发式聚类算法进行求解.现有的启发式聚类算法,如UK-means和UK-Medoids具有容易理解和实现简单等优点,但初始解敏感问题严重影响了聚类质量.本文在近似骨架理论的基础上,提出了一种近似骨架启发式聚类算法APPGCU(Approximate backbone guided heuristic clustering algorithm for uncertain data).该算法首先对原数据集完成P次采样,在采样后的规模较小的P个数据集上分别执行UK-Medoids算法得到P个局部最优解;然后通过对P个局部最优解求交得到近似骨架,并从中提取初始簇心;最后从初始簇心开始,启发式搜索出聚类结果.在仿真和实际数据集中的实验结果表明,算法APPGCU的聚类结果明显高于实验对比的启发式聚类算法,提高了聚类质量.

基于多GPU的深度神经网络训练算法

深度学习由于出色的识别效果在模式识别及机器学习领域受到越来越多的关注.作为深度神经网络算法的重要组成部分,误差反向传播算法的执行效率已经成为制约深度学习领域发展的瓶颈.提出一种基于Tesla K10 GPU的误差反向传播算法,该算法具有负载均衡,可扩展性高的特点.本算法充分利用PCI-E3.0传输特性,并结合peer-to-peer以及异步传输的特性以降低计算任务在划分和合并过程中带来的额外开销.除此之外,文章通过对算法流程的重构,实现算法数据相关性的解耦合,从而使得有更多的计算任务可用来掩盖传输过程.实验证明,该算法拥有双卡超过1.87的并行加速比,且算法执行过程中不会引入计算误差,可有效保证训练过程中的收敛效率,拥有理想的并行加速效果.

基于多GPU的并行BP算法及优化

在语音识别领域,基于深度神经网络(Deep Neural Network,DNN)的声学模型与传统的基于高斯混合模型的声学模型相比具有更出色的识别效果.DNN模型主要使用误差反向传播(Back Propagation,BP)算法进行训练.由于DNN参数规模非常庞大,使用BP算法对其训练是一个异常耗时的过程.目前主要通过高性能的GPU设备对DNN模型的训练训练进行加速.本文探究了BP训练算法在多GPU设备上并行化时所存在的收敛性和带宽问题,并结合NVIDIA Kepler架构的硬件特性提出一种并行优化策略.实验结果表明优化后的算法可以有效增加小mini-batch下的GPU利用率,同时减少数据传输的开销.在相同的mini-batch尺寸下,优化后的算法在4块NVIDIA Tesla K20m设备上与单个NVIDIA Tesla K20m设备相比可以取得高达3.89倍的加速比.

一种面向移动终端的自然口语任务理解方法

随着移动互联时代的到来和语音识别技术的日益成熟,通过语音的交互方式来使用移动终端成为一种趋势.如何理解用户自然状态下的口语输入,传统的做法是手写上下文无关的文法规则,但是文法规则的书写需耗费大量的人力和物力,很难去维护和更新.提出一种采用支持向量机和条件随机场串行结合的方法,把口语任务理解分解为任务发现和信息抽取两个过程,并最终将任务表达成语义向量的形式.最终对"讯飞语点"语音助手用户返回的八个不同的任务种类的数据进行了测试,在一比一的噪声中识别任务语义表达的准确率为90.29%,召回率为88.87%.

一种支持声明式表示层集成的组件模型

从可重用组件或者模块中构造应用是软件工程中的一项重要技术,其中在应用集成相关的领域中,研究工作多集中在数据和业务层上。然而在表示层进行集成可以重用子模块的数据、业务逻辑和界面等多个层面,故而有利于进一步降低开发代价,具有重要研究意义。针对当前表示集成技术的不足,提出了一个新的面向表示层集成的组件模型。该组件模型支持层次化、声明式的组件组合,并设计了一个领域特定语言(DSL)PIDL用来描述组件及其组合。

迁移学习在Web图像内容审核中的应用研究

针对当前Web不良图像内容监管和智能审核需求快速增加,人工和传统算法审核监管在规模、灵活性和响应时间上存在的不足,以及现有相关暴力图像数据样本的缺乏,提出一种基于深度模型迁移学习的Web图像内容审核方法。首先,收集自建暴力图像样本数据集,并对其进行数据增强和图像增强处理;其次,选择ImageNet数据集上训练完成的VGG16(Visual Geometry Group)和Resnet50(Residual Neural Network)两种典型的预训练深度神经网络模型进行迁移学习;最后,通过共享通用视觉特征、模型权重参数迁移以及微调,最终优化得到图像内容审核模型;通过对比验证实验研究,发现图像内容审核模型识别性能明显优于现有其他方法,正确率达到了95%以上,能满足实际应用需求。

面向BW104x软流水框架

现代高性能数字信号处理器大多数采用超长指令字体系结构,通过在同一时钟周期发射多条指令以便获得更高的运算性能来发掘目标机器指令级别并行性.介绍了BW104x目标体系特征,BWDSP104X是一款针对高性能计算领域设计的处理器,采用16发射、单指令流,多数据流架构.为了充分利用多簇及簇内硬件资源,基于open64编译基础设施提出了后端软流水优化,其中包括循环选择,资源依赖数据依赖计算,采用经典的模调度方法进行软流水调度,为解决不同迭代变量冲突引入模变量拓展模块.实验结果证明流水后性能相对流水前有了很好的提升.