面向大规模数据的DBSCAN加速算法综述

DBSCAN(density-based spatial clustering of applications with noise)是应用最广的密度聚类算法之一.然而,它时间复杂度过高(O(n^(2))),无法处理大规模数据.因而,对它进行加速成为一个研究热点,众多富有成效的工作不断涌现.从加速目标上看,这些工作大体上可分为减少冗余计算和并行化两大类;就具体加速手段而言,可分为6个主要类别:基于分布式、基于采样化、基于近似模糊、基于快速近邻、基于空间划分以及基于GPU加速技术.根据该分类,对现有工作进行了深入梳理与交叉比较,发现采用多重技术的融合加速算法优于单一加速技术;近似模糊化、并行化与分布式是当前最有效的手段;高维数据仍然难以应对.此外,对快速化DBSCAN算法在多个领域中的应用进行了跟踪报告.最后,对本领域未来的方向进行了展望.

密度峰值聚类算法综述

密度峰值聚类(density peak,DPeak)算法是一种简单有效的聚类算法,它可将任意维度数据映射成2维,在降维后的空间中建构出数据之间的层次关系,可以非常容易地从中挑选出密度高、且与其他密度更高区域相隔较远的数据点.这些点被称为密度峰值点,可以用来作为聚类中心.根据建构好的层次关系,该算法提供了2种不同的方式完成最后聚类:一种是与用户交互的决策图,另一种是自动化方式.跟踪了DPeak近年来的发展与应用动态,对该算法的各种改进或变种从以下3方面进行了总结和梳理:首先,介绍了DPeak算法原理,对其在聚类算法分类体系中的位置进行了讨论.将其与5个主要的聚类算法做了比较之后,发现DPeak与均值漂移聚类算法(mean shift)有诸多相似之处,因而认为其可能为mean shift的一个特殊变种.其次,讨论了DPeak的几个不足之处,如复杂度较高、自适应性不足、精度低和高维数据适用性差等,将针对这些缺点进行改进的相关算法做了分类讨论.此外,梳理了DPeak算法在不同领域中的应用,如自然语言处理、生物医学应用、光学应用等.最后,探讨了密度峰值聚类算法所存在的问题及挑战,同时对进一步的工作进行展望.

基于本体的文档语义标注改进方法

在领域本体知识的语义环境和资源文档结构基础上,提出一种文档语义标注改进方法,分析、计算标签-文档的词频相关性和语义环境在局部窗口的共现性,实现对各类文档资源的语义标注.该方法首先提取出文档资源的纯文本内容,并分解出子句、句和段落集合.然后,对于每个具体的领域知识项,在本体知识库中寻找其语义环境信息.最后,按照7条相关度规则,分别计算出这些信息与分解后文档内容的相关度,从而完成整个文档库内和知识库内的综合计算,得到该项知识与文档资源的最终相关度.实验结果显示,该方法能够依据领域本体,有效地对互联网中大量以网页等形式存在的多种类文档知识资源进行自动语义标注.

基于百度百科与文本分类的网络文本语义主题抽取方法

网络上存在海量中文文本资源,其中许多具有稀疏性与不规范性,难于处理与挖掘.百度百科是一个丰富的与社会热点、网络流行紧密相关的动态中文知识库,基于百度百科本文提出一种网络文本语义主题抽取方法.首先利用百度百科的知识关系将文本映射到侯选语义主题空间中,根据训练数据进行分类,找出最大可能的分类,选出属于该分类的候选语义主题.最后提出根据语义离散度确定最终语义主题.在两个数据集上的实验结果表明,该方法不仅对网络不规范文本而且对于规则文本都具有较好的语义主题抽取性能.

一种基于农业领域本体的语义检索模型

基于农业领域本体和词汇,给出一个针对农业领域的语义检索改进模型.该模型接受用户自然语言输入,通过计算词语与本体知识之间的相关度和相似度,来实现词汇到知识的映射.针对农业领域本体特点,给出相应的语义扩展规则,把检索结果从本体知识扩展到与之相关的资源文档,并对检索结果进行排序.

一种本体协同冲突的检测方法

针对农业领域分布式的迭代知识协同建构过程中存在的协同冲突及难于检测的问题,提出协同冲突划分、检测与消解方法.把协同冲突与本体一致性问题区别开来,按本体知识编辑操作的影响范围、操作类型及启发式规则把协同冲突划分为硬冲突、软冲突.依据这个划分,给出一个高效的检测算法和冲突消解方案.

一种基于本体与描述文本的网络图像语义标注方法

网络图像语义自动标注是实现对互联网中海量图像管理和检索的有效途径,而自动有效地挖掘图像语义是实现自动语义标注的关键。网络图像的语义蕴含于图像自身,但更多的在于对图像语义起不同作用的各种描述文本,而且随着图像和描述知识的变化,描述文本所描述的图像语义也随之变化。提出了一种基于领域本体和不同描述文本语义权重的自适应学习的语义自动标注方法,该方法从图像的文本特征出发考查它们对图像语义的影响,先通过本体进行有效的语义快速发现与语义扩展,再利用一种加权回归模型对图像语义在其不同类型描述文本上的分布进行自适应的建模,进而实现对网络图像的语义标注。在真实的Web数据环境中进行的实验中,该方法的有效性得到了验证。

泛型编程与设计模式

现今面向对象已经成为软件业内的主流技术,然而它存在很多的弱点,使得它的通用性和抽象程度受到很大限制。设计模式作为面向对象领域内的高级软件复用技术,同样摆脱不了相同的困扰。泛型编程是面向对象的进一步发展,从更高的角度对世界进行抽象,为面向对象的不足之处提供了解决之道.将设计模式泛化带来更大规模的代码复用,使得设计模式的实现得以自动化,从而使开发人员能以面向设计的方式让使用者自行装配所需机能,产生能表达原始设计意图的代码,实现设计与编码之间的无缝过渡。

一种改进的朴素贝叶斯文本分类方法

针对网络中所存在的大量以网页等非结构化形式存在的文本资源,提出一种改进的朴素贝叶斯分类方法.首先,通过卡方检验方法求文档特征并对文档降维,提高特征词区分性信息;然后,以文本特征来代替原始词条进行朴素贝叶斯对类.实验表明,该方法不仅理论上易于建立和更新,而且分类的精确率也得到提高.

一种基于稀疏编码的语义标注方法

语义标注是实现语义网的一个重要研究内容,目前已有很多标注方法取得了不错的效果。但这些方法几乎都没有注意到本体所描述的知识往往稀疏地分布在文档中,也未能有效地利用文档的组织结构信息,使得这些方法对质量较差的文档的标注不理想。为此提出了一种基于稀疏编码的本体语义自动标注方法(Semantic Annotation Meth-od based on Sparse Coding,SAMSC),该方法先按本体知识描述从文档中识别出一定的语义作为初始值,再通过迭代解析文档段落结构和描述主题,完成本体知识与文档资源的相关系数矩阵计算,最后在全局文档空间中通过最小化损失函数来实现用本体对文档的语义标注。实验表明,该方法能有效地对互联网中大量良莠不齐的文档进行自动语义标注,对质量差的文档资源能取得让人接受的结果。

机器学习算法教学中的理论与实践探讨

机器学习是人工智能的基础,是人工智能的一个重要分支.相关的算法有非常多,其中大量的算法涉及数学问题,如矩阵分析、概率统计,难以理解.因而,分析了该课程在实际教学中存在的问题,并提出改进的教学环节,注重基础数学理论,同时通过案例激发学生的学习兴趣,鼓励进行线上线下互动的教与学新模式.

线性代数的几何直观性教学探讨

《线性代数》在本科教学中是极重要一门基础课程,是大多数自然科学的数学基础。然而通过代数的公理化的表述形式,使得它具有高度的抽象性的同时,也丢失了数学的直观性,这在教学上给老师与学生都带来很大困扰。本文探讨了在《线性代数》知识点在教学中的几何直观性解释,可使学生产生具象化的认识,从而理解这些知识点背后的意义,对学生学习这门课程具有积极性意义。

以责任为中心的面向对象观

面向对象技术的传统的观点只停留在对象层面上,以对象为中心,机械地理解面向对象.狭隘的认识往往导致在软件分析设计阶段存在严重的缺陷,到后期,常常不得不对原来的方案做大的调整甚至丢弃.文中以责任为中心的面向对象观,突破传统观点的狭隘范围,更贴近人类的思维方式.它从宏观上把握着软件开发的各阶段,从责任的角度重新认识面向对象,扩展面向对象的内涵.

一种基于百度百科的中文网络文本关键词抽取方法

网络上存在海量的中文文本资源,其中有许多具有稀疏性与不规范性,这令以统计词组方式来抽取文本关键词的方法表现不佳.基于百度百科本文提出一种中文网络文本关键词抽取方法,通过百科知识关系将文本从外延词条集合映射到能体现其内涵的语义主题空间中,再利用主题间的关系进行权值调整,最后通过Nave Bayes法回溯并找到原文的关键词.该方法有效地避开穷举词条的统计方式,能在很大程度上解决现有文本挖掘方法无法抽取网络词汇和新生词汇这一难题.在两个数据集上的实验表明,该方法在规范的文本和不规范文本上都有着较好且稳定的表现.

一种有效的基于本体的词语-概念映射方法

词语-概念映射是基于本体的语义检索的重要一环,对语义检索的查准率及查全率有很大的影响。在传统的基于关键词匹配的方法中,通常从词语-概念的共现程度来计算它们的相关度,这种方法没有考虑概念的属性及属性值,即丢失了概念的语义信息。针对这一问题,提出了一种词语-概念映射方法,该方法基于本体三元组-文档标注结果,利用概念-文档与词语-文档两重关系,首先计算出词语-概念的相关度与置信度,再实现词语-概念的映射。实验结果表明,该方法有效地提高了检索的效果。

采用蚁群算法的移动摄像头探访规划

规划了摄像头的移动路径,快速轮询所需要监控区域的热点,从而提高监控的有效性和安全性.定义一个最短轮询监控点的问题,证明该问题是NP-难的.设计了基于"视距蚂蚁"的蚁群算法,通过大量模拟实验证明:设计的算法是有效的,可以在近似最短距离的路径轮询到所有监控点.

基于神经网络和模型迁移学习的不相关多源频域载荷识别

针对使用模型初始权重随机设定的神经网络模型进行不相关多源频域载荷识别时训练效率低、精度低的问题,提出一种基于神经网络和模型迁移学习的不相关多源频域载荷识别方法。首先,利用某频率点的历史数据对不相关多源载荷识别的多输入多输出神经网络模型进行训练;其次,将该频率下的神经网络的模型参数迁移到相邻的目标频域的神经网络中作为网络权值的初值;再次,利用目标频率的历史数据对神经网络进行微调训练,从而得到目标频率的不相关多源频域载荷识别模型;最后,将该频率的训练好的神经网络的模型参数迁移到下一个相邻频率的模型,循环该过程直到建立所有频率点的神经网络模型。在圆柱壳声振实验数据集上的载荷识别结果表明,该方法具有较好的网络权值初值、能有效减少训练时间,比不使用迁移学习的神经网络方法、基于传递函数和最小二乘广义逆的方法、基于多元一次线性回归的方法具有更高的识别精度。

使用启发式规则的本体冲突检查方法

本体(Ontology)作为语义WEB的核心已经被应用到社交,农业等多个领域.将本体开放给众多用户进行编辑的做法已经开始流行,但是在构建多用户本体系统时仍然存在一些问题.本体演化就是其中之一,在共同协作的本体环境中总是充斥着各种冲突,所以冲突检查是本体演化中重要的一个环节,本文将提出一个实用的基于启发式的方法来进行本体冲突检查,此方法是一个稳定的保证较高查全率和查准率的方法,并将给出演化中的冲突检查算法.

利用用户不偏好项目属性提高项目协同过滤算法效率和精度

针对传统项目协同过滤算法选择最近邻时需要计算待评分项目与所有其它项目之间的相似度而导致算法效率和推荐精度低的缺点,提出一种基于用户不偏好项目属性的项目协同过滤算法.该算法通过对用户评分偏低的项目属性进行归一化计数并设定阈值,从而将其分为用户不偏好项目属性和非用户不偏好项目属性.只有在其它项目与待评分项目同时具有用户不偏好项目属性或同时都不具有用户不偏好项目属性时,该项目才作为待评分项目最近邻的备选项,才需要计算两项目之间的相似度.该算法通过减少备选最近邻项目集大小和需要计算项目相似度的个数,提高了算法效率;与此同时,由于不合理项目已提前从备选最近邻项目集中排除,选取作为评分预测的最近邻会更为合理,推荐精度也会提高.在数据极度稀疏的Movie Lens-100K数据集上的五折交叉验证结果表明,相较于传统的项目协同过滤算法、基于项目偏好相似的项目协同过滤算法,该算法有更高的效率、精度和覆盖率.

基于稀疏成分分析的欠定工作模态参数识别

针对基于独立成分分析的工作模态参数识别方法可识别模态数较少的问题,提出一种基于稀疏成分分析的欠定工作模态参数识别方法。该方法从线性时不变小阻尼结构的模态振型、模态坐标的性质和稀疏成分分析的基本假设出发,找出模态振型与混合矩阵之间、模态坐标响应与稀疏成分之间的一一对应关系,将欠定工作模态参数识别问题转化为稀疏成分分析问题。首先,从基于传统盲源分离的工作模态参数识别中存在的问题和稀疏成分分析流程,建立了基于稀疏成分分析的工作模态参数识别框架和流程步骤;其次,针对欠定工作模态参数识别振型的解释和评价问题,提出欠定条件下识别振型的特点及评价方法;最后,讨论了可识别模态数、模态遗漏、虚假模态及方法的适用范围,并与独立成分分析方法进行了理论比较。通过5自由度仿真数据集下的工作模态参数识别,表明所提方法具有有效性和优越性。