基于无指导学习策略的无词表条件下的汉语自动分词

探讨了基于无指导学习策略和无词表条件下的汉语自动分词方法 ,以期对研制开放环境下健壮的分词系统有所裨益 .全部分词知识源自从生语料库中自动获得的汉字Bigram .在字间互信息和t 测试差的基础上 ,提出了一种将两者线性叠加的新的统计量md ,并引入了峰和谷的概念 ,进而设计了相应的分词算法 .大规模开放测试结果显示 ,该算法关于字间位置的分词正确率为 85 .88% ,较单独使用互信息或t 测试差分别提高了 2 4 7%和 5 6 6 % .

无指导学习语义优选

给出基于LSC模型的EM方法进行汉语语义优选的学习。具体步骤是首先随机为参数模型赋予初值;然后迭代运行EM算法,直到收敛;最后计算动词和名词的语义关联度,以此衡量其搭配的可能性。大量实验结果表明LSC模型能够较好地体现动、名词的搭配模式,且算法迭代收敛速度快。该方法无需语法标注的语料库,适合应用于汉语。

基于无指导学习的微博评论分析方法

该文以一种有效的方法寻找出有价值的微博评论,这对于读者更高效地阅读评论,为舆情分析、文本挖掘等任务提供支持,均具有重要的应用价值。针对微博及其评论文本短小、内容发散等特点,该文提出一种基于无指导学习的微博评论分析方法,该方法通过互联网搜索引擎扩展微博文本,基于相关性计算自动构造正负训练用例,生成特定的某条微博评论分类模型,通过该模型对评论的价值性进行评估。实验结果表明,该方法能够比较好地识别出评论的价值。

无指导学习环境下基于属性相关性分析和聚类算法的属性选择问题研究

属性选择可以有效地降低特征维度,去除不相关属性,提高模型准确率以及增加模型的可解释程度。但是,无指导学习环境下的属性选择往往无法取得像有指导学习环境下那样令人满意的结果。先对无指导学习环境下的属性选择研究的现状进行阐述,然后介绍一种新方法———无指导学习环境下基于属性相关性分析和聚类算法的属性选择方法,并且通过实验来验证其有效性和实用性。

基于无指导机器学习的全文词义自动标注方法

为实现汉语全文词义自动标注,本文采用了一种新的基于无指导机器学习策略的词义标注方法．实验中建立了四个词义排歧模型,并对其测试结果进行了比较．其中实验效果最优的词义排歧模型融合了两种无指导的机器学习策略,并借助依存文法分析手段对上下文特征词进行选择．最终确定的词义标注方法可以使用大规模语料对模型进行训练,较好的解决了数据稀疏问题,并且该方法具有标注正确率高、扩展性能好等优点,适合大规模文本的词义标注工作．

基于卷积树核的无指导中文实体关系抽取研究

该文提出了一种基于卷积树核的无指导中文实体关系抽取方法。该方法以最短路径包含树作为关系实例的结构化表示形式,以卷积树核函数作为树相似度计算方法,并采用分层聚类方法进行无指导中文实体关系抽取。在ACE RDC 2005中文基准语料库上的无指导关系抽取实验表明,采用该方法的F值最高可达到60.1,这说明基于卷积树核的无指导中文实体关系抽取是行之有效的。

机器学习及其相关算法综述

自从计算机被发明以来,人们就想知道它能不能学习。机器学习从本质上是一个多学科的领域。它吸取了人工智能、概率统计、计算复杂性理论、控制论、信息论、哲学、生理学、神经生物学等学科的成果。文章主要从统计学习基础的角度对机器学习的发展历程以及一些相关的常用算法进行了简要的回顾和介绍。

一种改进的汉语全文无指导词义消歧方法

针对现存的基于EM(Expectation maximization)迭代的无指导词义消歧方法收敛缓慢、计算量大的问题,利用互信息和Z-测试结合的方法选取特征,并通过一种统计学习算法估算初始参数值.实验结果表明改进方法有效地提高了汉语词义消歧的准确率,具有良好的扩展性和实用性.

基于非参数贝叶斯模型和深度学习的古文分词研究

古汉语文本中,汉字通常连续书写,词与词之间没有明显的分割标记,为现代人理解古文乃至文化传承带来许多障碍。自动分词是自然语言处理技术的基础任务之一。主流的自动分词方法需要大量人工分词语料训练,费时费力,古文分词语料获取尤其困难,限制了主流自动分词方法的应用。该文将非参数贝叶斯模型与BERT(Bidirectional Encoder Representations from Transformers)深度学习语言建模方法相结合,进行古文分词研究。在《左传》数据集上,该文提出的无监督多阶段迭代训练分词方法获得的F1值为93.28%;仅使用500句分词语料进行弱监督训练时,F1值可达95.55%,高于前人使用6/7语料(约36 000句)进行有监督训练的结果;使用相同规模训练语料时,该文方法获得的F1值为97.40%,为当前最优结果。此外,该文方法还具有较好的泛化能力,模型代码已开源发布。

基于依存分析和贝叶斯网络的无指导汉语词义消歧

采用基于依存分析改进贝叶斯网络的无指导的机器学习方法对汉语大规模真实文本进行词义消歧实验。该学习算法充分利用依存文法分析确定能够对词语词义构成内在限制的上下文，有效地克服了简单贝叶斯分类器中无关上下文造成的噪声影响。实验结果证明基于依存改进的贝叶斯模型在汉语词义消歧上表现良好，开放测试正确率可达86.27％。

基于ART网络的无指导中文共指消解方法

提出了一种基于自适应谐振理论(ART)网络的无指导中文名词短语共指消解方法。该方法充分利用名词短语自身特征,通过改变网络参数动态调节聚类数量,有效地解决了目前聚类共指消解中输出类别数目难以确定的难题。另外采用了一种基于信息增益率的特征选择方法,减少了区分度较弱特征给聚类所带来的干扰。该方法在保证了识别正确率的前提下,不依赖人工标注语料,可直接应用于跨领域的真实文本。最后在ACE中文语料上进行了相关实验,并取得了较好的结果。

类别学习的SUSTA IN模型

SUSTAIN模型是关于类别学习的类群或群集规则的选择模型,它强调多层次的类别子结构和模型的结构搜索功能。模型的运行以类别相似性为基础,从最简单的规则开始,有灵活的参数及其运算过程,与其他主要的类别学习模型相比有更多的优势。因此,SUSTAIN模型是迄今解释人类类别学习的最优模型。

无指导的中医证候诊断数据的隐变量分析

本文探讨中医临床诊断得到的"望"、"闻"、"问"、"切"的四诊数据的统计分析方法。在没有中医专家的证候诊断结果(即无指导)的情况下,利用含隐变量的结构方程模型(SEMs),进行中医证候诊断的方法。本文提出证候诊断和病势诊断的两层隐结构模型和两步估计方法.本研究收集了433例脑动脉硬化症患者的临床诊断数据,利用本文提出的方法进行数据分析,得到了与传统中医诊断理论相当吻合的结果.在没有中医专家诊断指导的情况下,本文提出的无指导诊断方法为客观评价中医辨证理论提供了数据分析基础.

一种基于无指导的词义排歧方法

介绍了一种利用《同义词词林》和训练语料生成义类代码同现频率矩阵 ,以此作为资源进行真实语料中多义词的词义排歧。由于该方法采用无指导的学习方法 ,可以免除人工标注的开支 。

一个全文词义自动标注系统的实现

为研究在给定上下文中如何确定多义词的词义,介绍了一种无指导的词义消歧技术和一个汉语全文词义标注系统的设计实现过程.该系统基于贝叶斯模型,使用大规模语料进行训练,较好地解决了知识获取中数据稀疏的问题.该系统具有标注正确率高和运行速度快等特点,适合大规模文本的词义标注工作.

Web应用安全监测系统设计与应用

针对Web应用的攻击种类繁多、变化多样,基于静态规则库的旧的防护体系已经很难适应当前Web应用安全的新状况,提出了将无指导学习方法与合法规则检测模型相结合的Web应用安全防护新思路,设计了基于Web应用结构分析和流程分析的安全监测算法,并进行了系统实现。实现的Web应用安全监测系统现已应用于清华大学网络学堂,很好地实现了对Web应用访问请求信息的安全分析与监测。

基于数据挖掘的网络入侵检测系统研究

针对传统入侵检测系统建模与更新需要大量人工参与,提出一种基于数据挖掘的无指导自适应入侵检测系统。系统通过有效结合聚类、关联规则数据挖掘方法,自动进行检测规则的提取。经实验表明,提出的方法具有较好的检测率、误报率。

共指消解研究方法综述

共指消解作为自然语言处理中的一个重要问题一直受到学术界的重视。二十多年来,基于规则的和基于统计的不同方法被提出,在一定程度上推进了该问题研究的发展,并取得了大量研究成果。该文首先介绍了共指消解问题的基本概念,并采用形式化的方法对该问题做了描述;然后,针对国内外近年来在共指消解研究中的方法进行了总结;之后,对共指消解中重要的特征问题进行了分析与讨论;最后,历数了共指消解的各种国际评测,并对未来可能的研究方向进行了展望。

入侵检测建模过程中特征提取最优化评估

在入侵检测建模过程中,特征提取是一个重要的步骤。特征提取有利于提高入侵检测的效率和准确性,好的特征可以在特征空间提供完美的分类独立性。但在以往的入侵检测模型评估中,对原始数据的特征提取并没有涉及提取的标准和原则。文章利用KDD数据集,针对不同种类的网络入侵攻击,使用经典聚类算法对特征提取的特征类别进行比较,以获取该领域的知识。

基于新型的竞争型神经网络的Web日志挖掘

提出了一种基于竞争的自激励神经网络学习算法SIN ,该算法综合了自适应谐振理论和竞争型神经网络的特点 ,并在隐含层采用了Hebb学习规则 ,既能保证原有记忆不受影响 ,又能对新的信息加以记忆 ,同时又克服了ART网络对噪音敏感的缺点 ,学习速度快 ,分类性能好 ,具有在线学习的功能 将该算法应用于Web日志挖掘能够有效地剔除噪音 ,得到很好的用户聚类和页面聚类的结果 。