基于Dirichlet分布语言建模的信息检索技术研究

基于多项式的一元语言模型不能表示文档中的突发(Burstiness)现象,而基于Dirichlet分布的语言模型能够较好地处理突发现象。本文分析和讨论了几种基于Dirichlet分布的语言模型,并以DCM模型为基础,分别对文档和查询项进行语言建模,然后采用KL-divergence方法来度量文档模型和查询项模型的相似度。在TREC数据集上的实验表明,与基本的模型相比较,采用DCM模型能够提高信息检索的平均精确度。

一类超线性Dirichlet问题的正解

利用临界点理论中的局部环绕理论,获得了一类较一般的超线性Dirichlet问题的正解存在性结果.

二重多随机Dirichlet级数的收敛性与增长性

本文研究了在一定条件下的二重多随机级数收敛性与全平面的增长性,得到了较好的结果。

与广义Dedekind函数有关的误差项估计

设ψ(n)是Dedekind函数.r为正整数,则有∑n≤xnψ(n)r=αx+E(x,r),其中α是与r有关的常数,而E(x,r)是误差项.利用经典的复积分理论及解析的方法研究了E(x,r)的算术均值和积分均值,得到了一个较为精确的估计式.

关于椭圆方程弱解的Fatou逆定理的证明

证明非光滑区域上的散度型二阶椭圆方程 i(aij(X) ju(X))=0的弱解的Fatou逆定理及Dirichlet问题的惟一性.

基于语义约束LDA的商品特征和情感词提取

随着网络购物的发展,Web上产生了大量的商品评论文本数据,其中蕴含着丰富的评价知识.如何从这些海量评论文本中有效地提取商品特征和情感词,进而获取特征级别的情感倾向,是进行商品评论细粒度情感分析的关键.根据中文商品评论文本的特点,从句法分析、词义理解和语境相关等多角度获取词语间的语义关系,然后将其作为约束知识嵌入到主题模型,提出语义关系约束的主题模型SRC-LDA(semantic relation constrained LDA),用来实现语义指导下LDA的细粒度主题词提取.由于SRC-LDA改善了标准LDA对于主题词的语义理解和识别能力,从而提高了相同主题下主题词分配的关联度和不同主题下主题词分配的区分度,可以更多地发现细粒度特征词、情感词及其之间的语义关联性.实验结果表明,SRC-LDA对于细粒度特征和情感词的发现和提取具有较好的效果.

贝叶斯网络的参数学习研究

贝叶斯网络是数据采掘的一个非常有效的工具,它能够定性和定量地分析属性之间的依赖关系,进行概率推理。在给出贝叶斯网络相关概念后,讨论了贝叶斯网络在离散型、连续型和混合型3种情况下的参数学习计算公式;利用给定样本数据,对具有完整数据和不具有完整数据的贝叶斯网络,学习网络参数,更新网络变量原有的先验分布;从理论上给出两种不同类型下的参数学习公式。

融合显著信息的LDA极光图像分类

美丽的极光形态各异,不同形态的极光蕴含不同的物理意义,所以研究极光图像的分类具有重要的科学价值.在LDA(latent Dirichlet allocation)模型基础上提出了一种融合显著信息的LDA方法(LDA with saliency information,简称SI-LDA),利用极光图像的谱残差(spectral residual,简称SR)显著信息生成视觉字典,加强极光图像的语义信息,并将其用于极光图像的特征表示.最后,利用SVM分类器对极光图像进行分类.实验结果表明,所提出的算法获得了良好的分类结果.

基于主题相似性的在线评论情感分析

从在线文本评论挖掘消费者情感信息,能够得到更加真实的消费者购买体验及其偏好。主题情感混合模型作为一类有效的无监督情感分类模型,正在成为这方面的重要文本挖掘工具,但该模型存在分类准确率和稳定性还不够高的问题,为克服这一不足,提出一种基于主题相似性的无监督在线评论情感分类模型。以潜在狄利克雷模型分析在线评论主题,结合情感词典计算主题情感极性;引入理想评论并构造理想评论代表集,通过计算评论和理想评论集的主题相似度,实现在线评论情感分类。实验结果表明,该模型能有效判别消费者在线评论情感倾向,稳定性较高,衡量分类结果的综合指标F_1值比现有主题情感混合模型提高3%～20%。同时,在计算机、酒店、图书及手机等不同领域评论数据集上的实验结果显示,该方法具有较好的领域可移植性。

基于LDA与新兴主题特征分析的新兴主题探测研究

本文尝试基于LDA主题模型探测文档集中的新兴主题.本文采用主题的新颖度、发文量指标,并引入被引量,得到新兴主题的特征指标,在此基础上对主题在进入成熟阶段前各个时期的特征进行了分析.并提出了针对上述新兴主题探测指标,基于LDA主题模型抽取文档的语义主题词,利用文档-主题矩阵建立主题和文档的映射,得到主题的新颖度指标和发文量指标、被引量指标,并形成新兴主题探测表格和探测曲线VDP,从而探测出新兴主题,并对新兴主题VDP与基线VDP距离的发展趋势进行预测,根据拟合的曲线对其进行分析,得到最值得关注的新兴主题.

Riemann Zeta函数的求和问题

使用Fourier级数理论得到了RiemannZeta函数的一些新的求和公式,同时也得到了其它无穷级数的一些递推公式,这些公式的递推关系鲜明而且便于使用,在理论和实际中都有一定的意义.

利用组合模型生成微博热点话题事件摘要

针对微博热点话题检测使用主题模型只能提取出无序话题词组合的问题,提出一种结合词激活力模型与主题模型各自优点的微博热点话题检测方法及话题关键词的计算方法。使用传统的主题模型提取出微博文本中的热点主题,根据各主题下文档的概率分布提取出新的话题文档,引入词激活力模型计算各个词之间的词激活力,生成词激活力矩阵,最后利用词激活力矩阵生成有序的词序列作为热点事件摘要。实验验证了该方法的可行性,表明所提出的方法能够很好地识别出热点词并生成可读性高的事件摘要。

复平面上无限级Dirichlet级数和随机Dirichlet级数的下级

研究了复平面上无限级Dirichlet级数和随机Dirichlet级数下级的增长性,得到了关于它们下级增长性的两个定理.

教学视频的文本语义镜头分割和标注

为了对教学视频这一专门类别视频进行自动标注,本文首先提取视频中的字幕信息,通过文本预处理后,使用视频中的字幕文本信息内容结合潜在狄利克雷分布(Latent Dirichlet allocation,LDA)主题模型方法获得视频镜头在主题上的概率分布,通过计算主题概率分布差异,进行语义层面镜头分割。然后以镜头为样本,使用安全的半监督支持向量机(Safe semi-supervised support vector machine,S4VM)方法,通过少量的标注镜头样本,完成对未标注镜头的自动标注。实验结果表明,本文方法利用字幕文本信息和LDA模型,有效完成了视频的语义镜头分割,不仅可以对镜头完成标注,而且可以对整个视频进行关键词标注。

基于LDA主题模型的标签传递算法

标签传递算法是一种半监督分类方法,由于该算法存在要求数据分类结果符合流行假设、数据维数较高时计算复杂度高等问题,在文本分类中效果较差。针对这些问题,经过对LDA主题模型和标签传递算法原理及复杂度的分析,将两者结合,提出一种基于LDA主题模型的标签传递算法LPLDA。该算法用LDA主题模型中的主题表示文本数据,一方面使用LDA主题模型表示文本保证分类结果符合流行假设,另一方面有效减少标签传递算法相似度计算时间。经过实验证明,该算法在标记数据少于待测样本时,分类效果优于传统的有监督分类方法。

基于主题模型的改进随机森林算法在文本分类中的应用

针对传统随机森林算法在维度高、噪声大的文本分类上出现计算复杂度高和分类效果较差的问题,提出一种基于隐狄利克雷分配(LDA)主题模型的改进随机森林算法。该算法利用LDA主题模型对原始文本建立模型,将原始文本映射到主题空间上,保证了文本主旨与原始文本的一致性,同时也大大降低了文本噪声对分类的影响;并且针对随机森林中决策树特征的随机选择方法,提出在决策树生成过程中,利用对称不确定计算各个特征之间的相关性,从而可以降低不同决策树之间的关联度。最终在主题空间上利用改进的随机森林算法对文本进行分类。经过实验证明,该算法在文本分类上具有良好的优越性。

Dirichlet级数和随机Dirichlet级数的增长性

研究全平面上部分零级和有限级Dirichlet级数及随机Dirichlet级数的系数和增长性之间的关系,并得到了当随机变量序列{Xn(ω)}满足一定条件时,部分零级和有限级随机Dirichlet级数在全平面所确定的随机整函数在每条水平直线上的增长性几乎必然与相应的随机Dirichlet级数的增长性相同。

一类Curvature方程的两种边值问题解的存在性

利用含有伪单调算子的变分不等式解的存在性定理,证明一类具有Dirichlet边值条件的Curvature方程在W1,p(Ω)空间中存在唯一解.深入研究具有Dirichlet边值条件的Curvature方程和具有Neumann边值条件的Curvature方程之间的关系,利用极大单调算子值域的扰动理论,给出具有Neumann边值条件的Curvature方程在W1,p(Ω)空间中存在解的充分条件.文中采用一些新的证明技巧,推广和补充了以往的相关研究成果.

一类非线性Dirichlet边值问题的正径向解

通过构造适当的锥并利用锥拉伸与锥压缩型的不动点定理研究了单位球上一类椭圆Dirichlet边值问题的正径向解的存在性,其中非线性项可以是奇异的.主要结论表明正径向解的存在性仅依赖于非线性项在其定义域的某个有界子集上的性质,而与非线性项在此集合以外的性质无关.

零级整Dirichlet级数的增长性

引进了一类严格单调增函数,研究了零级整Dirichlet级数的增长性,且在较弱的指数条件下,得到了零级整Dirichlet级数关于此函数的增长性与其系数之间的关系.