Design and Implementation of a New Chinese Word Segmentation Dictionary for the Personalized Mobile Search

Chinese word segmentation is the basis of natural language processing. The dictionary mechanism significantly influences the efficiency of word segmentation and the understanding of the user’s intention which is implied in the user’s query. As the traditional dictionary mechanisms can't meet the present situation of personalized mobile search, this paper presents a new dictionary mechanism which contains the word classification information. This paper, furthermore, puts forward an approach for improving the traditional word bank structure, and proposes an improved FMM segmentation algorithm. The results show that the new dictionary mechanism has made a significant increase on the query efficiency and met the user’s individual requirements better.

基于用户评论的农业新技术推荐模型设计与应用展望

近年来,推荐系统的应用取得了飞速进步。大数据、人工智能技术的出现为农业信息化的加速发展提供了广阔的空间和前景。为提升农业领域内推荐技术的应用,满足农业用户的信息获取需求,对传统协同过滤推荐算法进行了一定的改进,重点体现在融合了K-means算法以及BIRCH算法进行聚类分析,通过搭建HowNet极性词典解决传统协同过滤方法过度依赖用户具体评分的问题,并提出了一种个性化推荐模型,利用相关数据源,进行模型验证。实验结果表明,该模型运行稳定,可以达到精准推荐农业技术信息的目的。

基于联合字典对学习的跨视角行人重识别

针对不同相机视角间的域偏移问题,例如遮挡、光照、背景等域信息变化而引起的视觉差异,提出一种基于联合字典对学习的跨视角行人重识别算法。具体地,由于同一相机视角下的图像具有域相似性,因此通过低秩分解细化用于表示域信息的字典,即用一个字典表示相同相机视角下的域信息,而用另一个字典代表行人外观特征信息。该方法的分离思想主要是使来自同一相机视角下的所有行人图像在字典上享有相同的稀疏表示,以此分离每个视角下行人图像共享的域信息和行人特征信息。实验表明,所提方法的Rank-1值相较于次优算法在PRID2011、CUHK01和i_LIDS数据集上分别提高1.2%、1.8%和4.49%,识别性能与鲁棒性更优,以期为跨视角行人重识别提供参考与借鉴。

基于统计方法的中文姓名识别

本文介绍一个中文姓名的自动识别系统 ,该系统使用从姓名样本库和真实文本语料库中得到的大量统计数据 ,以提高系统识别性能。我们从 1 994年人民日报中随机抽取 1 0 0篇文章作为测试样本 ,实验结果表明 ,准确率和召回率可同时达到 90 %以上。

基于词频统计的个性化信息过滤技术

对Internet信息进行过滤,筛选出与用户兴趣最相符的文档,是智能搜索引擎要解决的一个重要问题.本文在介绍搜索引擎基本原理的基础上,提出了一种文档学习和用户个性词典构建的实现方法,其中包括内码转换、分词、摘词处理、用户个性词典的构建及词条权值调整等环节.然后提出了一种基于词频统计的个性化文档过滤算法,该算法对传统的向量空间模型法做了改进,使之能够更好地计算文档与用户个性词典之间的相关度,根据用户的兴趣爱好对文档进行相关度的过滤、排序,并给出了实验数据.实验结果表明该方法较好地解决了智能搜索引擎中Internet信息过滤、排序的问题.

基于用户模型的个性化信息检索研究

随着Internet的广泛应用,越来越多的信息以电子化方式存放在网上,但是信息获取手段的提高并没有满足信息增长的需要,导致了"信息过载"和"资源迷向"现象。虽然有许多信息检索和过滤工具被开发出来,然而,传统的搜索引擎信息服务系统没有有效的手段理解用户准确的信息需求,缺乏智能和个性。针对利用现有的搜索引擎进行信息检索的过程中存在的查准率低和用户无法跟踪网页信息变化的缺点,提出面向用户的个性化信息检索服务理念,在客户端建立基于关键词表的用户个性化信息检索模型,通过用户个性化信息检索模型内部各功能模块之间的通信协作达到面向用户的个性化主动信息检索服务。

面向跨视图行人重识别的多级判别性字典学习算法

现有的行人重识别算法主要聚焦于如何提取更有效的分类特征和如何学习更鲁棒的距离度量函数.在现实场景中,不同视图下的同一行人图像的分辨率往往不一致,且同一视图下受视角和光照变化等因素的影响存在提取的分类特征判别性弱且鲁棒性不强的问题.针对这一问题,利用不同视图的特征表示中编码系数的潜在关联,提出了一种多级判别性字典学习算法,并将其应用于跨视图行人重识别.首先,在图像水平区域和图像级别的字典学习算法中分别引入了一个特征映射矩阵,该矩阵可以描述不同视图下同一行人图像编码系数之间的内在关系,可以极大地提高编码系数的灵活性.其次,在图像块级别,结合图像的局部流形结构,在字典学习目标函数中增加了字典原子的局部几何结构约束,通过自适应学习图拉普拉斯矩阵,确保编码系数保持了与样本相似的几何结构,可以获得更具判别性的字典对.最后,文中算法在2个被广泛使用的行人重识别数据集VIPeR和CHUK01 Campus上进行验证,2个数据集在rank-1上的识别率分别为68.40%和80.14%,实验结果表明,文中算法不仅可以降低不同视图下分辨率差异明显的影响,而且大大提高了学习字典对的表示能力和鉴别能力,与其他算法相比获得了更好的行人重识别精度.

融合词典特征的Bi-LSTM-WCRF中文人名识别

受限于标注语料的领域和规模以及类别不均衡,中文人名识别性能偏低。相比人名识别训练语料,人名词典获取较为容易,利用词典提升人名识别性能有待进一步研究。该文提取人名词典特征,融入到双向长短期记忆(Bi-LSTM)网络模型中,在损失函数中提高人名标签权重,设计加权条件随机场(WCRF)。从人名词典中获取姓和名相关的特征信息,Bi-LSTM网络捕获句子中上下文信息,WCRF提高人名识别的召回率。在《人民日报》语料和工程法律领域语料上进行实验,结果表明:在领域测试语料上,与基于隐马尔可夫模型的方法相比,人名识别的F1值提高18.34%,与传统Bi-LSTM-CRF模型相比,召回率提高15.53%,F1提高8.83%。WCRF还可以应用到其他类别不均衡的序列标注或分类问题中。

基于熵模型的英汉人名对齐

该文使用熵模型来对中英文双语语料进行人名对齐。熵模型综合利用双语人名词典、双语姓氏词典、词汇对齐概率、中英文人名的共现特征、基于最小编辑距离的音译相似度和基于语音匹配的音译相似度。实验结果表明,基于熵模型的中英文人名对齐在大规模语料库的实验中达到了较好的人名对齐正确率和召回率。我们分析了人名对齐存在的主要错误,并针对主要错误给出了可能的解决方案。

改进潜在语义索引的个性化搜索引擎的设计

个性化搜索引擎是一种通过机器主动学习用户兴趣,并根据用户兴趣帮助用户进行信息筛选的新一代智能化搜索引擎,潜在语义索引模型在词与词、文本与文本之间的检索中具有先进性.针对该模型中文档集用户兴趣有效性低的问题引入用户个性词典来改进,给出一个完整的可学习用户兴趣并可动态调整的个性化搜索引擎的设计.实验表明潜在语义索引比向量空间模型具有更好的信息检索性能,同时改进的潜在语义索引算法与传统算法相比在文献检索方面性能有明显提高.

“我/我们”的人称指示功能及其对词典释义的启示

汉语第一人称指示语"我/我们"在各种不同的言语活动中往往呈现出较为复杂的人称指示功能,需从语用的角度依据具体的语境方可确定。本文在综述国内语用学对这方面研究成果的基础上,将其运用于词典对"我/我们"释义的改进,从而揭示了"我/我们"人称指示功能的研究对词典释义的启示作用:1)词典编纂者应紧密跟踪语用学研究从语境角度研究意义;2)词典编纂人员本身也应积极开展词目词的语境意义研究。

术语多元化、通俗化的限度与词典编纂的对策——以“法人”英译名为例

术语的多元化、通俗化是有限度的,底线就是不可以违反术语的单义性。这需要词典编纂者甄别。词典如果同时收录假术语、术语的变体词,有责任作出恰当的标记,为语言使用者提供正确指引。新词典收录术语词条前要处理好词条使用频率与词源关系,其他文献与词典的关系,综合性词典与专业词典的关系。收录的重要依据是每对关系的后者。术语"合法性"的判断依据主要看单义性、首创性或术语能否反映概念的本质含义。

基于个性化词典的搜索引擎查询扩展模型

为了向用户提供个性化的web信息检索服务,该文对已有的个性化服务模型加以改进,介绍了一种基于用户个性化词典的搜索引擎查询扩展模型。该模型采用用户个性化词典替换传统的全局词典,并利用查询扩展策略实现个性化服务。用户个性化词典能够优化用户兴趣建模过程,使用户兴趣模型更加准确,从而优化最终生成的扩展词。借助扩展词,用户可以在搜索引擎上更方便地检索到更符合自己兴趣的网页。实验表明该模型能够通过搜索引擎,向用户提供有效可行的个性化服务。

基于潜在语义索引的个性化搜索引擎的研究

个性化搜索引擎是一种通过机器主动学习用户兴趣,并根据用户兴趣帮助用户进行信息筛选的新一代智能化搜索引擎,潜在语义索引模型在词与词、文本与文本之间的检索上具有先进性,针对该模型中文档集用户兴趣有效性问题提出了建立用户个性词典的改进算法,提出了一个完整的可学习用户兴趣并可动态调整的个性化搜索引擎的系统方案,同时对系统中关键词的学习与提取、个性化计算的动态调整提出了若干有益方法。

英汉机器翻译系统的建造—用于英语词典翻译出版的专用系统

本文从人工翻译和机器翻译的经验出发，引入数据仓库和数据挖掘技术建造语料库，提出一个采用模板技术的译语精确生成和机助人译结合的动态机器翻译系统，专门用于英语词典的翻译出版，促使机器翻译走向实用化，初步研究取得了较好效果。

基于特征权重与情感偏好的可解释推荐

针对协同过滤算法在为用户商品相关性建模时未考虑用户/商品对特征属性的不同关注度及不可解释性问题,提出基于特征权重与情感偏好的可解释推荐算法。利用评论中抽取的特征及对应情感设计用户商品的表征,根据TF-IDF算法确定其重要性,将其加入相关性建模中;在评分预测时引入贝叶斯个性化排序减小评分误差;在生成推荐的同时,提供特征短语级别的解释。实验结果表明,对比现有模型,该模型均方根误差平均降低了3.62%,最大降低了4.93%。

面向Web检索服务的个性化词典的研究与实现

为了更好地向用户提供个性化的Web检索服务,实现了一种改进的个性化词典的生成算法——IGAUPD,用于在用户浏览的大量兴趣网页中挖掘出真正符合用户兴趣的词语,以此缩小传统词库的容量,使得在用户兴趣建模时,能更快更准确地形成兴趣网页的特征描述,并更好地支持个性化检索。IGAUPD算法采用新的词权计算公式IWTUPD,以更好地描述词语在网页集中的重要性,有效排除频繁词。最后,用实验验证了由IGAUPD算法生成的个性化词典的优势。

基于兴趣网页的个性化词典的研究与设计

在基于用户浏览历史的个性化服务中,网页特征提取和兴趣建模通常是基于传统全局词典进行的,但是传统全局词典容易向网页特征里引入较多的噪声数据。因此有必要采用个性化词典替换传统全局词典。针对目前个性化词典的建立无法自动获取用户兴趣网页以及缺乏网页预处理的缺点,介绍了一种基于兴趣网页的个性化词典UPDBIWP,其特点是引入基于浏览行为量化分析的兴趣网页自动捕获技术和基于超链接的网页正文提取技术,使个性化词典的建立更加智能化和自动化。通过实验验证UPDBIWP对用户的兴趣点和兴趣偏好的描述更准确。

基于用户数据的个性化推荐模块的设计与实现

面对繁杂的信息海洋,从中获取准确的信息资源、提高信息利用率,是一个需要认真考虑与解决的问题.文章以云端趣码网站数据为基础设计个性化推荐模块,分析用户日常行为数据,得到用户关键字并存入数据字典;完成对其中数据和课程数据的矩阵映射处理,直观地呈现出用户对各种编程语言的偏好度;计算用户和课程关键字之间的余弦相似度距离,得到用户对各具体课程的感兴趣程度,相似度越大感兴趣程度越高;最后系统推荐相似度最高的课程.把云端趣码平台对用户的提问、回答和日志数据的处理,视为用户数据并作为个性化推荐的基础,经测试云端趣码的个性化推荐模块的性能及流程,验证了该模块的可用性和有效性.

基于核扩展混合块字典的单样本人脸识别研究

稀疏表示分类(sparse representation-based classification,SRC)在样本数量充足下的人脸识别中具有较好的识别效果。然而由于基本字典缺乏判别性同时过度依赖于字典中每类样本的原子数目,稀疏表示分类在真实情况下的单样本(每类样本只有一张训练样本)人脸识别任务中缺乏鲁棒性。针对以上问题,该文提出了基于核扩展混合块字典的单样本人脸识别方法。首先,对样本进行分块处理,分别对分块图像进行核判别分析(kernel discriminant analysis,KDA)投影降维,提取图像的局部特征信息构成更具判别性的基本块字典;然后,为经过KDA投影之后的分块样本分别构建遮挡字典和类内差异字典来描述样本中的大面积连续遮挡以及光照、表情等类内差异信息,将遮挡字典和类内差异字典共同组合成混合块字典,使混合块字典能够更好地描述测试样本中不同类型的差异信息;最后,将测试样本表示为基本块字典和混合块字典的稀疏线性组合,根据重构残差进行分类识别,从而实现真实情况下的单样本人脸识别。在标准人脸库CAS-PEAL,AR以及真实人脸库LFW和PubFig上的实验结果表明,该方法与其他方法相比有较好的结果。