基于TF-IDF优化算法在文本分类中的应用研究

TF-IDF算法是文本挖掘领域的经典算法,TF-IDF算法在文本分类时会使关键词权值发生波动,对该算法在分类时权值做全局化定义,可提高文本分类准确率。

基于NER和TF/IDF算法的涉密文件的脱密鉴别方法研究

随着网络以及各类应用的发展,涉密材料往往在网络渠道传播、流传过程中被泄露,而且往往是涉密材料已经传播一定的范围之后,才能引起相关部门的注意而采用相应的措施。在公开网络产生泄密事件处理过程中,最重要的因素是在泄密材料出现于公开网络并广泛传播之前,发现并确定传播材料是否涉密、可能的来源以及相应的密级。文章提出一种基于NER和TF/IDF算法的涉密文件的脱密鉴别方法,利用NER和TF/IDF算法识别涉密文件中的命名实体,构成矩阵,经过HASH脱密,发送统一中心平台存储。鉴别时,取出文件中各命名实体对应的TF/IDF值乘以出现的次数并求和,其值跟预先设定的阈值比较,以此来确定是否为涉密文件,从而进一步判断涉密文件的来源。

本体环境下用户偏好库的查询算法扩展

查全率,查准率的高低在很大程度上决定了一个智能搜索引擎的性能,而用户偏好库中的算法如果运用得当可明显提高查全率和查准率.在探讨了在基于本体的智能搜索中用户偏好库的作用和其类型,特别是客观世界中某一特定领域或主题的用户偏好库之后,详细地研究了用户偏好库中用户兴趣剖像生成的提取算法,TF*IDF算法和TF*IWF*IWF算法和基于本体的查询扩展算法,并且讨论了各个算法之间的联系.论述了用户偏好库在基于本体的搜索系统中的独特意义.通过实验最终验证了这些算法可达到查全率为10.1%、查准率为81%的良好效果,进而证实基于本体在智能搜索中所体现的优势.

一种基于真假值的智能家居控制算法研究

为了满足智能家居对智能控制的要求,提出了一种针对智能家居的控制算法,该算法基于真假值位图实现,故称为"真假值控制算法(简称TF算法)"。首先建立针对家用电器的表达模型,然后提出简单算法,最后在简单算法的基础上进行改进确定了最终TF算法。该算法具有不需要训练样本、应对变化反应速度快、计算量小和容易被编码实现等特点。实验表明,该算法具有很强的适应性和健壮性,可以很好地应用于实践项目。

对基于本体的搜索中用户偏好库的算法研究

介绍了本体的基本概念及其基本的元素。探讨了在基于本体的智能搜索中用户偏好库的作用和其类型,特别是客观世界中某一特定领域或主题的搜索中用户偏好库的研究。研究了用户偏好库中用户兴趣剖像生成的提取算法,即TF*IDF算法和TF*IWF*IWF算法和基于本体的查询扩展算法。并且讨论了各个算法之间的联系,论述了用户偏好库在基于本体的搜索系统中的独特作用。

基于频繁项集挖掘的正例文本提取方法

提取合适的正例文本是生成有效过滤模板的重要基础。通常采用的人工评测方法的显著缺点是无法准确判断文本内容并选择切实相关的文本,所以本文在频繁项集挖掘的基础上提出了一种判断给定文本是否相关并提取合适正例文本的方法。实验结果证实了该方法的有效性。

基于语义匹配的海量异构数据自动化集成方法研究

随着互联网与信息化的普及,数据数量、数据来源与数据格式的复杂性愈加突出。互联网、传感器、人工收集等多种来源产生了海量异构数据,为解决多源异构数据处理问题,设计一种将海量异构数据自动化集成到同一数据仓库的方法。通过建立元数据模型(以数据集为单位)将来源数据按数据集分类,映射整合到数据仓库中,通过CRF序列标注模型、Skip-Gram神经网络、TF*IDF等机器学习技术,解决了数据仓库集成中语义映射的难题,实现了海量多源异构数据的自动化入库,为之后的数据分析挖掘提供了良好基础。

基于SVM金融分析报告的行业分类研究

针对传统金融分析报告分类效率低的问题,提出基于支持向量机的中文文本分类技术来对金融分析报告进行分类。该分类技术采用中科院提供的中文分词系统以及使用两种特征选择算法相结合进行分词和特征选择,并且提出针对TF/IDF权重计算的改进方法。该分类技术选择支持向量机作为分类算法,通过开源的支持向量机对样本进行训练和测试。实验结果表明,采用中文文本分类技术对金融分析报告按照行业进行分类能够满足金融机构的使用需求。

基于TSS模型对商品综合评价研究

研究评级和评论制度对消费者购买商品决策的影响,能有效帮助公司制定合理的营销策略。本文采用关键词信息匹配技术,基于时间序列的综合评价模型,开发TSS模型用于分析在线产品销售策略以提高产品满意度。模型以月为时间单位,拟合平均评价值和时间的关系,发现初始阶段顾客对商品评价会存在较大差别,第70个月后评价开始趋向集中。特定高评级对评论产生正向中性程度影响,特定低评级产生正向较弱程度影响;而特定好评会对评价产生正向较强程度影响,特定差评会产生负向较弱程度影响。随着时间的推移,TSS模型鲁棒性强,为其他商品在线评级销售同样提供了清晰可行的解决方案,适用于各种产品的评价评级研究。

基于知识图谱及机器学习的桥梁病害智能诊断方法

在桥梁的运维管养工作中,对病害成因的分析和判断通常需要丰富的知识储备和从业经验。以预应力混凝土连续梁桥为例,利用构建的知识图谱作为知识牵引,基于积累的管养数据,采用多种机器学习算法进行数据驱动,研究实现桥梁病害智能诊断的方法。结果表明,基于TF-IDF算法的诊断模型准确率较高,能够为工程技术人员提供有效的桥梁病害成因诊断决策支持。

政务领域本体术语的自动抽取

提出一种新的政务本体术语自动抽取的方法。首先通过中文分词技术和单字合并法提取政务文本中的词作为候选术语;通过C-value求解法和TF-IDF算法对候选术语进行过滤抽取,从而实现政务领域术语的自动抽取。通过实验比较,发现该方法在不影响领域术语抽取召回率的同时可以提高抽取术语的正确率。