基于PageRank改进算法的电网脆弱线路快速辨识(一):理论基础

作为两篇系列文章的第一篇,该文结合网络拓扑和电网运行状态,提出了一种适用于快速辨识电网脆弱线路的Page Rank改进算法并阐明其原理。首先,介绍Page Rank基本算法,并讨论了将其直接应用于辨识电网脆弱线路的局限性。其次,为了克服以上局限性,提出相关性网络和衍生网络的概念,然后在此基础上建立分析线路脆弱度Page Rank改进模型。最后,基于此模型给出线路脆弱度计算的解析表达式,并提出快速辨识脆弱线路的方法。

用户差别化和主题敏感的PageRank算法

为了通过相同的查询词,可以返回满足不同用户需求的搜索结果,使搜索结果的排序因人而不同,将用户进行差别化对待,依据不同用户的不同兴趣爱好、个性的特点、不同的需求等,借助改进后的主题敏感的PageRank算法,调整网页排序的结果.用户差别化和主题敏感的PageRank算法在一定程度上解决了PageRank算法存在的主题漂移问题,并且针对主题敏感的PageRank算法进行改进,使其具有主题扩展性、减少算法的在线计算时间,在查询过程中提供更快的响应速度.最终用户差别化和主题敏感的PageRank算法可以提高用户对网页排序算法和搜索引擎响应速度的满意程度,并且提高网页排序的准确程度.

基于网页链接与用户反馈的PageRank算法改进研究

在网页链接结构的排序算法PageRank的基础上,提出了一种改进的Bias PageRank(BPR)算法。为了提高用户对网页排序结果的满意度,该算法结合网页链接结构与用户反馈信息(点击率、最近一次点击时间等)进行综合分析,从而从网页设计与用户角度共同对网页PR值进行合理分配,以在一定程度上达到高质量网页尽量排序靠前、信息价值低的网页尽量下沉的目的。仿真实验表明,BPR算法在一定程度上改善了排序效果,提升了用户信息检索满意度。

基于用户兴趣度的PageRank改进算法

传统的PageRank算法容易导致主题漂移、偏重旧网页、用户对搜索结果的主观选择被忽略等问题。针对PageRank算法存在的上述缺陷,提出了一种基于用户兴趣度的网页排序算法——PRUI算法。该算法主要从网页自身的客观特性和用户兴趣的主观特性两方面对网页的PR值进行重新估算,并依据估算后的网页PR值对网页做重排序。相比传统的PageRank算法,改进的PRUI算法进一步提高了系统检索的准确率和首页命中率。

一种改进的基于云计算的PageRank算法

PageRank算法是最为经典的Web结构挖掘算法,但是其存在主题漂移的问题,使得搜索结果中存在大量与查询主题无关的网页。在分析Page Rank算法的基础上,提出利用欧式距离计算主题相似度并融入传统的PageRank算法中,形成一个改进的网页排序算法,并把此算法应用到云计算环境中,研究MapReduce编程模型上的PageRank算法流程。

融合博文内容和行为属性的Page Rank排序算法

针对当前微博影响力度量算法中多集中于用户行为属性,忽略博文、结点本身价值的问题,从微博用户信息出发,以线性加权模型为基础,综合分析用户的行为属性、博文相似度、节点相似度,创建影响力评价指标体系。利用Page Rank算法思想,提出了基于用户行为和博文内容的用户影响度量模型(user influence measurement rank,UMR)。通过采用新浪微博真实数据集测试,计算用户的影响力,验证了UMR算法在博文内容的基础上,能客观地反映用户的交互行为,消除僵尸用户对排序的影响,因而更科学、更合理。

PageRank算法的二级加速优化方案

为有效提高搜索引擎中网页排序的效率,针对当今PageRank算法优化方案的加速效果仍无法满足高速增长的网络规模所带来的数据处理需求现状,提出一种二级加速优化方法。对网络图邻近矩阵实行预处理,将其原点平移转化为等效矩阵,实现对幂法收敛速度的一级加速;提出一种改进的Aitken加速算法,应用到等效矩阵的幂法计算中,实现二级加速。实例仿真计算结果表明,改进的Aitken算法将原算法加速效率提升约25%,二级加速后的PageRank算法将原算法的求解效率提升约60%,优于类似优化方案加速效果。

改进PageRank算法的网页权重分析

PageRank算法用离线方式分析网页之间的链接计算网页权重,具有响应速度快等特点,但未考虑环境和主题相关等因素的影响.对此,提出采用网页点击率和时间因素,结合网页的重要性来计算网页的权重.模拟实验和分析表明,改进的算法能够根据网页的点击率和存在时间动态调整网页排序结果,比原始的PageRank算法产生的排序更加合理.

一种基于社会性标注的网页排序算法

社会性标注作为一种新的资源管理和共享方式,吸引为数众多的用户参与其中,由此产生的大量社会性标注数据成为网页质量评价的一个新维度.文中研究如何利用社会性标注改进网页检索性能,提出一种有机结合网页和用户的查询相关性与互增强关系的网页排序算法.首先利用统计主题模型,使用相关标签为网页和用户建模,并计算查询相关性.然后利用二部图模型刻画网页和用户间的互增强关系,并使用相关标签与用户兴趣和网页内容的匹配度为互增强关系赋予权重.最后结合查询相关性和互增强关系,以迭代方式同时计算网页和用户的评分.实验结果表明,文中提出的检索模型和互增强模型能够有效地提高排序算法的性能.与目前的代表性算法相比,该算法在检索性能上有明显提高.

基于Hadoop平台的Spark快数据推荐算法分析与应用

Hadoop大数据平台上可以搭建Yarn,Mahout,Storm,Graph Lab等框架,其提供了大数据的各种处理能力。但它们各自按自己的机制工作,整合度极低。虽然在Mahout框架中,对机器学习的算法支持较为完善,但是数据必需是离线的。在大数据时代,要求不仅具有处理能力,还强调了数据的时效性,以前的框架都显得有点力不从心。Spark是Hadoop平台上的新型利器,它的各个部分几乎能替代以前的分散的框架,且采用统一的处理机制,整合度很好,速度比传统处理方式快几十倍甚至几百倍。基于Hadoop平台的Spark快数据推荐算法分析与应用是在Hadoop平台上用Yarn作资源管理,Spark作快数据的处理,这极大地提高了大数据的处理效率。该文以专业推荐系统为应用基础,采用Yarn作资源管理,及Spark ALS算法做推荐,Spark Page Rank算法做专业排名,实验结果表明,Spark框架对大数据的处理机制能够满足日益增值的大数据应用对速度的要求。

Web信息检索排序算法研究

系统地研究了Web信息检索常用排序算法,即基于Web页面内容的排序算法、基于Web页面链接分析的排序算法和基于检索用户的排序算法,并对其优缺点进行了分析.在此基础上,对Web信息检索排序算法的发展趋势进行了展望.

基于图数据模型的聚类方法及可信度检测

对于特征空间中的数据,传统聚类算法通常直接在特征空间中进行聚类分析,因此高维空间数据无法在二维平面实现直观有效的聚类结果图形可视化,图数据可以明确反映对象之间的相似性关系,根据数据对象之间的距离,通过迭代将特征空间的数据建模成图数据。并对建模得到的图数据模型进行基于模块性的聚类分析,实现对非凸球分布数据集的聚类及对聚类结果实现二维空间的图形可视化。提出了聚类结果关于类间邻近边界的可信度概念,并提出了一种利用PageRank算法实现对聚类结果可信度计算的方法。

基于文本分类的网页排序算法

随着web技术的发展,好的网页排序算法越来越重要。本文主要讨论了网页排序应当考虑的因素如网页更新时间等。在对这些因素进行分析之后,本文提出了一种基于文本分类的网页排序算法。这个算法能很好地优化查询结果,提高搜索引擎的性能。

基于K-means聚类算法和信息熵的页面排序算法研究

针对经典的PageRank算法存在的偏重历史网页、主题漂移、平分网页链接权重等缺陷,引入了向量空间模型和信息论中的信息熵,提出一种改进的PRKE算法。该算法用表征网页特征的关键词构成的向量来表示网页,用关键词在网页中所占的权重作为向量中各个分量的权值;对已存在的网页采用K-means聚类算法进行聚类,以信息熵的形式表征各个簇的权值,完成对网页的宏观排序;融入了时间因子和主题相关度等参数,完成对网页的微观排序。实验结果表明,改进的PRKE算法相对于经典的PageRank算法在首页命中率、检索准确性等方面获得了较大的提高。

基于用户反馈与链接关系的网页排序改进算法

为改善传统PageRank算法存在主题漂移、网页欺诈、偏向旧网页等不足,提出一种基于用户反馈与链接关系的网页排序改进算法FLPR。通过分析两网页各自链出页面的共同页面,衡量网页内容的相关程度,设计内容相关度因子;融合页面停留时间和链接点击量,设计可信度因子;添加时间相关因子,共同对PR值进行修正调整。仿真结果表明,相较传统PageRank算法和WPR算法,改进后的算法在网页排序质量、查准率以及用户满意度等方面性能均有一定程度提升。

微博舆情分析中信息转发路径提取方法研究

文章以sina微博为研究对象,分析研究了微博舆情分析中提取微博信息转发路径的方法,并获得在微博信息转发过程中起关键作用的微博用户。系统主要使用网络爬虫框架进行数据采集,采用多账户多线程分布式技术,可以绕过sina微博反爬虫机制的功能,具有较高的稳定性和高效性。在研究转发路径提取方法整个过程中,需要经历爬取微博转发网页信息、提取转发信息、转发信息预处理、构造转发路径树等步骤。通过对微博转发路径信息的提取和组织成树形结构信息,就可以实现在网页中显示微博的转发图。最后通过对Page Rank算法的改进,实现了计算用户传播影响力的算法设计,能够快速评估在微博整个转发传播过程中用户的转发影响力。

一种基于用户角色的综合网页排序算法

通过对网页用户角色的分析发现,传统的基于PageRank算法的搜索引擎结果排序欠佳,是因为其没有兼顾所有角色对网页重要性的评价。为此,提出一种结合了所有角色评价的综合网页排序算法——ComPageRank(CPR)算法和一种基于点击量分析的Click-throughRank(CTR)算法。实验结果表明,相比PageRank为代表的网页排序算法,CPR算法更全面、合理。

基于稀疏矩阵面向论文索引排名的启发式算法

为了提高学术论文检索的精准性,进而为学术研究提供便利,提出了针对学术论文检索问题的排名策略。首先,介绍了基于网页排名算法面向论文索引排名的启发式方法,其中利用Hash索引技术有效地减少了稀疏矩阵计算对内存的消耗;其次,定义了论文间引用关系图的密集度均衡值,并通过大量实验阐明了不同排名算法的迭代次数与图密集度均衡值之间的关系;最后,将所提出的基于论文索引排名的启发式算法应用于科学引文索引(SCI)数据库中,并与原被引频次降序的排序结果进行比较与分析。实验结果表明:在三种基于网页排名技术的算法中,基于链接结构分析的随机过程算法比较适合于按关键词搜索得到的相关领域学术论文的排名。

基于复杂网络的沪深300股票重要节点的评估和分析

利用复杂网络方法将股票之间的复杂关系抽象为网络,能够更好地掌握股票市场的整体和局部特性以及股票之间内在的联动关系,以沪深300数据为研究样本,通过相关系数构建网络,利用最佳阈值法对网络进行去噪,保留主要股票之间的相互影响.借鉴PageRank算法对社团网络进行重要节点的挖掘,从宏观和微观视角分析各行业股票在市场中的地位.研究发现整个沪深300市场中,采矿业、制造业和金融业是市场"大户",其股票与市场中的其他股票之间存在紧密联系;网络中的同类型股票存在聚集现象,且股票之间影响关系显著.

基于用户评价的查询串与搜索结果特征权重计算

提出了利用大量用户评价结果来进行特征权重的计算方法,用于解决搜索引擎中查询串与搜索结果的相似度分析。该方法完全利用用户对搜索结果的“潜在评价”来进行。用户对输入查询串所做的点击反映了其内部的关联性,该文提出的方法可获取这种关联性,对该问题建立了数学模型,利用EM算法解决了特征权重的计算。由于模型的函数比较复杂,难于计算其收敛性,因此,使用了模拟退火算法作为EM算法的补充,用于验证算法的收敛性。实验使用百度搜索引擎在竞价广告上进行,提取的测试数据样本为100个广告和144 132个query,获得的数据结果显示,所有特征收敛到全局最优解,抽样部分数据获得检索相似准确率为93.32%,召回率为87.43%。