汉语言文学作品中词频的Zipf分布

以《红楼梦》《毛泽东选集》《邓小平文选》为对象,利用CSW分词软件进行词语的切分,统计发现这些材料的词频都表现出Zipf分布规律.这个结果与包括英语、西班牙语、法语、希腊语,甚至古代语言Meroitic等在内的很多种语言的实证研究结果是一致的.以往基于字和多元字对而不是用词的研究方法是出现争论的主要原因.

基于Zipf分布与属性相关性的选择性估计

在DeepWeb数据集成中,集成查询接口和很多Web数据库查询接口用合取谓词表达查询,但是也有相当一部分Web数据库的查询接口用互斥谓词表达查询,这意味着查询转换时每次只能选择一个谓词。因此,准确、高效地估计每个互斥查询的选择性是优化查询转换的关键。提出了基于Zipf分布与属性相关性的选择性估计方法。通过属性之间的相关性从Web数据库上获取该属性近似随机的属性级样本,在此基础上计算属性值的Zipf分布方程,进而推断该无限值属性的任意值的选择性。实验表明,该方法可以准确、高效地估计各互斥查询的选择性。

莫言作品中字频、词频的Zipf分布

以莫言的《红高粱》《蛙》和《透明的红萝卜》为主要研究对象,采用字频统计软件和汉语词频统计软件,统计莫言作品中字频、词频,发现都满足Zipf分布规律。所得结果与包括英语、西班牙语、法语等在内的多种语言研究结果一致,与其他学者已得出的关于汉语作品字频分布不满足Zipf分布规律的结论相异。结果表明莫言作品确实与众不同,为研究莫言作品特点提供了统计学角度的新思路。

基于Zipf分布拟合的藏文字词发展演变研究

字词是自然语言中音义结合体的最小单位,因此研究字词的演变有利于剖析一门语言的语法演变规律,有利于研究字词本身的语法属性。Zipf定律是已被证实的所有语言都共有的一个词频分布定理。文章以藏文第3次厘定为时间节点,选取厘定前后不同历史期的26篇文献著作,对其中的字频和词频进行统计分析,并与同时期的汉文、英文文献字频和词频进行比较研究。实验结果显示,藏文词频和汉文、英文一样符合Zipf分布,但藏文字频在厘定前后有较大的差异,即厘定前的文献《兄弟教诲录》和《罗摩衍那》字频分布比汉文《诗经》更符合Zipf分布,碑文和敦煌藏文文献字频也较符合Zipf分布,而厘定后的字频不符合Zipf分布。此结果表明,藏文在发展过程中,存在由单音节词向多音节词演变的语言文字演变过程,这与汉字的演变规律相似。此外,根据厘定前后的高频字词统计分析可知,古今藏文词缀和虚词也存在一定的变化,而且它们的演变规律也反映了被修饰成分的实词的变化规律。

口令Zipf分布对相关安全协议的影响分析

身份认证是确保网络与信息系统安全的第一道防线,口令则是最普遍的身份认证方式。现有研究通常假设用户构造的口令服从均匀分布,然而,最新的研究表明,口令服从Zipf分布,这意味着目前大部分口令相关安全协议都低估了攻击者优势,并不能达到所声称的安全性。针对上述问题,文中以Gjõsteen等提出的基于口令的签名(Password-Based Signatures,PBS)协议以及Jarecki等提出的口令保护秘密共享(Password-Protected Secret Sharing,PPSS)协议为典型代表,从口令服从Zipf分布这一基本假设出发,分析了这两个协议的安全性证明缺陷,并重新定义了其安全性。同时,文中给出了对上述两个协议的改进:对于PBS协议,重新计算了攻击者优势,并通过限制攻击者猜测次数和委托可信第三方保管密钥,使得改进后的PBS协议可以抵御恶意攻击者仿冒一般用户的攻击,以及恶意服务器猜测用户口令并伪造签名的攻击;对于PPSS协议,基于诱饵口令思想,在服务器端设置了Honey_List以检测并阻止在线口令猜测攻击。

基于ZIPF分布的多址通讯快速动态信道分配方法

在多址通讯的情况下,常规的信道分配方法受到链路调度的制约,分配方法的运行效率并不高。基于此提出了基于ZIPF分布的多址通讯快速动态信道分配方法。首先,以多址通讯中数据项的访问频率和多个信道为输入,通过ZIPF分布处理平衡多址通讯数据项;其次,计算多址通讯对应链路的优先级消除其对信道分配的干扰;然后,预测多址通讯业务量设计对应的分配方案;最后,设计对比实验。实验结果表明:所提方法传输时延稳定、内存占比低,其运行效率稳定。

基于Zipf分布的网格密度峰值聚类算法

网格密度峰值聚类在兼顾密度峰值聚类算法可识别任意形状类簇的基础上,通过数据集的网格化简化整体计算量,成为当前备受关注的聚类方法.针对大规模数据,如何进一步区分稠密与稀疏网格,减少网格密度峰值聚类中参与计算的非空网格代表点的数量是解决“网格灾难”的关键.结合以网格密度为变量的概率密度分布呈现出类Zipf分布的特点,提出一种基于Zipf分布的网格密度峰值聚类算法.首先计算所有非空网格的密度并映射为Zipf分布,根据对应的Zipf分布筛选出稠密中心网格和稀疏边缘网格;然后仅对稠密中心网格进行密度峰值聚类,在自适应确定潜在聚类中心的同时减少欧氏距离的计算量,降低算法复杂度;最后通过对稀疏边缘网格的处理,进一步优化类簇边界并提高聚类精度.人工数据集和UCI数据集下的实验结果表明,所提出算法对大规模、类簇交叉数据的聚类具有明显优势,能够在保证聚类精度的同时降低时间复杂度.

城市经济Zipf分布与道路网络发展的协调性

在城市经济和交通大发展的背景下,了解二者之间的协调演化规律,明确城市发展过程中的滞后因素,对帮助政府决策具有十分重要的意义。分形理论是刻画城市形态演变和网络空间结构的有力工具,依据成都市2000、2003、2006和2010年的经济与路网数据,通过研究经济分布的zipf指数和道路网络的分枝维数,定量分析经济分布和道路网络在城市发展中的协调程度,针对成都市分形拟合曲线的不同标度区,建立了差异因子和先行因子,以差异因子定量确定标度区之间的发展差异程度,以先行因子确定城市发展的主导因素,明确不同时期城市经济和交通的发展侧重点,给政府工作决策提供依据,所得数据结论与成都实际情况基本相符。

中外大型承包商排名的Zipf分布研究

本文对2004至2009年的中国承包商60强(ENR)排名数据进行了分析,发现6年的承包商60强排名数据总体分布均近似服从Zipf定律,系数约为1;进一步计算表明,2001-2008年世界承包商225强排名数据也近似服从Zipf定律,系数约为1.3。通过进一步对经验回归直线方程的残差进行探索性分析,发现残差也存在自相关性,本文进而提出名次指数的概念并研究了名次指数的分布特征和趋势。最后集中分析了中外承包商排名差异的原因和政策含义。

市场、政府与企业规模分布——一个经验研究

本文首先估计了1999—2005年我国各省各年度工业企业规模分布的帕累托指数,发现我国各省的企业规模分布状态都普遍比较严重地偏离Zipf分布,即大型企业在各省占据显著的优势位置而中小企业发展不足。进一步的分析发现:国企比重、城市化水平、开放程度的提高会使得当地的企业规模分布更加偏离Zipf分布;政府的财政支出比重越大,企业的规模分布也会更加偏离Zipf分布,但政府增加基础建设的投资会使得企业规模分布向Zipf靠近;虽然随着时间的推移,市场化程度的提高,各省的帕累托指数有上升的趋势,但是东部地区的区位优势似乎更能够培育和集聚优秀的大型企业,而西部地区可能陷入低水平的Zipf分布状态。

基于文件访问概率预测的VOD代理数据分布策略

针对校园网VOD系统应用中面临的网络带宽和服务器I/O带宽的瓶颈问题,通过对流媒体文件访问次数的统计回归分析,并结合Zipf分布规律和校园网流媒体点播的特征给出了一种流媒体文件访问概率的预测算法。根据该预测算法的结果提出了一种VOD代理服务器的数据分布策略。实验表明,该策略可以有效提高系统的服务性能和减少网络的阻塞。

Zipf定律与外语教学中的频率效应

频率效应指的是频率与教学成效的关系,涉及学习者对语言模式的接触频率与语言模式在实际使用中的实证频率。由Zipf定律揭示的语言模式频率分布总体格局(Zipf分布)与频率效应有使然关系。以Zipf分布为纲,可就频率的重要性建立一番较为精确的定性认识。自然语言学习本质上是一个以参差不齐且平均而言颇低的频率接触大量语言模式的过程,因此必须对反复积累的作用有充分强调。

一种新的动态副本管理机制

提出了一种新的动态副本管理机制。该机制根据文件受欢迎的程度,增加受欢迎程度高的文件副本数量,选择高性能节点存放文件副本,从而使系统自动调整文件副本数量以及副本存放位置,平衡节点负载,提高文件的可用性。

Internet上的流媒体特性及用户访问行为研究

通过跟踪CERNET中典型流媒体服务器日志 ,分析了流媒体特性和用户访问行为 ,为在Internet上通过内容分送网络 (CDN)高效分送流媒体内容及流代理服务器的仿真与设计提供实验依据 .结果表明 :流对象大小和播放持续时间较好地符合对数正态分布 ,平均位速率呈“双峰”变化特性 ;对流媒体的访问呈现出比Zipf分布更强烈的偏向性 ;请求具有定域性 ,其是由对文件排列中的前若干文件的频繁访问所造成 ,这些请求间具有较强时间相关性 .指出了上述结论对仿真。

数字地球中影像数据的Zipf-like访问分布及应用分析

在数字地球GlobeSIGht系统中,统计分析不同采集时间尺度的4个系统日志,得出了影像数据瓦片请求均符合幂律分布中的Zipf-like分布的结论。该结论有助于数字地球系统在诸如影像数据存储分布和缓存等方面的性能优化设计和分析。

大规模中文搜索日志中查询重复性分析

分析大规模中文搜索日志中的查询重复性,通过对查询重复率和用户个体查询重复率等数据的统计发现:查询串的查询频率、文档的点击频率及用户查询频率均符合Zipf分布,查询重复率较高。查询历史越长,查询重复率越高。高查询频率用户的查询重复率较高。以上数据为中文搜索引擎的改进提供了有力的依据。

基于PLSA方法的用户兴趣聚类

为了在个性化搜索过程中能够准确地挖掘到用户的潜在兴趣并进行相应的聚类分析,提出采用潜语义空间的Zipf分布的特性,并结合PLSA(概率潜在语义分析)来获取全文的语义.即先通过Zipf分布原理找到文档的潜在语义空间,在此空间中对用户的兴趣进行聚类,并建立用户兴趣描述文件(user profile),即建立用户兴趣层次树.实验表明,所提出聚类算法的聚类效果明显优于传统的VSM(向量空间模型)的聚类效果,同时,在著名的CTI数据集上的个性化推荐实验结果也充分说明基于潜在语义空间构建的用户兴趣描述与用户真实兴趣相符合.

非结构化P2P系统复本研究

针对非结构化P2P系统中的复本放置问题,提出了一种新的放置策略,该策略充分考虑非结构化P2P系统中节点的异质性,将受欢迎程度高的文件的复本放置在高性能的节点上,增加了受欢迎程度高的文件的可用性,同时由于系统中受欢迎程度高的文件的复本增加,减少了系统查询文件时所要搜索的节点数.仿真实验和分析表明,该复本放置策略能有效地提高文件的可用性,降低查询带来的网络流量.

基于用户访问统计特性的流媒体文件复制策略

该文采用数理统计方法,根据用户访问统计特性预测文件流行度,结合文件自身属性,确定副本生成数量;针对不同流媒体服务器资源属性,采用动态区间映射方法进行副本放置。实验表明,基于用户访问统计特性的文件复制策略,提高了系统服务性能,保证了系统的负载均衡。

长三角区域经济一体化测度

区域经济完全一体化的各成员的产出份额在理论上应服从Zipf分布,各成员产出份额的实际分布与理论分布的距离则可以用来测度区域经济一体化的程度。实证分析表明,1978—2008年间,长三角的区域经济一体化是一个以上海为中心的一体化过程,并且长三角的区域经济一体化经历了"制度变迁推进型一体化"、"制度与市场角力型一体化"和"市场推进型一体化"三个阶段。