基于MapReduce的分布式近邻传播聚类算法

随着信息技术迅速发展,数据规模急剧增长,大规模数据处理非常具有挑战性.许多并行算法已被提出,如基于MapReduce的分布式K平均聚类算法、分布式谱聚类算法等.近邻传播(affinity propagation,AP)聚类能克服K平均聚类算法的局限性,但是处理海量数据性能不高.为有效实现海量数据聚类,提出基于MapReduce的分布式近邻传播聚类算法——DisAP.该算法先将数据点随机划分为规模相近的子集,并行地用AP聚类算法稀疏化各子集,然后融合各子集稀疏化后的数据再次进行AP聚类,由此产生的聚类代表作为所有数据点的聚类中心.在人工合成数据、人脸图像数据、IRIS数据以及大规模数据集上的实验表明:DisAP算法对数据规模有很好的适应性,在保持AP聚类效果的同时可有效缩减聚类时间.

贵州马铃薯种植区划

根据1961～1990国家气象局公开发表的88个县市的所有气象教据，在地理信息系（GIS）中，分别取各县市的经纬度值，以它们的年平均气温、1月均温、7月均温、活动积温、霜期、日照时数、日照率、年平均相对湿度、年降雨量及海拔等10个参数共计840个数据为分类依据.利用两维图论聚类分析技术，把贵州省88个县市1541个乡镇划分为4个一级区、8个二级区（亚区），并对各区的熟制、地形地貌、土壤、生态气候类型进行了分析、比较和评述，划分结果可为制定贵州省马铃薯产业发展规划提供参考依据。

基于梯形隶属函数的区间数模糊评价方法

用区间数表征事物特征更符合科学的严谨性,模糊理论在研究和解决模糊性问题方面有其独特的优势。在经典模糊理论和已有区间数的研究成果基础上,结合聚类的思想把隶属函数的研究在区间数上作了拓展,以梯形隶属函数为例,构建了隶属函数值,并对隶属函数值也是区间数这更一般形式模糊聚类的原理作了研究。事实上公路网综合水平的内涵和外延是不清晰的,是一个模糊系统,根据公路网的现状及可比较的原则,将构建的基于区间数的梯形隶属函数用于公路网综合水平评价,结果表明了评价的合理性。

基于工件聚类的并行机调度算法及其应用

针对纺织生产广泛存在的带工件释放时间、以最小化总拖期工件数和总拖期时间为目标的大规模并行机调度问题,提出一种基于工件聚类的遗传算法。该算法将求解过程分为工件聚类和工件排序两个阶段。在工件聚类阶段,基于影响并行机调度性能的重要调度特征量,采用改进的模糊C-均值聚类方法将所有待上机工件分为多个聚类;在工件排序阶段,采用基于规则编码的遗传算法,优化各聚类内工件的加工顺序。数值计算结果及实际应用效果表明,所提出的算法适用于求解带工件释放时间的大规模并行机调度问题。

无线传感器网络中能量有效的加权分簇算法

针对无线传感器网络中节点受到能量和带宽等资源严格制约的问题,通过分簇可以使网络中节点能量负载均衡,从而延长网络的生存周期。从能量和节点度的角度出发,分析了无线传感器网络中现有的一些分簇算法提出,了一种新的适合于无线传感器网络的能量有效的加权分簇算法,通过仿真和分析得出,该算法是一种有效的分簇算法。

一个改进的基于DBSCAN的空间聚类算法研究

DBSCAN是一个基于密度的聚类算法。该算法将具有足够高密度的区域划分为簇,并可以在带有“噪声”的空间数据库中发现任意形状的聚类。但DBSCAN算法没有考虑非空间属性,且DBSCAN算法需扫描空间数据库中每个点的ε-邻域来寻找聚类,这使得DBSCAN算法的应用受到了一定的局限。文中提出了一种基于DBSCAN的算法,可以处理非空间属性,同时又可以加快聚类的速度。

基于Hadoop分布式支持向量机球磨机大数据建模

大数据时代环境下,火电厂大量数据被存储到数据库中而不能被充分利用,由于双进双出钢球磨煤机系统的复杂性,很难建立其准确的机理数学模型,为此提出一种基于大数据挖掘的建模方法.首先分析影响磨煤机料位的因素,提取现场海量的实际运行数据,在Hadoop平台下利用K-Means聚类算法删除离群点,利用主成分分析法(PCA)降维完成属性约简,然后在MapReduce架构上采用分布式支持向量机(D_SVM)建立模型,实现计算并行化.结果表明,采取该方法提高了建模效率,所建立的模型具有很高的精确度,且具有很好的泛化能力,该模型可以用于表征实际料位的特性.

集群企业间知识转移策略——基于演化博弈理论的分析

基于演化博弈理论,构建了集群企业间知识转移的演化博弈模型,分析了集群企业间知识转移实现的动态过程和影响因素。研究结果显示:当企业从知识转移中获得的超额收益大于其支付成本时,最终会出现稳定的知识转移策略;通过增加差异化知识资源量、提高企业选择知识转移策略的概率、知识资源显性程度和企业间信任度,可促进博弈过程中更快实现知识转移。

利用颜色进行基于内容的图像检索

提出了一种新的基于颜色的图像检索算法.该方法根据颜色在图像中的分布信息,通过对像素点的加权处理确定最佳的颜色初始聚类数目,将经过加权处理的像素点进行聚类,得到图像主要颜色的统计特征,同时,在分析了主要颜色在图像中的散布情况后,利用主色的矩特征来描述各个主色在图像中的空间分布特征,结合颜色的统计特征与空间分布特征来描述图像的内容,保证图像在局部和整体上的一致性,实验证明该方法的检索精度明显要高于传统的仅基于颜色统计特征的检索结果.

基于形态学膨胀操作的小波图像压缩编码算法

提出了一种基于形态膨胀运算的对子带间重要系数位置信息进行联合编码的新型小波图像压缩编码算法。该算法首先对同一分辨率下水平、垂直、对角线子带内重要系数的位置信息统一表示在一个子带中,然后依据小波图像的能量聚类特性,采用一种形态膨胀编码算法来对重要系数的位置信息进行高效压缩编码。试验结果表明,该算法要优于零树小波图像压缩编码算法。

聚类思想在贝叶斯算法中的应用

在数据挖掘过程中,缺损数据是不可避免的,因此,数据预处理是必不可少的前提工作。在传统的数据预处理工作中,朴素贝叶斯算法是最常用的缺损数据修补算法。然而,现实世界中的数据经常不满足其属性独立性假设,分类结果不令人满意。文章基于聚类分析思想,提出了一种改进的贝叶斯算法。对大量数据的计算结果表明此方法的合理性、可信度优于朴素贝叶斯算法。

致密砂岩气藏水平井多簇分段压裂工艺

结合多簇分段压裂技术的原理及特点,针对多级管外封隔器分段压裂技术存在的施工管串工具较多、节流摩阻较大、无法开启特低渗储层段等技术瓶颈,文中提出了采用水溶性暂堵剂形成的水平井多簇分段压裂技术,并对暂堵剂的成胶状态、溶解性能和抗压性能进行了研究,最后在×井成功进行了现场试验。结果表明,×井获取无阻流量为11.1×104m3/d的高产气流。

黄泥河林区鼠类群落划分的研究

1988年6—7月,作者在吉林省黄泥河林区对森林鼠类群落划分进行了研究。将林区划分2个栖息地类型,依据物种组成相似系数及递归群划分法,划分出5个鼠类群落:即大林姬鼠+棕背(鼠平)群落;大林姬鼠群落;黑线姬鼠+大林姬鼠群落;东方田鼠+黑线姬鼠群落和棕背(鼠平)群落,并进行了讨论。

基于非均匀分簇的无线传感器网络路由协议

在无线传感器网络中,分簇技术是一种有效延长网络生命周期的方法;但是这种多跳的网络模型,如果节点均匀分布并且簇的大小相等,则靠近基站的簇头由于要中继更多的数据,则会导致能量空洞现象;因此提出一种非均匀分簇方法来缓解能量空洞问题;首先,通过节点的剩余能量、到基站的距离以及邻居节点数量来选择簇头;簇一旦形成之后,通过单跳和多跳的混合机制将数据发送到基站;实验结果表明,此协议能有效地延长网络的生命周期,均衡网络能耗,有效延缓能量空洞的形成速度。

基于可靠性的正则化加权软k-均值的子空间聚类

子空间聚类已经广泛应用于多个涉及高维数据聚类应用领域,受到机器学习研究者的广泛关注.子空间聚类方法是一种使用特征选择的聚类分析技术,通过选择重要特征子集实现对高维空间的低维表示,在实际应用中能够取得更好的性能,成为流行的高维数据聚类方法.与硬聚类方法相比,软聚类能够给出复杂数据更有意义的划分.扩展k-均值聚类并提出基于可靠性的正则化加权软k-均值新的子空间聚类方法(Reliability-based regularized weighted soft k-means clustering algorithm,RRWSKM),该方法能够计算每个特征对每个聚类的贡献度,从而找到与不同聚类相关的重要特征子集.另外,该方法能够通过调整模型参数准确地辨识数据模式,具有良好的聚类性能.该方法把维度加权熵和划分熵作为正则化项引入到目标函数,避免过拟合问题同时使更多的特征参与辨识聚类.为了提高算法的鲁棒性,使用可靠性测度获得特征权重初始值,提高算法的可靠性和性能.考虑到该算法是非凸优化问题,使用迭代优化方法得到优化问题的最优解.使用多个实际数据集对本文算法进行仿真验证,结果表明,与其他子空间聚类算法相比,该算法能够有效发现高维数据的低维表示,具有良好的聚类性能,适合高维数据的聚类.

中原城市群与产业群耦合发展研究

依托空间偏离-份额模型建立了产业群与城市群耦合发展的基本分析框架,并对中原城市群进行了定量诊断。研究结果表明:2001—2013年间,首位城市郑州的产业实力和集聚扩散能力显著提升,产业群与城市群的耦合在地理空间呈圈层式扩展态势,然而城市群尚未形成功能等级与分工协作明确的区域综合经济体。继续实施中心城市带动战略、发挥成员城市比较优势促进城际产业链接、完善城市群综合交通运输网络是促进产业群与城市群耦合、提高群域经济发展水平和增强城市竞争力的有效手段。

基于聚类分析的微粒群算法

在对基本PSO算法进行分析的基础上,针对PSO算法中的早熟收敛问题,提出了一种基于聚类分析的PSO算法(CPSO)。CPSO算法保证了微粒种群的多样性,使微粒能够有效地进行全局搜索。并证明了它依概率收敛于全局最优解。最后以典型的基准优化问题进行了仿真实验,验证了CPSO的有效性。

产业集群与城市化:基于外部性视角

技术外部性和货币外部性是产业集群形成的原因,又是产业集群的重要结果,外部性、产业集群从聚集生产要素与产业方面共同推动了城市化的进程。

河南产业集群发展现状及其竞争力分析

本文从发展规模、区域分布、行业分布、发展阶段等方面对河南产业集群发展现状进行分析,并对河南产业集群的竞争优劣势进行深入剖析,其研究结果对于制定未来河南省产业集群发展战略与方向具有一定的参考价值。

中国农村居民家庭消费性支出的应用研究——基于因子分析

文章利用2011年我国31个省、直辖市和自治区农村居民家庭每人消费支出的数据,运用因子分析找出影响我国农村居民家庭消费性支出的主导成分,并根据主因子进行排序和聚类。分析结果表明:农村居民消费支出随地区变化差异明显。少部分地区农村居民消费支出还仅仅局限于生存需要,大部分地区农村居民的生存需要已得到满足,消费处在转型和升级之中。根据我国农村居民消费性支出呈现的特征,提出了相应的策略。