Multi-Hazard Evaluation Using Cluster Analysis—For Designated Evacuation Centers of Yokohama

Hazard maps are usually prepared for each disaster, including seismic hazard maps, flood hazard maps, and landslide hazard maps. However, when the general public attempts to check their own disaster risk, most are likely not aware of the specific types of disaster. So, first of all, we need to know what kinds of hazards are important. However, the information that integrates multiple hazards is not well maintained, and there are few such studies. On the other hand, in Japan, a lot of hazard information is being released on the Internet. So, we summarized and assessed hazard data that can be accessed online regarding shelters (where evacuees live during disasters) and their catchments (areas assigned to each shelter) in Yokohama City, Kanagawa Prefecture. Based on the results, we investigated whether a grouping by cluster analysis would allow for multi-hazard assessment. We used four natural disasters (seismic, flood, tsunami, sediment disaster) and six parameters of other population and senior population. However, since the characteristics of the population and the senior population were almost the same, only population data was used in the final examination. From the cluster analysis, it was found that it is appropriate to group the designated evacuation centers in Yokohama City into six groups. In addition, each of the six groups was found to have explainable characteristics, confirming the effectiveness of multi-hazard creation using cluster analysis. For example, we divided, all hazards are low, both flood and Seismic hazards are high, sediment hazards are high, etc. In many Japanese cities, disaster prevention measures have been constructed in consideration of ground hazards, mainly for earthquake disasters. In this paper, we confirmed the consistency between the evaluation results of the multi-hazard evaluated here and the existing ground hazard map and examined the usefulness of the designated evacuation center. Finally, the validity was confirmed by comparing this result with the ground hazard based on the actual measurement by the past research. In places where the seismic hazard is large, the two are consistent with the fact that the easiness of shaking by actual measurement is also large.

一种修正评分偏差并精细聚类中心的协同过滤推荐算法

协同过滤作为国内外学者普遍关注的推荐算法之一,受评分失真、数据稀疏等问题影响,算法推荐效果不尽如人意。为解决上述问题,文章提出了一种改进的聚类协同过滤推荐算法。首先,该算法利用无监督情感挖掘技术将评论情感映射为一个固定区间中的值,通过加权修正用户评分偏差;然后,构建修正后用户-产品评分矩阵的数据场,利用启发式寻优算法计算最佳聚类数和最优初始聚类中心,进而对用户进行划分聚类,结合最近邻用户相似性与评分产生推荐结果;最后,基于三个自建真实数据集对所提算法性能和有效性进行全面评估。实验结果表明,改进算法在精度Precision、召回率Recall和F1-Score评价指标上的表现均优于其他算法,能够有效应对数据稀疏的问题,提升推荐系统的推荐效果。

基于MapReduce的大规模网络社区发现算法

社区发现是社会网络挖掘领域的基本问题。随着海量数据的迅速产生,传统社区发现算法愈发难以处理大规模社会网络。因此,针对大规模网络设计高效的社区发现算法意义重大。文中提出了一种基于MapReduce和k中心聚类的新型分布式算法。首先,该算法提出“朋友圈系数”技术,该技术可更加准确地度量结点间的距离。其次,该算法提出“两阶段k中心聚类”技术,该技术在选取中心点过程中融入结点中心度启发式信息,可显著优化输出结果的模块度。最后,该算法提出“以模块度为优化目标的社区融合”技术,该技术能够在无先验知识的前提下自动确定网络中的社区数目。实验结果表明,所提算法的社区发现结果模块度明显优于最先进的社区发现算法。例如,相比LPA算法,其将模块度平均提升9.19倍。

“东数西算”工程背景下韶关数据中心集群建设思路

当今全球已经进入数字化时代,信息数据量迅猛增长,算力资源的重要性也日益提升。为了支持处理这些海量数据,需要建设大量的数据中心建筑。文章基于“东数西算”工程的架构指引,通过总结韶关地区区位环境和产业资源现状,分析了建设韶关数据中心集群在能源利用和算力利用方面面临的挑战,并提出了针对性的建设思路。

从单机到双活数据中心建设的思考

公立医院高质量发展促进行动要求提升医院信息化建设标准,促进智慧医疗实施,匹配当下人民群众就医服务体验,提升医院医疗满意度。为实现智慧医院的数字化医疗,支撑医疗业务模式的转型,建设安全、可靠的私有云基础架构是必然的趋势。提高数据的可靠性和安全性,保障医疗信息系统持续化服务,也是当前很多医院在私有云建设中的挑战。该文阐述泰兴中医院在双活数据中心的一些建设思考,介绍如何从单机平台逐步升级为双活数据中心,从而实现私有云的安全可靠建设。

基于Tukey规则与初始中心点优化的K⁃means聚类改进算法

针对K⁃means聚类算法存在的初始中心点选择及异常点、离群点极易影响聚类结果等待改进问题,提出了一个基于Tukey规则与优化初始中心点选择的K⁃means改进算法。该算法利用Tukey规则构造核心与非核心子集,将聚类过程划分成2个阶段。同时,在核心子集上执行中心点逐个递增优化选择策略,选出初始中心点。在来自UCI的20个数据集上聚类结果表明,本文提出的算法优于K⁃means++聚类算法,有效地提升了聚类性能。

基于数据挖掘的数据库信息查询访问控制系统设计

为增强数据库信息查询机制的完整性,使得网络主机可以有效控制数据信息参量的访问连接行为,设计基于数据挖掘的数据库信息查询访问控制系统。以CloudFileUser控制主机作为核心应用结构,调节Server查询模块与数据处理模块之间的实时连接关系,完成访问控制系统的硬件执行环境搭建。根据数据挖掘原理,提取数据簇中心,根据待转换数据集合定义表达式,计算挖掘指令的执行深度,实现控制系统软件执行环境的搭建,结合相关硬件应用设备,完成基于数据挖掘的数据库信息查询访问控制系统设计。对比实验结果表明,所设计系统的信息查询完整性系数最大值可以达到71.6%,网络主机与信息访问连接有效性得到大幅提升。

基于耦合度量的负载平衡大数据聚类挖掘方法

针对传统算法在挖掘负载平衡数据时,常常会出现挖掘效率低、误差高等问题,提出基于耦合度量的负载平衡大数据挖掘方法.在对耦合度量算法分析后,利用K-tras分割聚类算法不断更新聚类中心,完成负载平衡大数据的聚类;计算负载平衡数据的最优分类面和量化后的矢量轨迹,完成数据挖掘.实验结果表明,所提方法取得了理想的挖掘效率、查全率及较低的挖掘误差.

一种配网线损在线监测数据缺失自适应填补方法设计

配网线损在线监测数据缺失点位置难捕捉,导致数据填补误差增加,为了有效解决这一问题,该文提出基于加权类平均的配网线损在线监测数据缺失自适应填补方法。计算配网线损在线监测区域中特征最为明显的线损点,提取线损点参数建立聚类中心。根据聚类中心的聚类簇建立损失函数,确定配网线损数据缺失数据区域。查找损失量最大且与该样本相似性最高的数据点,确定配网线损在线监测数据缺失点位置。采用加权类平均填补法赋予每组缺失数据不同的权重,通过权重匹配实现数据缺失自适应填补。实验数据表明,该方法的数据缺失自适应填补效果好,填补误差较低,填补结果具有可靠性。

一种融合α度量的混合数据K-prototypes算法

在大数据背景下,分类型数据与混合型数据开始大量出现,如何更好地计算这类数据的相异性度量成为研究焦点。相比特定属性代表特定类的表达形式,模糊类中心表达形式因为含有更多信息、可计算欧氏距离、能更完善地展示不同样本之间的差异性等优点而得到推广使用。模糊类中心是定和为1的频率向量,这同时也符合成分数据的定义,因此,文章引入成分数据处理方式,提出一种融合α度量的改进K-prototypes算法(α-K-prototypes)。针对α度量的特殊性设定了权重调整系数,让分类型数据距离更具有解释性。在实验对比后发现,α-K-prototypes算法在UCI的7个数据集上均优于K-prototypes、K-centers、Improved-K-prototypes算法。为了更好地在实际中应用,文章给出了一种较优α计算准则,并证明其在统计意义上是显著的。

OTN技术在数据中心集群化发展中的运用分析

为了进一步提升数据中心的集群化发展水平,要整合技术要点,建立健全且更加可控化的技术应用模式,以便于能及时完成技术处理工作,从而更好地提高数据中心的应用效能.首先简要分析光传送网(Optical Transport Network,OTN)技术,其次对OTN技术在数据中心集群化发展中的应用展开讨论,最后对技术应用提出了几点建议.

全国一体化算力网络国家枢纽节点(甘肃·庆阳)建设对策措施研究

2021年底,甘肃省启动建设全国一体化算力网络国家枢纽节点,并设立了庆阳数据中心集群。文章探究了全国一体化算力网络枢纽节点(甘肃·庆阳)的建设背景、目的和意义,分析梳理了实施进展情况,从算力资源调度、网络通道、能耗指标、绿色发展需求等层面分析了甘肃枢纽节点建设当前阶段存在的一些问题和短板,并提出了对策建议,为进一步推动甘肃枢纽节点建设提供了具体路径。

基于改进灰色聚类算法的云架构数据中心网络异常流量过滤算法

为避免异常流量影响云架构数据中心网络安全运行,需要对云架构数据中心网络异常流量进行过滤。异常流量在不同信噪比和信道条件下过滤难度不同,为了在不同过滤条件下保障异常流量过滤效果,提出了基于改进灰色聚类算法的云架构数据中心网络异常流量过滤算法。通过时间-频率分析构建了云架构数据中心网络流量传输模型,采集网络流量序列;引入加权广义距离改进灰色聚类算法,利用改进的灰色聚类算法计算网络流量序列特征最佳聚类结果,实现流量序列特征提取;通过主成分分析法获取流量序列特征的主分量特征值,构建两个子空间,将流量特征以矩阵方式映射到两个子空间中;根据映射周期向量的平方预测误差与阈值计算结果,过滤异常流量。实验结果表明,该算法可通过聚类实现数据中心网络流量序列特征提取,在不同信噪比和信道条件下有效过滤异常流量;当网络信噪比为25dB且流量在高斯信道中传输时,异常流量过滤效果更突出。

HWM： a hybrid workload migration mechanism of metadata server cluster in data center

In data center, applications of big data analytics pose a big challenge to massive storage systems. It is signif- icant to achieve high availability, high performance and high scalability for PB-scale or EB-scale storage systems. Meta- data server （MDS） cluster architecture is one of the most effective solutions to meet the requirements of applications in data center. Workload migration can achieve load balance and energy saving of duster systems. In this paper, a hybrid workload migration mechanism of MDS cluster is proposed and named as HWM. In HWM, workload of MDS is classi- fied into two categories： metadata service and state service, and they can be migrated rapidly from a source MDS to a target MDS in different ways. Firstly, in metadata service migration, all the dirty metadata of one sub file system is flushed to a shared storage pool by the source MDS, and then is loaded by the target MDS. Secondly, in state service mi- gration, all the states of that sub file system are migrated from source MDS to target MDS through network at file granular- ity, and then all of the related structures of these states are reconstructed in target MDS. Thirdly, in the process of work- load migration, instead of blocking client requests, the source MDS can decide which MDS will respond to each request according to the operation type and the migration stage. The proposed mechanism is implemented in the Blue Whale MDS cluster. The performance measurements show that the HWM mechanism is efficient to migrate the workload of a MDS cluster system and provides low-latency access to metadata and states.

K-means算法的初始值选取问题的研究

随着数据爆发式的增长,数据挖掘算法的使用更加频繁,因此选取合适的数据挖掘算法进行数据分析是非常有必要的。本文对确定K-means算法初始值的问题,提出了一种数据预处理的优化方案。通过对目标数据集进行Canopy算法处理,并对Canopy算法执行后的分组进行降噪、合并,以最终的分组个数作为K-means算法的分组K值,并以各分组的重心作为初始聚类重心,从而确定K-means算法的初始值。对比实验的结果显示,优化后的K-means算法具有更好的聚类效果。

基于数据特征的配电网同期线损异常辨识方法

当前配电网同期线损异常辨识方法存在辨识结果不精准的问题,提出了基于数据特征的配电网同期线损异常辨识方法。确定配电网同期线损数据正“秩和”与负“秩和”近似相等特征关系,分析配电网同期线损异常情况,动态管控配电线路。构造密度指峰函数,避免出现相距较近的聚类中心,聚类数据特征向量。计算待辨识向量与实际向量之差,构建支线回路关联矩阵,判断数据是否为异常数据,实现配电网同期线损异常辨识。实验结果表明,所提方法的异常数据变化曲线与实际异常数据变化曲线一致,且在0~8、0~9支线上,只存在1个异常数据辨识误差,具有精准的辨识结果。

Consolidated cluster systems for data centers in the cloud age： a survey and analysis

In the cloud age, heterogeneous application modes on large-scale infrastructures bring about the chal- lenges on resource utilization and manageability to data cen- ters. Many resource and runtime management systems are developed or evolved to address these challenges and rele- vant problems from different perspectives. This paper tries to identify the main motivations, key concerns, common fea- tures, and representative solutions of such systems through a survey and analysis. A typical kind of these systems is gener- alized as the consolidated cluster system, whose design goal is identified as reducing the overall costs under the quality of service premise. A survey on this kind of systems is given, and the critical issues concerned by such systems are sum- marized as resource consolidation and runtime coordination. These two issues are analyzed and classified according to the design styles and external characteristics abstracted from the surveyed work. Five representative consolidated cluster systems from both academia and industry are illustrated and compared in detail based on the analysis and classifications. We hope this survey and analysis to be conducive to both de- sign implementation and technology selection of this kind of systems, in response to the constantly emerging challenges on infrastructure and application management in data centers.

大数据下的快速KNN分类算法

针对K最近邻算法测试复杂度至少为线性,导致其在大数据样本情况下的效率很低的问题,提出了一种应用于大数据下的快速KNN分类算法。该算法创新性地在K最近邻算法中引入训练过程,即通过线性复杂度聚类方法对大数据样本进行分块,然后在测试过程中找出与待测样本距离最近的块,并将其作为新的训练样本进行K最近邻分类。这样的过程大幅度地减少了K最近邻算法的测试开销,使其能在大数据集中得以应用。实验表明,该算法在与经典KNN分类准确率保持近似的情况下,分类的速度明显快于经典KNN算法。

基于残差分析的混合属性数据聚类算法

针对混合属性数据聚类结果精度不高、聚类结果对参数敏感等问题,提出了基于残差分析的混合属性数据聚类算法(Clustering algorithm for mixed data based on residual analysis)RA-Clust.算法以改进的熵权重混合属性相似性度量对象间的相似性,以提出的基于KNN和Parzen窗的局部密度计算方法计算每个对象的密度,通过线性回归和残差分析进行聚类中心预选取,然后以提出的聚类中心目标优化模型确定真正的聚类中心,最后将其他数据对象按照距离高密度对象的最小距离划分到相应的簇中,形成最终聚类.在合成数据集和UCI数据集上的实验结果验证了算法的有效性.与同类算法相比,RA-Clust具有较高的聚类精度.

对k-means初始聚类中心的优化

针对传统k-means算法对初始聚类中心敏感的问题,提出了基于数据样本分布选取初始聚类中心的改进k-means算法。该算法利用贪心思想构建K个数据集合,集合的大小与数据的实际分布密切相关,集合中的数据彼此间相互靠近。取集合中数据的平均值作为初始聚类中心,由此得到的初始聚类中心非常接近迭代聚类算法期待的聚类中心。理论分析和实验结果表明,改进算法能改善其聚类性能,并能得到稳定的聚类结果,取得较高的分类准确率。