Application of Two-Order Difference to Gap Statistic

Gap statistic is a well-known index of clustering validity, but its realization is difficult to be comprehended and accurately determined. A direct method is presented to improve the performance of the Gap statistic, which applies the two-order difference of within-cluster dispersion to replace the constructed null reference distribution in the Gap statistic. Hence, the realization of the Gap statistic becomes easy and is reformulated, and its uncertainty in applications is reduced. Also, the limitation of the Gap statistic is analyzed by two typical examples, that is, the Gap statistic is difficult to be applied to the dataset that contains strong-overlap or uneven-density clusters. Experiments verify the usefulness of the proposed method.

基于门控循环单元的链路质量预测

无线传感器网络中,节点传输数据时容易受到环境中噪声的干扰,使传输链路质量变差,导致数据包丢失、消息重发,从而加速节点能量的消耗,缩短网络寿命。链路质量预测可以为上层路由协议选择高质量的无线链路进行通信提供依据,通过链路质量预测选取高质量的链路传输数据,可以提高数据传输效率,减少重传次数。本文提出基于门控循环单元(gate recurrent unit,GRU)的链路质量预测方法。首先,采用Gap Statistic算法优化的Kmeans++算法,依据包接收率的分布自适应划分链路质量等级,获得链路质量样本标签;其次,选择接收信号强度均值、链路质量指示均值及信噪比均值作为输入,借助CatBoost在分类问题上的优势,构建链路质量评估模型,并采用网格搜索法对参数寻优;最后,使用滑动时间窗口构建链路质量等级时序样本集,使用GRU提取链路质量等级时间序列的时序信息,为进一步提高预测的准确率,采用支持向量回归机构建链路质量预测模型,预测下一时刻链路质量等级。本文采用真实场景中的数据进行实验,根据主要干扰源不同,选择实验室、走廊和停车场3个场景收集数据,使用均方误差评价链路质量预测模型的有效性。实验结果表明,与小波神经网络、循环神经网络和随机向量函数链等方法相比,所提方法具有更小的预测误差,可以准确预测链路质量等级。

差分拉曼光谱技术结合K-means聚类法对牙膏的快速分类

建立了差分拉曼光谱技术结合K-means聚类法对牙膏快速分类的方法。对37个牙膏样品编号,将其分别涂抹于载玻片上,晾干,使用差分拉曼光谱仪进行扫描。调用R语言软件中fpc、factoextra、cluster数据库中的na.omit和scale函数对37个牙膏样品的差分拉曼光谱数据进行标准化处理,利用手肘法和Gap Statistic算法优化聚类数。在最佳聚类数为4的条件下,通过K-means聚类法对牙膏样品进行分类,并使用层次聚类分析法进行验证。结果显示,37个牙膏样品被分为4类,并且两种方法的分类结果一致。

基于多元分析的食用油油桶差分拉曼光谱的分类研究

目的对纵火类案件现场所遗留食用油油桶物证进行快速无损检验及区分,为公安机关侦查破案提供线索。方法采用最新的差分拉曼光谱技术对26个食用油油桶及桶盖,共计52个样品进行检验。首先,通过传统谱图分析对2类样品进行初步分类,同时,结合多元分析,对桶盖进行分层聚类,对桶身再利用Gap statistic算法确定k值的基础上K-means聚类分析。结果成功将桶盖分为了3类,桶身分为3类,且对桶盖和桶身所得分类结果都与已知样品所属类别一致。结论此方法可对食用油油桶进行快速无损检验及区分,为现场遗留有食用油油桶的纵火案件侦破提供一定的帮助。

基于改进K-means算法的指标阈值告警方法研究

电网企业信息化运维系统需要监测资源指标的异常状态,由人工录入指标告警阈值规则的配置成本和维护成本较高,且欠缺灵活性。设计一种改进K-means算法对指标历史数据按时间划分,分析出各时段的动态阈值降低人工参与度。算法首先将手肘法和Gap Statistic法相结合来确定最佳聚类数,然后基于变步长萤火虫算法确定初始聚类中心点,最后进行K-means迭代分析输出聚类结果。实验结果表明,改进K-means算法能有效聚类分析出指标的阈值区间,提高了阈值规则的灵活性和电网企业运维现场的告警准确性。

基于改进K-means算法的犯罪预测模型

随着大数据时代的来临,公安部门积极推进"智慧公安"警务改革,犯罪预测成为其中的重要内容。有效的犯罪预测有助于预防犯罪,维护社会稳定。但是由于犯罪环境的复杂性,犯罪诱因的多样性,犯罪预测始终是一个具有挑战性的难题。为量化预测犯罪提供可能性,构建了一种基于改进K-means算法的犯罪预测模型。通过Gap Statistic方法自动确定聚类数目,克服了K-means算法无法确定k值的缺点。实验结果表明,该模型可以成功确定犯罪热点数量并进行聚类分析,提高了犯罪预测的客观性和准确性。

基于改进K-means的大气污染物高维度信息研究

对中国2013~2018年高分辨率大气污染分析开放数据集采用传统数据挖掘方法时,面临数据量大、挖掘效率低等难题,改用基于Spark K-means的聚类方法对大气污染物海量信息进行研究。以6种常见大气污染物和5种环境影响因子为例,建立了Pm_(2.5)、Pm_(10)、SO_(2)、NO_(2)、CO、O_(3)和Temp等数据维度模型。对K-means算法选择初始聚类数K值时,利用Gap Statistic算法相比传统K-means算法利用SSE算法确定K值,Gap Statistic算法在高维度样本数据模型中确定K值更合理且直观。