基于余弦相似度的文本空间索引方法研究

基于相似度的数据空间索引在数据挖掘及数据可视化等方面有着重要的应用。本文以新闻的标题为研究对象,提出了以 CrossAVL为基础的文本对象层次式聚类方法以及文本信息空间索引算法 FastMap-MDS,有效地保持了文本对象间的相似信息。实验表明,该方法具有较高的效率和精度。

常熟市昆承湖水质时空变异特征和环境压力分析

采用综合指数法对近年来昆承湖水质变化趋势进行了分析,用模糊数学综合评价法对该湖2005年水质进行评价,用等级聚类法进一步分析了其水质的空间差异,用TSIM方法分析了昆承湖富营养化状况。结果表明:1998—2004年间,昆承湖污染总体上呈加重趋势,2003年污染最严重,在各污染因子中,氮污染负荷最大;昆承湖为Ⅴ类水或劣Ⅴ类水体;由于陆源污染差异和围网养殖的影响,湖区污染程度北湖>湖西区>南湖区;昆承湖TSIM>70,呈现较严重富营养化。并分析了昆承湖所承受的巨大环境压力。

一种基于U-AHC的不确定空间co-location模式挖掘算法

不确定数据在一些重要应用领域中是固有存在的,如传感器网络和移动物体追踪等.如何快速、方便、有效地从不确定数据库中发现潜在的、有价值的和人们感兴趣的信息变得越来越重要.首先,把传统的凝聚层次聚类算法(AHC)扩展到不确定的凝聚层次聚类算法(U-AHC),然后在聚类结果的基础上计算候选co-location模式的粗表实例,并对参与度小于最小参与度阈值的候选模式进行剪枝.接着展开其粗表实例并动态地实施剪枝,最后生成频繁的co-location模式.实验证明这个算法是正确的,而且效率较高.

基于凝聚层次聚类的co-location模式挖掘

空间的co-location模式代表一组空间对象的子集,它们的实例在空间中频繁地关联,它是空间数据挖掘的重要研究方向。本文首先介绍co-location模式挖掘的基本算法,然后提出一种新的挖掘算法,算法先对空间数据进行凝聚层次聚类,在聚类结果上挖掘co-location模式,最后对这种新的算法作实验评估。

HPLC指纹图谱控制复方丹参片质量

目的采用双定性双定量相似度作为评价指标,建立复方丹参片(CSMT)HPLC指纹图谱的全质量控制方法。方法采用RP-HPLC法以Century SIL C18BDS柱(250 mm×4.6 mm,5μm);以色谱指纹图谱指数F为目标函数优化选择指纹图谱检测条件,确定流动相组成是质量分数为1%的醋酸水溶液-质量分数为1%的醋酸甲醇溶液低压梯度洗脱,紫外检测波长290 nm,柱温(30.00±0.15)℃,进样量5μL。以双定性相似度均值和双定量相似度均值为参量通过对20批复方丹参片进行系统聚类分析确定用其中10批生成复方丹参片对照指纹图谱(RFP),以此RFP为标准对总计20批复方丹参片采用双定性双定量相似度法进行质量评价。结果以丹酚酸B(SAB)为参照物峰,确定40个指纹峰,建立了复方丹参片HPLC指纹图谱。用双定性相似度评价15批样品的化学成分数量和分布比例都合格,但其中仅8批双定量相似度合格,为质量完全合格品。其它7批含量明显偏低,生产时应根据双定量相似度偏低程度提高投料量或者适当增大服用剂量。其余5批都存在化学成分和分布比例不合格特征,有2批含量相似度合格和3批含量相似度明显偏低。结论在OTC中随机选择的20批复方丹参片,无明显的劣质品出现,若按指纹图谱技术控制则出现明显的质量差异,因此所建立的具有较好精密度和重现性的复方丹参片的HPLC指纹图谱,完全适用于复方丹参片的生产质量控制。试验证明了双定性双定量相似度法是宏观定性定量评价中药复方制剂质量的最理想和最客观的指纹图谱评价技术。

用HPLC指纹图谱对复方甘草片实施全质量控制研究

目的采用双定性双定量相似度作为评价指标,建立了复方甘草片(CLTs)HPLC指纹图谱的全质量控制方法。方法采用RP-HPLC法以Century SIL C18BDS柱(200mm×4.6mm,5μm);以色谱指纹图谱相对指数Fr为指标优化选择指纹图谱检测条件,确定流动相为1%醋酸水-1%醋酸乙腈低压梯度洗脱,紫外检测波长:254nm,柱温:(30.00±0.15)℃,进样量:5μL。以双定性相似度为参量通过对21批CLTs进行系统聚类分析确定用其中13批CLTs对照指纹图谱(RFP),以此RFP为基础对总计26批CLTs采用双定性双定量相似度法进行质量评价。结果以甘草酸峰为参照物峰,确定35个指纹峰,建立了复方甘草片HPLC指纹图谱。用双定性双定量相似度法评价出11批质量完全合格,3批含量明显偏高,6批含量明显偏低,1批化学成分分布比例不合格,有劣质品(伪品)5批。结论所建立HPLC指纹图谱具有较好的精密度和重现性,适用于复方甘草片的质量控制。双定性双定量相似度法是宏观定性定量评价中药制剂质量的最合理、最客观的指纹图谱评价技术。

用HPLC指纹图谱宏观全定性全定量评价天麻质量

目的采用双定性双定量相似度为评价指标,建立宏观全定性全定量控制天麻质量的方法。方法采用反相HPLC法,以色谱指纹图谱指数F为目标函数优化选择指纹图谱条件,测定12批不同产地天麻HPLC指纹图谱,以双定性相似度(SF与SF′)和双定量相似度(C与P)评价不同产地天麻质量。结果以天麻素峰为参照物峰,确定26个指纹峰,通过聚类分析确定用8批天麻生成对照指纹图谱(RFP),以此评价12个产地的天麻药材质量。结论所建立指纹图谱具有较好的精密度和重现性,可作为天麻药材质量控制和真伪鉴别的有效方法。

双定性双定量相似度法评价麻黄真实质量

目的应用双定性双定量相似度法评价麻黄药材质量。方法采用反相高效液相色谱法,以CenturySIL C18BDS(200 mm×4.6 mm,5μm)色谱柱,以色谱指纹图谱信息量指数I为目标函数优化选择指纹图谱检测条件,确定以0.1%磷酸水-甲醇溶剂系统为流动相,线性梯度洗脱,流速为1.0 mL.min-1,柱温(30.00±0.15)℃,进样量10μL,紫外检测波长210 nm。以双定量相似度为参量通过对10批麻黄进行聚类分析并进行质量评价。结果以麻黄碱峰为参照物峰,确定了41个共有峰,建立了麻黄HPLC指纹图谱,用双定性双定量相似度法评价出3批质量完全合格,3批含量明显偏高,3批含量偏低,1批化学成分分布比例与含量不合格。结论所建立HPLC指纹图谱稳定性和特征性较强,用双定性双定量相似度法可从宏观角度定性定量鉴别麻黄质量。

白洋淀近30年水质时空变化特征

运用综合污染指数法、累积距平法、Mann-Kendall检验法、分层聚类法,研究了白洋淀水质时空变化特征。结果表明:白洋淀近30年(1988-2016年)综合污染指数呈现波动变化,2015年水质最差,水质平均污染指数(WQI)达2.229;在年内变化上,综合污染指数7月最高,2月最低,夏季>秋季>春季>冬季,且TN污染指数最高;在空间分布上,南刘庄所在的西北部淀区水质最差,其次是东部和南部的光淀张庄、枣林庄、圈头、端村、采蒲台,北部的王家寨、烧车淀水质较好。

一种快速相似视频检索方法

为了解决相似性视频检索中相似性度量和快速检索两个难题,本文提出了一种新的相似性视频快速检索方法.从视觉相似性出发,根据视频的时空分布特征统计计算压缩视频签名,通过视频签名的距离度量视频相似性.为了适应可扩展计算的需要,提出了基于聚类索引表的检索方法.通过对大规模数据库的查询测试结果证明该相似性检索算法快速有效.

一种快速有效的相似视频检索方法

提出了一种新的相似视频快速检索方法.根据视频的时空分布统计得到图像特征码和视频单元,通过统计视频单元数量度量视频相似性.为了适应可扩展计算的需要,提出了基于聚类索引表的检索方法.通过对大规模数据库的查询测试证明该相似性检索算法快速有效.

考虑多维特征的船舶轨迹分层聚类算法

为准确聚类复杂的船舶轨迹和辨识隐蔽轨迹簇,提出一种考虑多维特征的船舶轨迹分层聚类算法。用核心萤火虫算法(core firefly algorithm,CFA)解决具有噪声的基于密度的空间聚类(density-based spatial clustering of applications with noise,DBSCAN)算法的邻域查询冗余和参数敏感问题,并在传统船舶轨迹聚类特征的基础上引入水域环境、轨迹线型和时隙特征来分层建立轨迹相似性度量指标,最终实现轨迹的逐层递进聚类。以厦门港及其附近水域的AIS数据验证算法的有效性,检验结果表明:船舶轨迹由算法聚类为9簇;簇内动态时间规整(dynamic time warping,DTW)距离均值为5.199,簇间DTW距离均值为18.032;聚类结果符合实际的船舶交通流情况,聚类准确率为91.50%。可见,提出的算法相比其他常用的轨迹聚类算法能更有效地辨识轨迹地理分布和船舶运动特征的异同,更容易发现隐蔽的轨迹簇。由提出的算法聚类的同簇轨迹,其船舶运动特性更相似,聚类结果可为船舶交通流特性分析及船舶行为模式识别等提供典型的轨迹样本。

基于空间聚类的中国东北气候分区及其气象干旱时间变化特征

近50年来,中国东北地区干旱化趋势明显,越来越频繁的干旱事件对该区域人民的生产和生活造成了严重的影响。基于1961-2016年中国地面降水和气温月值0.5°×0.5°格点数据,利用空间系统聚类方法对中国东北进行气候分区,通过标准化降水指数探讨了中国东北各亚区气象干旱的时间演变规律,并结合小波功率谱和小波全谱分析了各亚区干旱的周期变化特征。结果表明:(1)空间上,可将东北地区分为8个气候亚区,即西辽河平原半干旱农牧区、吉辽东部山地湿润农林区、呼伦贝尔高原半干旱牧业区、东北中部半湿润-半干旱农牧区、黑吉东部山地湿润农林区、大兴安岭北部湿润林业区、呼伦贝尔-黑河湿润-半湿润农林区、三江平原湿润农业区;(2)不同亚区的干旱事件时间演变特征存在明显差异,但大致都经历了3个干旱时期:1960s后期、1970s中后期至1980s前期、1990s后期至2000s;2000-2010年间东北地区干旱发生频率和影响范围最大,尤其是中、西部;(3)不同亚区干旱变化主要存在11年和3~8年的显著周期,第一主周期差异明显。研究结果对于弄清楚中国东北各亚区特有的气候变化驱动因素、制定气候均质区域干旱监测计划和水资源的管理具有重要的现实意义。

一种逐级合并OD流向时空联合聚类算法

现有OD流向聚类多将O点和D点相分离或者将OD流向看作4维空间的数据点进行聚类处理,忽视了流向长度、方向、时间对流向聚类的影响。本文以流向作为研究对象,提出一种基于流向间相似性度的逐级合并OD流向时空联合聚类算法。首先在充分研究OD流向的空间信息和时间信息的基础上,构建合理的OD流向间时空相似性度量方法,对OD流向间的时空相似性进行量化;然后提出逐级合并OD流向聚类策略,优化类簇合并的顺序,以减少层次聚类的时间开销,实现OD流向的时空联合聚类。以成都市的滴滴出行OD数据和纽约市出租车数据为例对本文方法进行了验证,结果表明:①本算法聚类获得的流向类簇不仅带有空间特征还具备时间特征;②在不同参数下本方法可以得到不同时空尺度的聚类结果;③与现有较高水平的流向聚类算法相对比,本文方法的聚类效果更好。这体现在流向类簇内部的流向之间有着充分的相似性,以及本文方法不仅可以提取出显著的流向类簇,还可以提取出非热点区域之间的流向类簇。本算法顾及空间因素和时间因素,可以通过调整时空相似性度量方法中的时间参数和空间参数以实现不同时空尺度的流向聚类,这使得从不同时空角度研究城市居民出行模式成为可能。本文提出的OD流向时空联合聚类算法从联合时间信息和空间信息的角度获得对运动数据的新见解,有助于合理全面地研究居民的移动模式、区域之间的空间联系、已知出行结构的确定以及出行目的的探索,是后续一系列分析工作的基础。