基于BayesShrink阈值估计的混合属性数据聚类优化仿真

与单一属性数据不同,混合属性数据通常存在尺度不一致的特点,为了可以得到准确率更高的混合属性聚类结果,提出一种基于k最近邻的混合属性聚类算法。采用高频系数滑动窗口准确估计含有噪声的混合属性数据噪声方差,通过BayesShrink阈值估计算法得到最佳阈值,对混合属性数据展开去噪。采用k最近邻方法展开数据聚类,在去噪后的数据样本贡献度中加入特征权重,并计算融入贡献度后的特征权重欧几里得距离,距离越近,说明数据属于同一类别的概率就越大,对全部样本特征展开加权处理后,构建混合属性聚类模型,利用粒子群算法对模型展开寻优,获取最优加权特征向量,实现混合属性数据聚类。仿真结果表明,所提算法可以有效提升混合属性聚类结果的精度和聚类效率。

混合属性数据深度无监督融合特征学习方法

高质量的特征表示是实现数据精准挖掘的关键。针对现有特征学习方法难以有效提取混合属性数据中不同属性之间关联和数据内部真实信息的问题,提出一种面向混合属性数据的深度无监督融合特征学习模型(DUFERM)。该模型建立了一个双模态自编码器框架,对分类属性和数值属性采用不同路径进行建模,并采用深度多模态融合策略加深两种属性之间的联系;针对分类属性构建基于加权异构网络的离散特征自编码器,充分挖掘分类属性内部的结构和语义信息,针对数值属性构建连续特征自编码器,两个独立的自编码器以联合表示的形式组合在公共潜在表示层中;最后以预训练和联合训练相结合的无监督训练方式获得混合属性数据的融合特征表示。在10个公开数据集上的大量实验表明,所提DUFERM模型在各项评价指标上的综合性能优于现有经典的和新颖的混合属性数据特征学习方法,可以充分提取混合属性数据内部潜在特征,取得高质量的融合特征表示结果并提升下游数据挖掘任务的准确性。

基于居民属性数据的出行碳排放预测模型

准确分析居民出行方式的碳排放及方式选择影响因素的重要性和敏感性,是精准制定交通减排措施的基础。根据居民出行调查的家庭属性、个人属性、出行属性和环境属性等影响因素综合分析,基于LightGBM(Light Gradient Boosting Machine)构建了居民出行方式预测模型并进行验证,结合出行活动水平、各种能源类型的碳排放系数、标准煤系数等参数,构建了基于居民属性数据的出行碳排放预测模型;最后,以广州市为例进行实证分析,对居民出行方式和碳排放总量进行预测,并分析了出行方式选择影响因素的重要程度和重要因素敏感性。结果表明:基于居民属性数据构建的碳排放预测模型,能较为精确地预测各种出行方式的碳排放,较好地分析碳排放的影响因素重要性和敏感性,以及全面揭示出行行为、出行方式和出行碳排放之间的关系。其中,起终点距最近公交站的距离或距最近地铁站的距离、自驾车费用、出行距离等是影响居民出行方式选择的重要因素。当起终点距最近地铁站距离下降55%时,地铁出行竞争力随着距离缩短而明显提升;在公交站点密度较大的区域,起终点距最近公交站距离对居民出行方式选择不敏感;当碳排放费用增加400%时为居民出行方式和碳排放的转折点,超过转折点后小汽车出行方式难以转移;当出行距离下降幅度在90%以内时,碳排放下降速度最快,最大降幅为90.4%。

基于联邦学习的网络多敏感属性数据并行加密

网络多敏感属性数据量较大,且噪声数据占比较高,导致数据加密效果不佳。因此,提出基于联邦学习的网络多敏感属性数据并行加密方法。在去中心化联邦架构下,构造公钥密钥和私钥密钥。选取两个维度数据构成网络多敏感属性数据集合,将多敏感属性数据作为子密文对数据进行训练,并将输入的随机误差向量作为基础密文。构建基于联邦学习的并行加密框架,结合重加密方法完成多敏感属性数据的并行加密。实验结果表明,该方法加密过程中的最大平均绝对误差仅达到0.2,能够有效剔除全部噪声数据,并保证数据不被泄露,加密效果好。

基于新的距离度量的异构属性数据子空间聚类

真实数据集中往往包含分类属性和数值属性,其中分类属性可分为有序属性和标称属性,同时具有分类属性和数值属性的数据集可称为异构属性数据。针对现有异构属性数据距离度量不区分分类属性中的有序属性导致信息缺失、聚类效果不理想这一问题,提出了一种基于新的距离度量的异构属性数据子空间聚类算法。首先,总结了现有的异构属性数据距离度量的思路和区分有序属性的解决方案;其次,利用不同属性的数据特征分别定义了有序属性、标称属性和数值属性下的属性值之间的距离公式;再次,利用簇间差异和簇内距离这2个因素分别给出了不同属性在聚类过程中的动态加权方案;最后,联立距离公式和加权机制得到了可适用于异构属性数据的距离度量,进而设计了一种基于新的距离度量的异构属性数据子空间聚类算法。由于该算法既统一了异构属性数据的距离度量又能在子空间中进行簇搜索,因此该算法能在异构属性数据集上取得良好的聚类效果,在11个真实数据集上的对比实验结果验证了此算法的有效性。

配送属性数据驱动的协同配送联盟组建

为解决潜在的稳定协同配送联盟快速识别的问题,提出基于分析配送属性数据识别联盟机会和潜在伙伴的方法。分析了协同配送联盟可能的驱动方式,并建立了经济配送占比模型、共同社会关系强度模型、出车时段互补强度模型和车辆资源互补模型衡量配送中心的协同效应;以此为优化目标,建立了配送属性数据驱动的协同配送潜在联盟识别优化模型,提出了基于时空距离的最大最小聚类法来划分配送域,结合数据预处理和遗传算法实现模型求解,实现通过配送业务数据来快速优化识别潜在的稳定协同配送联盟。实例表明,所提方法避免了主观评价和排序,可直接根据配送属性数据有效识别出多个辐射范围重叠、配送社会网络重叠、资源互补的协同配送联盟。为协同配送联盟的稳健运行和更长的生命周期奠定了坚实的基础。

基于集成学习和居民属性数据的出行方式预测模型

传统的效用理论模型以整体效用最大化为目标,忽略了影响居民出行方式选择肢间可能存在相关性以及部分效用相互补偿性。基于集成学习的居民出行方式预测模型可以有效表达出行效用的个体偏好、差异性和补偿性,解决了不同出行特征影响因素对于不同人群有不同效用表征问题。本文依托大样本居民属性数据,针对不同个体对不同影响因素的感知差异,结合居民出行调查的个人属性、出行属性及环境属性等相关影响因素进行综合分析,构建个体级居民的出行特征向量;研究构建基于集成学习方法的居民出行方式预测模型;以广州市为例进行实证分析,通过准确率、精确率、召回率和F1值这4个指标,对模型预测结果进行综合评价;针对部分出行属性相似导致细分的出行方式判别精度不高,按照大类方式、慢行交通、公共交通、个体机动化交通这4个类别构建层次化LightGBM(Light Gradient Boosting Machine)模型,并对GBDT(Gradient Boosting Decision Tree)、Random Forest、LightGBM、层次化LightGBM这4个模型预测结果进行综合对比。分析结果表明:LightGBM模型预测慢行交通、公共交通、个体机动化等三大类出行方式的平均准确率约为87%,其中慢行交通方式预测准确率最高,为92%;预测精细化出行方式平均准确率约为78%,其中步行方式预测准确率最高,为89%;LightGBM模型适用于城市级的居民出行方式预测,是一种有效的居民出行方式选择的预测方法。

“属性数据分析”的课程案例和课程考核改革

属性数据在生活中经常遇到,其分析方法是统计学专业学生必须了解和学习的。文章基于目前“属性数据分析”课程的教学现状,特别是课程案例的局限性,收集了一些贴合大学生生活的案例数据,以便引起学生的共鸣,提升教学效果。同时,提出结课考核采用过程考核联合结课论文汇报的形式进行最终考核,以充分了解学生对课程知识的掌握程度。

网络中多敏感属性数据发布隐私保护研究

随着网络技术的快速发展,许多社会网站被创建和使用,使得关于个人的社会网络信息大量被收集和发布.为了保证个人隐私的安全,本文提出了一个新的集值属性(k,l)anonymity隐私原则,开发了一个满足这个隐私原则的隐私算法来高效地处理集值属性数据流。并通过实验进行了验证本算法的高效率和有效性。

GIS属性数据精度的缺陷率度量统计模型

随着GIS数据采集规模的扩大和更新速度的提高,对GIS属性数据质量的检查、度量和控制变得越来越重要。基于抽样检验在测量数据精度分析中的思想,提出基于抽样的缺陷率方法对GIS属性数据的精度进行度量。同时根据大多数GIS数据分层存储的特点,进一步提出采用分层抽样技术检验属性数据缺陷的方法,并给出基于分层抽样的属性数据精度的缺陷率模型和应用实例。

GIS中专题属性数据综合的若干问题

探讨了GIS中专题属性数据综合的若干问题 ,分析了专题属性数据综合与空间几何数据综合的区别和联系 ,在此基础上提出了GIS中实现专题属性数据综合的两种模式 ,并探讨了实现专题属性数据综合的基本思想和主要内容。

矿山遥感监测属性数据复杂约束类型的描述方法

针对可扩展标记语言(extensible markup language,XML)结构定义(XML schemas definition,XSD)在对矿山遥感监测属性数据的复杂约束类型描述上的不足,提出了"附加属性"的方法,对XSD的约束描述机制进行了扩展,解决了复杂约束类型中属性自身域值的约束以及属性间约束关系的描述方法问题。采用文档对象模型方式对XSD文件进行解析,实现了对用户填写的属性数据的实时验证,提高了用户的工作效率以及属性数据赋值的准确性。

基于K-prototypes的混合属性数据聚类算法

通过对基于K-prototypes算法对混合属性数据处理的聚类问题进行研究,改进了K-prototypes算法中分类属性相异度计算公式,使之能更加精确反映样本间的差异;在此基础上提出了一种用于处理混合属性数据的聚类算法,并将改进后的算法应用于英语借词数据的聚类分析中。实验结果表明,与K-prototypes算法相比,改进后的算法具有更好的稳定性和更高的精度。

数字土地信息中属性数据的质量控制

提出了一种数字土地信息属性数据质量的检验、度量和分析的方法。首先给出了基于简单随机抽样和分层抽样的属性数据缺陷率度量数学模型 ,基于该统计模型 ,以某工业开发区的农村土地利用现状数据为例 ,探讨了土地利用属性数据的质量抽样方案。

GIS空间数据与属性数据的存储结构研究

对G IS中所涉及的各要素进行抽象,并给出其存储结构,在此基础上提出了整体G IS空间数据与属性数据的存储结构,包括逻辑存储结构和物理存储结构。采用层次模型和关系模型相结合的记录式文件系统来对空间数据和属性数据进行存取,并结合索引和数据字典技术加快了数据的存取速度,解决了传统G IS中空间数据和属性数据分开存储带来的问题,提高了大数据量的G IS应用的存取效率。

混合属性数据聚类的新方法

提出了一种数值型和类别型混合属性数据聚类的全局算法。算法通过随机选取足够多的初始原型来覆盖数据集的全局分布信息,然后通过评估函数迭代地消去多余的原型。最后对本文算法进行了验证,证明了该算法的有效性和收敛性。并与其他已有同类型算法的聚类结果进行比较,说明本文算法对混合属性数据具有更高的聚类准确度,为解决混合型数据聚类问题提供了一种新途径。

一种面向分类属性数据的聚类融合算法研究

为了解决单一聚类算法存在结果不准确和随机性大,且现有算法对分类数据聚类时将其转换成数值型会产生误差等问题,提出了一种面向分类属性数据的聚类融合算法。算法利用原有分类属性值的差异产生聚类成员,然后采用相似度方法进行划分,通过寻求目标函数最小的划分来简化聚类过程。算法在UCI数据集上进行了验证,结果表明算法的效率和精度都优于现有算法,说明算法的设计和更新策略是有效的。

基于一般抽样原理的GIS属性数据质量评定方法

在一般抽样原理的基础上 ,给出了缺陷率统计模型 ,并推导出缺陷率的两个统计特征值均值和方差。理论结果和应用实例说明了缺陷率对GIS属性数据精度度量的可行性。在此基础上 ,利用缺陷率的均值和方差 ,详细给出了GIS数据生产时单幅数字地图以及多幅数字地图对应属性数据质量的评定应用。

属性数据与空间数据连接对土壤有机碳储量估算的影响

土壤有机碳(Soil Organic Carbon,SOC)库在陆地生态系统中具有重要作用。在基于GIS利用土壤类型法估算SOC储量时,由于土壤图比例尺的限制,属性数据与空间数据的连接会导致对SOC储量的估算结果产生很大不确定性。利用中国滇黔桂地区(云南省、贵州省和广西壮族自治区)798个土壤剖面及1∶50万土壤图在不同的制图单元水平上,分别采用算术平均值法、中值法和面积加权平均值法(以土种志中的面积为权重)估算了该地区1 m深度SOC储量,并与基于土壤学专业知识连接方法(Pedological Knowledge Based Method,PKB)的估算结果进行了比较。结果表明:面积加权平均值法比中值法和算术平均值法的估算结果更为准确,而且在土类、亚类和土属水平上应用面积加权平均值法对SOC储量的估算结果差异不大。在采用较大比例尺、较为详细的土壤图时,PKB法较理想;反之,则面积加权平均值法较好。

基于缺陷率的GIS属性数据的质量限差探讨

地理信息系统(GIS)中的属性数据绝大多数是描述性的定性数据,而不是定量数据,有些学者试图应用粗集、云理论、遗传算法和灰色理论等讨论属性数据的精度度量和质量控制方法,但这些方法尚难以在实际工作中应用。据此主要探讨了以抽样检验的缺陷率作为属性数据的精度度量,通过抽样检验获得缺陷率的估计值,采用缺陷率对GIS属性数据进行质量控制的方法。缺陷率是否可靠很大程度取决于抽样方案的选择,依据“限定最大相对偏差”的原则来确定一般随机抽样的抽样样本容量,给出了具体样本容量的计算公式和不同复杂程度的属性数据在不同置信水平下的样本容量,并制成表格以供查表使用 在此基础上探讨并给出属性数据缺陷率度量的质量控制的限差,当属性数据质量的缺陷率不超过该限差则认为属性数据质量是合格的。通过实例说明这种基于缺陷率的质量控制方法可以用于实践,可有效地对属性数据进行质量控制。