大数据维度视角下高校学习者精准行为画像的构建与应用探讨

大数据构建服务于高校精准思政工作的学习者画像方法,为高校学习者的资助工作提供了新思路和手段。创新开展大数据下基于精准画像的高校思想政治教育工作体系研究通过“数智赋能”将网络育人和心理育人工作有机结合,运用数字画像、大数据预警助力大学生思想政治教育精准施策,完善前期预防与后期干预、传统追踪与数据预警等多维融合的工作渠道,形成问题发现、预判、转介、解决的精准闭环的重要性,通过全媒体技术实现线上线下深度互动,培育了学生自尊自信、理性平和、积极向上的健康心态,促进学生心理健康素质与思想道德素质、科学文化素质协调发展。本文介绍了大数据精准画像技术的作用,以及大数据维度视角下高校学习者精准行为画像的主体内容,并就具体的实施步骤阐述如下。

智慧图书馆用户画像的内涵、分型与数据维度构建

本文通过对用户画像在智慧图书馆建设中的内涵、分型、数据维度进行深入剖析,系统阐述了用户画像应用于智慧图书馆领域的基础内涵与数据体系,形成智慧图书馆用户画像本体、群落和功用3类视角9种分型,构建包含数据自然属性维度、行为偏好维度、情境与环境维度、网络社交维度、实体联系维度在内的五维数据模型。为智慧图书馆快速应用用户画像开展理论应用、模型构建、系统研究、实践运用与服务创新等提供数据支撑和参考依据。

考虑数据维度与质量维度二重性的数据质量评估研究

[目的/意义]针对数据开发中关联性差、完整性不足所引发的高成本问题,本文构建了考虑数据维度与质量维度的数据质量评估模型,旨在评估数据的各维度质量并进行价值分析。[方法/过程]首先通过数据质量相关的文献分析,利用修正德尔菲法构建了数据质量维度指标体系;之后使用层次分析法选取指标,采用蒙特卡洛采样计算Shapley值进而构建了针对数据不同维度的质量评估模型。在房地产数据质量评估案例中,对其12个数据维度运用质量评估模型进行评估,结果显示其中三个维度质量较差,建议删除,同时针对其他维度提出了修改意见。[局限]未解决数据质量维度指标难以量化问题,也未对数据进行分类,仅提出笼统的评估模型。[结果/结论]将数据维度和数据质量维度进行融合,并基于数据质量维度指标体系及Shapley构建了一个较为全面的数据质量评估模型,能更为详细地对数据库进行质量评估。

数据质量维度与框架研究综述

为了对数据质量维度有一个全面、清析而准确的定义,便于在领域层面达成一致,也为从现存的数据质量管控技术架构中选择出合适的框架提供依据,对数据质量的发展历程和维度以及其管控框架进行了全面的研究。通过研究明确了复杂的数据质量维度指标,按其名称和定义提供一套比较全面的数据质量规范,并对其质量管控技术框架进行了综合研究与对比。该研究能科学地指导具体应用需求选择合适的数据质量框架和比较全面的数据质量维度实现对数据的评估,同时可节省大量的时间,减少人力和物力支出。

工业多元时序数据质量评估方法

现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的DQD,如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分,考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量;其次,对完整性的属性完整性、记录完整性、数值完整性,规范性的类型规范性、精度规范性,一致性的顺序一致性、逻辑一致性,唯一性的属性唯一性、记录唯一性,准确性的范围准确性、数值准确性等子维度进行权重分配,进而充分挖掘DQD的深层次信息,从而获得反映DQ详情的评估结果。实验结果表明,与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比,IMTSDQA能更详细、更全面地评估DQ,且不同DQD的评估结果更能客观准确地反映DQ问题。

数据质量测量框架研究及领域测量框架构建

为激活数据质量潜能,构建兼顾信息环境与技术实现的数据质量测量框架,以提升数据挖掘和指挥决策的效用,文中从宏观层面和微观层面对现有的通用型、行业型数据质量测量框架进行梳理、研究,对数据质量维度进行“聚类”,得到数据质量维度类簇,提取了数据质量维度的两类特性,提出面向具体领域的数据质量测量框架构建准则。基于管理领域工作对数据质量的测量需求,结合构建准则构建了面向管理领域的数据质量测量框架,并明确了框架的数据质量维度、测量指标、测量方法等。

一种基于数据质量维度的数据清洗方法

随着社会经济的发展和大数据时代的到来,数据在人们日常生活中扮演的角色越来越重要。利用决策支持系统、客户关系管理系统(CRM)等数据库应用项目,我们可以从海量数据中提取更有价值的信息。然而,调查发现很多数据库应用项目的运行效果并不令人满意。数据数量增长的同时,数据质量的控制也给广大研究人员带来一定的困扰。人们越来越意识到,高质量的数据是商业成功的一个重要因素,而数据源中的"脏数据"是导致数据质量低的一个重要原因。为了保证高质量的数据,企业需要采取一系列措施来控制数据质量,并采用一定的手段来处理"脏数据"。然而现实中,检测与清洗数据源中所有"脏数据"的开销是昂贵的。因此,如何根据不同的商业的需求来拣选部分"脏数据"进行清洗具有一定的现实意义。文章在文献分析的基础上,回顾了数据质量、数据质量维度的定义,探讨了常见数据质量问题,阐明了数据质量管理与数据清洗之间的关系。针对"脏数据"拣选问题提出了一种数据清洗方法。最后对数据清洗相关研究进行了展望。

基于Spark技术的大数据智能分析平台构建

针对大数据分析过程易受数据维度的影响,造成大数据分析平台运行时间长、数据分析平均绝对误差高的问题,构建了基于Spark技术的大数据智能分析平台。先采用局部约束学习方法降低大数据维度,再利用Spark技术建立兼具应用服务层、权限管理层、中间服务层和基础资源层的平台分层架构,参考映射-归约数据网络质量分析系统,结合数据分析编排器设计平台后台分析服务器,实现了基于Spark技术的大数据智能分析平台的构建。所构建平台加速比参数大于9,运行速度较快,运行效率在99%左右,数据分析平均绝对误差为0.5%~0.8%。

基于ConvLSTM网络的维度情感识别模型研究

学业情绪能够影响和调节学习者的注意、记忆、思维等认知活动,情绪自动识别是智慧学习环境中情感交互和教学决策的基础。目前情绪识别研究主要集中在离散情绪的识别,其在时间轴上是非连续的,无法精准刻画学生学业情绪演变过程,为解决这个问题,基于众包方法建立真实在线学习情境中的中学生学习维度情感数据集,设计基于连续维度情感预测的深度学习分析模型。实验中根据学生学习风格确定触发学生学业情绪的学习材料,并招募32位实验人员进行自主在线学习,实时采集被试面部图像,获取157个学生学业情绪视频;对每个视频进行情感Arousal和Valence二维化,建立包含2178张学生面部表情的维度数据库;建立基于ConvLSTM网络的维度情感模型,并在面向中学生的维度情感数据库上进行实验,得到一致性相关系数(Concordance Correlation Coefficient,CCC)均值为0.581,同时在Aff-Wild公开数据集上进行实验,得到的一致相关系数均值为0.222。实验表明,提出的基于维度情感模型在Aff-Wild公开数据集维度情绪识别中CCC相关度系数指标提升了7.6%~43.0%。

薪酬诊断的五个维度

薪酬诊断是企业人力资源发展的必要手段，同时也是企业在运行中常常忽略的环节。那么，如何发现企业薪酬诊断中常出现的问题并及时加以解决呢？

大数据中基于熵加权的稀疏分数特征选择聚类算法

为了提高大数据统计及分析的效率,有必要对数据集合进行聚类,以减少数据集合维度,并去掉相似数据冗余。采用熵加权和稀疏分数特征选择相结合,一方面对异构数据进行局部结构划分,降低数据维度,对局部结构的特征重要性标记并排序,提高聚类精度,另一方面,提高聚类稳定性。实验证明,该方法对不同种类的大数据聚类具有较强的适用性。

基于约束的数据质量评估算法研究

随着信息技术快速的发展与信息系统应用的加深,企业积累了大量的历史数据,支撑企业正常运营与决策。为了使决策更加正确、有效,需要对历史数据进行有效的数据质量评估,并基于评估结果进行数据清洗。重点研究了基于数据维度下数据质量约束的数据质量评估方法,确定数据质量评估维度,并定义了各维度下的数据质量约束,并基于约束给出数据质量评估算法。方法在大庆油田生产数据库数据质量评估项目与河北汉光重工有限责任公司财务系统数据库数据质量评估项目中得到了应用。

医疗数据仓库的研究

按照数据仓库生命周期的规律,依托我院现有的HIS系统,以医疗费用为主题构建医疗数据仓库。本文从建库的业务需求获取、数据模型的建立及数据仓库系统的实现等方面,介绍了建库的方法和步骤。该方法对其他医院建立数据仓库也有借鉴作用。

煤炭安全管理时序数据可视化方式研究

为探究煤炭安全管理时序数据的最优可视化展示方式,基于时序数据不同维度和管理任务类型层面下选取7幅可视化图形开展眼动实验,并记录被试者的3种眼动指标作为实验数据,运用SPSS19.0软件进行数据分析。结果表明:展示多维数据的趋势任务时,折线图展示效果最好;展示二维数据的循环与周期任务时,螺旋图展示效果最好;展示二维数据的数值点识别任务时,散点图展示效果最好。

箱式变电站外围恒温网络入侵的动态检测研究

变电站外围恒温网络节点关联较弱,易受外界入侵。为此,提出基于深度信念网络(DBN)的箱式变电站外围恒温网络入侵动态检测方法。首先,对恒温网络数据实施类型转换和归一化处理,将Nominal类型转换为Numeric类型,以避免转换数据维度变高。然后,利用非线性迭代偏最小二乘法对恒温网络数据实施特征提取和分类处理,以增强入侵信号的聚类。最后,结合DBN模型并利用核极限学习机(KELM)分类算法,对恒温网络的入侵数据实施检测。试验结果表明,该方法的模型训练准确率最高为90%;当迭代次数达到200次时,训练时间为10.35 s;网络入侵检测效率高且检测结果误差分数小,平均误差分数为1%。该方法对各样本的网络入侵检测率稳定,有利于网络入侵检测的实际应用。

通用数据质量评估模型及本体实现

随着数据科学技术在各个领域的深度应用,作为企业重要资产的数据越发表现出它的价值性与重要性.绝大多数企业结合行业特点开发了数据质量检测系统来解决自身数据质量问题.这些系统的评估模型各有特点,对于数据质量维度的定义也是各有千秋.试图将这些模型与数据质量维度以一种通用的形式来定义,旨在成为企业研发数据质量评估系统的标准.通过分析国内外学者在该研究领域取得的成果并结合常年研发数据质量检测与评估系统的经验,首先,提出了一个通用的数据质量检测与评估的数学模型;接着,以此模型为基础,采用本体技术定义了从该通用的数据质量评估数学模型到本体模型映射的转换规则;随后,考虑到多数数据存储在关系数据库中,因此以关系数据模型为例,依据所提出的数学模型和转换规则实现了对数据质量评估本体的抽取与构建,该模型实现了复杂质量规则的定义,具有规范性,实现了对不同来源、不同格式的数据质量进行检测与评估;最后,结合中国石油的油田开发数据质量评估项目进行了系统的实现,验证所提出模型的正确性、科学性、合理性以及可扩充性等.由于所提出的数据质量检测与评估模型与领域无关,所以它具有通用性.

城轨线网指挥中心的大数据组织

从功能需求和数据需求角度对城市轨道交通业务进行梳理,在此基础上划分主题域,构建数据的逻辑架构和物理架构;面向主题进行数据维度的层级结构设计和物理存储设计;讨论数据多重粒度设计和粒度表设计。从主题域划分、数据维度设计、数据粒度设计3个方面进行大数据组织的研究成果已在南京地铁线网指挥中心应用,效果良好。

一种面向闭环的数据治理平台与方法设计

数据孤岛现象在高校普遍存在,数据治理的目的是解决高校存在的数据源分散异构、数据质量不高等问题。文中对数据治理的方法论和数据平台的功能设计进行研究探讨。研究了数据质量、数据质量维度和数据质量治理相关概念,结合PDCA系统循环理论,提出了闭环数据治理体系的原则和治理的四个维度,即技术维度、业务维度、演化维度、管理维度。设计了符合高校遗留系统环境下的闭环数据治理体系架构和数据归集、对标、提质、共享、服务的治理活动过程,并且给出了数据治理平台的功能设计,在主数据管理、数据质量检测等方面实现可视化管理。通过设计的数据治理平台的实际案例的应用,以及相关关键技术的分析,结果说明平台在数据治理方面是有效的。

数据仓库构建之数据预备域的数据质量研究

数据仓库环境由数据预备域、数据处理域和数据存储域等3个相互独立的组件组成,其中数据预备域主要负责接收和转换来自源应用系统的数据,其输出的数据质量直接决定着整个数据仓库的质量。首先讨论数据仓库的数据预备域和数据仓库的数据质量维度,然后在此基础上讨论从操作源应用系统来的数据可能存在的质量问题,最后针对这些问题,讨论在数据预备域中如何进行处理以得到高质量的数据。

“见微知著”:现代管理中的小数据

数据作为新时代的关键生产要素,在企业管理活动中发挥着重要作用。为充分开发数据资源价值,企业在数字化转型中需用好与自身密切相关的小数据。基于对小数据内涵的理论分析,归纳出小数据的"SELDOM"特征,揭示出小数据相较于大数据具有自下而上、实践导向的应用逻辑。同时,通过对小数据相关主体、时空属性与细分领域三个维度的探讨,指出小数据管理应落脚于数据间的共同维度特征,以更好作用于企业的内部与外部管理活动。结合具体案例对企业、行业和产业三类小数据的管理应用进行解读,得出结论:在现代管理中,用好不同维度的小数据是企业优化管理效能和提高运营效率的重要手段,也是企业由内部管理到外部服务、提高行业竞争力和产业影响力的必要途径。