校园数据治理体系的设计与实践

阐述智慧校园中的数据质量问题和数据治理策略,包括管理体系、技术体系中的数据中台的功能、总体架构、数据架构。分析数据治理服务与应用,实现数据接口服务、数据报表服务、数据填报服务、开展综合应用。

基于MapReduce和HBase的海量网络数据处理

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。

B/S结构下基于关系数据库的OLAP的研究与应用

伴随信息化的发展,数据库的规模日益扩大。企业管理者更注重的是如何从海量数据中挖掘出对企业发展有价值的信息,从而指导企业实践。鉴于此,OLAP技术应运而生。引入Mondrain作为OLAP服务器引擎,打破了传统OLAP对数据库限制的壁垒,使得基于关系数据库的OLAP技术具有更广泛的适用性。

基于Apriori算法的关联规则分析应用

Apriori算法是关联规则的经典算法之一。文中是基于对Apriori算法原理的研究从而完成电影标签推荐的应用,实现当用户给自己喜欢的电影打标签时,可通过关联规则进行电影推荐。实验采用Python语言实现Apriori算法,对数据集MovieLens采用One-hot编码进行处理,利用Apriori算法寻找到数据集中的频繁项集,根据找到的频繁项集生成关联规则。实验结果表明,基于Apriori算法的电影标签推荐得到的实验结果更准确、快速、高效,同时也取得了良好的电影标签推荐效果,从而提升用户体验。

基于Python网上招聘信息的爬取和分析

针对Python语言的大数据爬取和分析,采用以纯python语言编写爬虫脚本的方式,通过爬取51job上招聘信息为“python”和“数据分析”两个词条的数据信息和简要分析,得出python爬虫编写中各类问题的解决方法,最后对规范数据做了进一步分析,分析结果为应聘人才做决策提供了有价值的信息。

数据库安全机制的探讨与实现

数据库技术已经成为计算机技术的基础和核心,数据库中的数据会受到很多方面的攻击,为保护数据库中数据的安全,数据库提供了各级身份验证机制,防止用户非法登录;提供了服务器角色、数据库角色和权限来限制登录用户的操作;提供了数据加密,即使用户获取数据后需要解密才可以正确读取数据;触发器也可以作为辅助手段保护数据安全性。

移动客户离网率分析及预警系统的设计与实现

如何有效地从企业的运营过程中产生或收集大量数据,从信息中提取出有价值的信息,是许多企业在竞争环境中所面临的重要问题。以移动客户离网率分析及预警系统为背景,进行了数据仓库的逻辑模型设计并采用数据库管理系统SQLServer创建数据仓库,建立挖掘模型而挖掘结果的呈现是通过Delphi编程的方式来实现为用户定制数据仓库应用系统。实践证明,以这种方式实现的系统不仅在展现数据挖掘结果方面非常理想,并且能与离网预警和业务处理流程实现无缝联接。

基于粒计算的XML近似多值依赖的判定算法

为了解决不确定XML数据规范化问题,提出了一种基于粒计算的XML近似多值依赖的判定算法。首先提出集值XML数据模型、集值XML数据库等基本概念;借助相似关系给出XML近似多值依赖的定义;根据等价粒分析如何利用位模式表示集值XML数据库中的信息值,提出路径间存在XML近似多值依赖的判定算法,并对算法的时间复杂性进行了分析。通过实例分析,对于信息值采用位模式,数据格式更接近机器内部表示,算法的运算效率与速度也得到了提高。

基于XML的Web数据挖掘构建网络监督平台

以网络监督情报预警作为研究对象,提出并实现了基于XML的Web数据挖掘技术构建网络情报监督系统平台,该平台可以有效地从互联网上获取并分析相关舆情,达到预警和监督管理的目的。经系统性能分析表明其查准率高于通用搜索引擎。

ADO.NET技术在“政府效能建设评价分析系统”中的应用

政府效能建设是社会普遍关注的问题,由国家到省、市、县区,都设有纪委、纠风办等部门对各级各类的服务部门和窗口工作开展经常性的评价。如果使用手工方式统计测评结果和开展数据分析,耗时耗力,测评结果很难以最快的速度、最准确的结果公之于众。为此,设计开发了"政府效能建设评价分析系统",可以将测试表中的统计数据快速、准确地录入到数据表中,并能够对数据进行相应的分析和统计。

城市交通监控系统数据库的设计

数据库是城市交通监控子系统的核心,其结构框架设计的好坏直接影响到系统的稳定性。智能交通系统以网络为纽带,将各功能子系统铰链在一起,完成交通信息的网络共享,因此,提高信息共享的时效性是开发系统的关键技术之一。解决上述问题都涉及到数据库的设计和规划。结合开发城市交通监控系统的实际,介绍了当前智能交通系统的构成,重点阐述了城市监控系统数据库的构建方法和过程,为进一步开发优化智能交通系统提供了借鉴。

配置Tomcat5数据源

数据库连接的建立和关闭是极其耗费系统资源的,在很多情况下是系统的瓶颈。本文介绍了数据库连接池和数据源的概念,提出了Tomcat5.028下使用admin应用配置数据源及其对应手工配置代码,并给出了使用数据源的案例。

一种基于公路网络的高效更新索引结构

减少动态更新代价是移动对象索引技术的一个关键问题。该文提出了一种基于磁盘的索引公路网络移动对象的索引结构,即基于网络移动对象延迟更新索引R树,通过引入组更新技术来减少平均更新代价,以及缓冲池技术来动态分配内存和磁盘空间,一定程度上解决了移动对象分布不均匀而带来的资源利用率低的问题。通过性能分析和实验结果表明算法在保证近似的查询性能的基础上具有明显低的更新代价。

数据仓库与联机分析处理(OLAP)技术

数据仓库(Data warehouse)可以提炼和整理有效数据,提高处理速度,并且增加OLAP分析功能,为业务的分析和管理提供必要的手段。本文对数据仓库及联机分析处理技术作详尽阐述。

基于大数据技术的信息通信网络管控策略分析

阐述基于大数据技术的信息通信与网络管控策略,介绍差错控制策略、信道预留策略、阻塞控制策略的特点、作用和应用,以规避网络环境的不稳定,使信息通信网络更加可靠和安全。

深度学习在图像数据挖掘中的应用

阐述深度学习技术在图像数据挖掘中的应用,包括图像分类、目标检测、图像分割、图像生成和图像检索等方面。通过分析深度学习模型的结构和原理,介绍利用这些技术解决实际问题的方法。

计算机编程语言及其应用

阐述计算机系统的构成、计算机编程语言的应用,结合其发展历程,从多个角度分析与总结了编程语言的特点,包括定义、执行过程与运用。