基于Hadoop的大数据职位分析系统的设计与实现

随着高校毕业人数的增长,当前的就业形势十分严峻。如果能针对社会招聘职位进行系统性地分析和展示,就能对在校学生的技能学习提供系统性指导,同时也能帮助毕业生更好地选择职位。本文就设计和实现一款基于Hadoop的大数据职位分析系统进行了详细阐述,系统的实现可以使学生的在校学习更加符合实际的社会需求。

国境口岸传染病检疫决策支援系统研究

文章以中国国境口岸卫生检疫信息化系统建设需求为背景,针对现有系统存在的数据采集手段少、防控体系覆盖弱以及监测机制时效差等问题,提出并构建国境口岸传染病检疫决策支援系统,可用于海港、陆路、空港和铁路等各种类型口岸疫情防控。系统引入云计算SaaS模式整合了医学巡查、体温监测和旅客自主申报等疫情采集方式,优化了旅客卫生检疫业务流程实现方法;构建了传染病疫情监测三级实验室网络防控体系,并与国家质检总局、地方卫生系统及旅客来源地形成联防联控机制;采用大数据Hadoop分析技术及时搜集并掌握传染病的发展动态,口岸现场指导疫情排查并辅助领导决策。最后以深圳口岸试运行为例,探讨了该系统的可行性和有效性。

一种用户画像系统的设计与实现

用户画像系统通过结合用户浏览行为日志以及爬取数据作为补充,构成用户浏览行为的完整数据集。通过以Hadoop分布式集群为基础的大数据平台结合数据分析算法对该数据集进行清洗、规范化、分析与处理,分析出用户兴趣偏好,为用户标记不同权重的标签,使得企业更了解用户以及为之后针对用户精准推荐铺平道路。此外,针对K-means算法依赖初始化中心的缺陷进行了改进,从测试结果可以看出改进后的K-means准确率得到了较大提升。

基于云平台的分布式日志系统设计与实现

在信息系统应用中,日志数据记录了用户对系统的操作以及系统自身的运行状况。通过对日志数据的分析,可以获取系统的运行状况、故障原因和用户的访问规律等信息。本文设计和实现了一个基于云平台的分布式日志系统,依据日志分析系统的特点,构建了系统总体架构,设计了日志数据在云平台下的存储策略、日志清洗流程等,并基于Map/Reduce和Spark编码设计实现清洗转换、指标统计等功能模块。系统测试证明该系统能符合功能需求,具有一定的实践意义。

移动通信网络中大数据的发展策略研究

大数据是现代信息技术和互联网产业发展到一定阶段的必然产物,电信运营商拥有天然的数据资源优势,为发展大数据分析服务,运营商需从技术体系、业务结构及盈利模式等多个层面实施全面转型。结合移动通信网络介绍大数据的价值链,将其分为4个阶段:数据产生、数据获取、数据存储和数据分析,研究电信运营商面临的问题与相应的发展策略,针对目前大数据的应用现状,最后对Hadoop作简单的介绍。