基于ETL工具开发的气象数据共享平台

为打破行业数据壁垒,解决气象数据跨行业共享安全性较低、共享数据管理滞后等问题,内蒙古自治区气象数据中心基于ETL工具开发气象数据共享平台,平台针对不同数据共享清单定制数据推送策略,实现数据自动抽取、清洗、推送、全流程日志记录,开发可视化数据共享管理平台对交换数据进行统一管理,并将异常状态告警推送至“天镜”系统Alert平台实现告警信息可视化展示。该平台的建设为跨行业数据共享和产品融合提供安全可靠平台,为提高气象部门公共服务能力提供数据支持。

增量式ETL工具的研究与实现

利用数据源的增量数据对数据仓库进行维护,可以有效提高ETL效率。现有通用ETL工具在增量抽取方面存在一些问题,如不能抽取多个异构数据源的增量数据以及在处理增量数据时造成数据丢失的异常问题。本文从实践角度设计的增量式ETL工具采用集成多种增量数据捕获方式,解决异构数据源在捕获增量数据上的差异;在数据处理过程中,通过辅助表的手段解决了数据丢失的问题。在文章的最后,还介绍了ETL过程中数据转换和转换调度的实现。

一种金融系统专用ETL工具的研究与实现

实现了一种基于Spring框架的商业银行专用ETL程序。该程序利用Spring框架的控制反转技术,基于Ibatis的数据访问对象技术和Spring JDBC,以及Spring对Timer的支持,解决了ETL过程中的数据转换、数据载入、生命周期管理、任务调度等关键问题。该程序在IBM System x3850(8864I02)上运行,载入数据的平均速度达到每秒900条记录。

基于流程化,组件化的ETL工具的研究与设计

具有良好质量的数据仓库是数据挖掘的先决条件,一个支持数据抽取,清洗,转换和装载的工具是实现数据仓库必不可少的因素。本文介绍了ETL的技术及相关概念,在数据仓库建设中的重要作用,提出一种流程化,组件化的ETL工具设计思路,对应各个功能在流程中设计和实现方法。

基于OLE DB的数据抽取、转换和装入工具的设计与实现

本文讨论了如何利用 OL E DB接口设计与实现数据 ETL工具 .按照面向对象的开发方法 ,通过 COM技术实现 OL E DB接口和 DTS接口 ,能够迅速地实现一个具有良好可扩展性的数据 ETL

Teradata数据仓库的ETL在电信行业中的设计与实施

介绍了Teradata数据仓库和ETL的相关概念,结合电信行业中对数据仓库的ETL流程的要求和特点,对Teradata数据仓库的ETL工具进行模型设计与研究,设计了一套普遍适合电信行业数据仓库的ETL框架模型,并对该模型进行实施,实施结果证明该模型可行。

多数据源系统ETL架构解决方案研究

本期我们重点讨论一下基于SQL Server 2005的专业ETL工具Integration Services（SSIS）。在多数据源系统情况下的ETL架构设计问题。

Web化SAP与Hyperion接口工具

SAP和海波龙全面预算系统是目前绝大多数具有一定规模的单位必上的信息系统,本文考虑使用NC平台来开发SAP与Hyperion接口,实现两个系统之间的数据集成。

肝细胞癌自动化BCLC分期模型研究

目的借助大数据平台,构建肝细胞癌(hepatocellular carcinoma,HCC)自动化巴塞罗那分期(Barcelona clinic liver cancer,BCLC)模型,以服务于临床诊疗及学术研究工作。方法选取福建医科大学孟超肝胆医院2020年1月—2022年12月收治的HCC患者的临床资料,通过数据仓库技术(extract-transform-load,ETL)工具构建患者的标准化全维度数据集(每个病例含700个维度)。选取2020年1月—2022年12月收治的1076例HCC患者,根据2016年BCLC分期标准,在数据集中提取肝性脑病、腹水、总胆红素、白蛋白、凝血酶原时间、肿瘤个数、肿瘤直径、门静脉癌栓情况、肝外转移情况、患者体力情况等12个相关维度,采用基于机器学习的自然语言处理和基于Python语言的XGBoost(eXtreme gradient boosting)模块等方法构建自动化BCLC分期模型。随机抽取2020年1月—2022年12月收治的HCC患者191例,进行既往病例测试。选择2020年1月—2022年12月收治的180例HCC患者,进行新增病例测试。由2名肝胆外科主治医师对测试病例进行人工分期审核,获得标准分期用于校正。比较模型自动化分期、病例记录分期及标准分期三者间差异,以观察模型的准确性和实用性。结果基于大数据方法学成功构建HCC自动化BCLC分期模型,通过含150个病例的验证集进行验证,准确率为93.33%,提示建模成功。既往病例测试结果提示,经标准分期校正,自动化分期准确率为98.43%,错误3例,其中0期1例、A期2例;记录分期准确率为96.33%,错误7例,其中0期2例,A期5例。新增病例测试结果提示,经标准分期校正,自动化分期准确率为95.56%,错误8例,其中0期1例,A期1例,B期4例,C期2例,D期0例;记录分期准确率为96.11%,错误7例,其中0期2例,A期1例,B期2例,C期2例,D期0例。结论HCC自动化BCLC分期模型高效、准确,在数据标准化方面尚有改进空间,值得向临床推广。

基于教育部智慧大脑中台的职业院校数据治理与应用研究--以常州纺织服装职业技术学院为例

为贯彻落实国家教育数字化战略行动,文章基于教育部智慧大脑中台建设要求,结合诺兰模型发展规律与高职院校信息化系统建设现状,探索构建以数据仓库分层为核心的校本数据智能采集与推送平台。该平台以ETL工具为数据抽取底座,实现数据自动化传输,打破数据孤岛壁垒,建立校本数据全生命周期管理机制,为学校决策分析提供数据支撑,助力学校高质量发展。最后,文章展望了未来非结构化数据处理的研究方向。

Kettle在高校大数据处理中的应用与研究——以广州工商学院为例

随着大数据技术的日益成熟,数据处理技术已经成为信息科学领域的重点研究方向。在高等学校教育领域中,各类教学、科研、管理、服务等活动产生了大量的数据,这些大规模数据已成为高校教育的重要数据资产。如何有效地处理和整合这些数据,为高校师生提供服务和为管理者提供决策,是目前各高校在数据治理过程中需要解决的问题。Kettle作为一款开源的ETL工具,被广泛应用于数据抽取、数据转换、数据加载等任务中,用来实现异构数据源的整合,在高校大数据处理中具有非常重要的应用价值。本文先对Kettle作简单阐述,并通过具体的案例分析展现其实用性,从而在技术层面解决高校智慧校园建设过程中产生的数据孤岛问题,实现数据互联互通。

主数据管理平台的数据同步技术研究

文章对主数据管理平台的数据同步技术进行了研究,分析了ETL工具、API集成以及实时与批量同步技术的优势和挑战,阐述了数据同步的错误处理机制。讨论了数据安全、数据质量管理、大规模并发处理及数据同步失败问题及应对策略,并探讨了大数据、AI和区块链技术在数据同步中的应用及其潜力和挑战。结论表明,通过采用先进技术和策略,可提高数据同步的效率和安全性。

大数据背景下江苏有线电视收视率预测

收视率是广播电视行业的重要指标,近几年由于部分样本受人为因素影响导致电视收视率出现较大偏差而受到广泛的质疑,引起了很大的反响。本文以江苏某地区有线电视互动双向机顶盒所提供的全部客户收视数据为基础,运用ETL数据挖掘技术产生了全样本电视收视率数据,选取了其中若干个具有代表性的时间点数据,应用时间序列分析中的ARIMA模型对所得样本数据进行分析,产生了各个时间点的ARIMA模型,进而借助所得到的系列模型对短期电视收视率进行了预测。

半结构化数据装载到数据仓库的设计与实现

通过分析半结构化数据的特点,以实际的采购退货数据(BokeDataInfo.xml)为例,利用DOM对象对基于XML的半结构化的数据进行抽取,设计并实现了一个基于半结构数据的数据仓库ETL工具,解决了商用ETL工具不能直接加载抽取XML文件进行数据仓库数据加载的弊端,为XML半结构化数据的抽取并装载到数据仓库当前细节级中的这一问题的解决进行了有益的探索。

数据挖掘技术在智能循证医学支持系统中的应用

随着信息化的快速发展,信息技术已经融入社会的各个行业。面对大量的信息数据,如何将有价值的信息快速准确的分离出来、为我所用是人们关注的一个问题。面对这一难题,数据挖掘技术应运而生。数据挖掘是近年来在软件工程领域兴起的一项新的技术。本文以循证医学支持系统为例,介绍了数据挖掘技术在软件工程领域进行数据分析的常用方法和典型应用,,即对电子病历内容进行分析和整理后,发掘有用的知识和模型,从而将诊疗过程中的有用的知识主动的传递给医护人员,实现循证医学在临床上的使用。

基于SOA技术的南方电网数据交换平台设计

提出中国南方电网公司数据交换平台的设计方案,该方案基于SOA技术架构,为公司提供统一的数据交换标准和数据交换接口,满足全公司纵向的数据贯通和横向的应用交互需求。

结构化电子病历的衍生物——智能循证医学支持系统的设计架构及原理

研究目的：随着医院改革的不断发展,如何提高医疗服务质量、服务效率,成为当下医院管理者和医护人员最关注的问题.在这种形势下,智能循证医学支持系统应运而生.方法：该系统以循证医学的理念为指引,结合自然语义处理技术和数据挖掘技术,对电子病历内容进行分析和整理后,从中发掘有用的知识和模型.结果：该系统将这些有用的知识和模型在诊疗过程中主动的传递给医护人员,并以此种形式实现循证医学在临床上的使用.结论：智能循证医学支持系统不但使患者在就医过程中获得最优的治疗方案、最少的治疗费用,又帮助医生在给患者治疗的过程中提供循证医学方面的知识提醒,进而提高医院的医疗质量和医疗效率,间接地增加医院收入.

智慧校园背景下高校数据中心的研究

建设智慧校园共享数据中心,运用云计算、Hadoop大数据等技术解决“烟囱式”系统建设、“信息孤岛”、海量异构数据存储问题,从而集成整合高校资源,实现海量数据的高效存储及管理。通过研究共享数据中心的建设框架,提出部署在VMware虚拟化平台上来保障数据中心的高可用性和业务连续性,提出基于oracle和HBase混合模式实现海量异构数据存储及管理。同时,重点阐述了异构数据的集成思路,利用Kettle ETL工具,通过创建的中间数据库以中间表或视图的方式实现数据的整合。

系统数据迁移常见问题及案例分析

社会发展日趋进步,技术框架日新月异,日常系统以新换旧已经成为趋势,新系统代替旧系统势必会涉及到新旧系统的数据对接问题。在某市某组织的系统建设中,项目需要将旧系统的所有业务数据迁移到新系统。由于新旧系统使用的表空间、表结构及表字段都不一致,为了保证数据的一致性与完整性、迁移前后的数据没有漏误、不迁入脏数据来影响新系统的运行,在项目中如何在新旧系统之间进行数据迁移成为了重要课题。为了解决数据迁移的问题,文中设计了一套基于ETL工具的数据迁移流程,并通过组合和串联得到了完整的数据迁移流程线,从而实现了数据迁移,完成了新旧系统的数据对接。文中阐述了以下几个数据在迁移中出现的问题及其解决方法:1)数据流转中出现的常见错误及解决方法;2)数据类型不一致的数据迁移问题及解决方法;3)数据迁移目标数据库字段长度不一致的问题及解决方法;4)数据迁移完成后,原数据出现新变动将如何重新调整迁移测量的问题及解决方法。基于此,文中对数据迁移过程中出现的问题与解决这些问题的方法进行了简要的分析与总结。

基于数据挖掘的集成信令存储和应用平台研究

针对现有信令数据存储与分析应用模块的独立式架构不利于信令数据的保存与分析的问题,文中设计了一种基于数据挖掘的集成信令存储和应用平台架构。通过设计并行数据挖掘信令分析模块架构,面向数据挖掘的信令存储技术和信令数据集成应用平台,重新定义了基于数据挖掘的信令监测平台架构。利用信令数据仓库中的ETL工具,实现信令数据存储以及应用的一体化设计。所设计的集成信令存储和应用平台通过数据挖掘可以有效分析信令数据特性,提高信令数据存储和应用的效率,对于大规模信令监测具有一定的意义。