金融场景下大数据建模常见的数据质量问题及应对策略研究

随着科技的快速发展,数字金融已被视为是科技金融、绿色金融、普惠金融及养老金融发展的核心,其健康发展对于铸造新质生产力具有重要意义。大数据建模是更好、更快地发展数字金融的重要工具和方法,本研究从金融的视角出发,在深入分析金融数据的特征、大数据建模的价值和保证数据质量重要性的基础上,对金融场景下大数据建模过程中常见的数据缺失、数据错误、数据滞后、数据失衡和数据冗余等数据质量问题,提出针对性的应对策略,以充分发挥数据要素价值,助力数字金融发展。

基于动态规划和大数据建模的电厂燃料库存结构预测模型及系统开发应用

近年来,电厂煤种复杂多变,配煤掺烧已成为我国燃煤电厂燃料和发电运行的主要技术手段之一,如何在多煤种条件下实现燃料采购与发电运行的协同管控,并进行精细化的配煤掺烧工作成为电厂面临的难题。本成果针对燃煤电厂普遍存在的配煤掺烧下库存结构失衡的问题.

无人机安全巡检和大数据建模分析在移民代建工程安全管理的应用研究

本文结合两河口移民代建工程总承包项目建设情况,分析了高原地区移民代建工程安全管理的痛点和难点,指出仅依靠现有的手段不能满足高效快速发展的要求,也不能达到很好的效果,而无人机技术、大数据建模分析的运用,能够很好地完成高原移民代建工程建设中安全检查和监测排查任务,实现项目安全管控的简单化、数据化,满足工程建设快速发展同时保障施工人员安全的需要,是移民代建总承包行业未来发展中不可或缺的有效辅助手段。

基于大数据建模网络的客户满意度研究

本文基于云南移动开展大数据建模网络满意度应用实践,研究了从调研问卷设计与分析、主客观关联建模与满意预测的解决方案。

基于大数据建模的井筒压力温度梯度预测

本文运用大数据建模技术,选取塔里木盆地顺北油田生产井相关数据,使用线性回归、随机森林、XGBoost三种方法,利用VSAI大数据分析平台来预测单井井筒压力梯度和温度梯度,并与其测压数据实际值相比较。结果表明,随机森林模型和xgboost模型能够较准确的预测压力梯度和温度梯度的趋势变化,与xgboost模型相比,随机森林模型更加准确一些。因此可将随机森林模型作为顺北油田井筒压力梯度和温度梯度预测模型,可为该油田井筒压力评价和开采方案调整优化提供依据。

浅谈大数据建模中左连接的优化

大数据的关键在于数据之间的相互作用,通过左连接等碰撞操作产生有价值的分析数据。针对超大数量级且没有完善索引的数据表格,直接使用左连接操作会占用巨大的计算资源,进而影响平台的性能。本文简要探讨了左连接相关的两种优化方案:剪枝优化和降维优化,剪枝优化是将需左连接的表格进行筛选,过滤出有效数据,进而提高左连接效率,降维优化是将左连接的二维操作,降维成为分组排序后的一维操作方式,使模型获得显著的效率提升。

面向大数据时代的数学建模课程思考

分析传统数学建模特点,提出大数据时代下数学建模改进的一些思考和改进建议,阐述培养数学建模中的大数据思维及能力、构建建模大数据平台。

基于OBE理念的“大数据分析与建模”课程教学研究

“大数据分析与建模”是数据科学与大数据技术专业的专业组选课程,为往数据分析、数据挖掘方向发展的学生而开设。在传统教学中,“大数据分析与建模”课程教学存在教学目标定位存在偏差、教学方法陈旧和教学评价标准单一等问题,应在OBE理念的指导下进行教学改革。文章以需求为导向确定教学目标、教学内容,采用项目教学法、混合式教学模式,构建可持续改进的考核评价体系,为提高“大数据分析与建模”课程的教学质量提供参考。

面向健康产业大数据的灰色关联分析建模探讨

大数据作为新的管理思维和技术手段,给大健康产业发展和灰色关联分析建模带来了新的机遇及挑战。为此,本文基于大数据"海量、多源、异构、低密度价值"的基本特征,探讨大健康产业的大数据表现形式及灰色关联分析的大数据建模思路,为拓展灰色关联分析的应用研究提供新的思路。

支持分布式大数据应用建模的模型理论

针对当前尚无面向分布式大数据应用、支持多组件协作应用建模的一般实用模型理论的问题。首先,给出了分布式大数据应用问题的形式化定义和问题求解的一般表达形式;然后,引入包含多结构化状态关系代数、协议代数和交互计算总线格代数的交互式计算范畴,并由此建立了交互式计算模型MIC,作为分布式大数据应用建模的模型理论基础。目前,MIC已在住房和城乡建设部的信息资源统一规划和国家住房信息系统建设中取得了成功的应用。

大数据建模技术在人身保险核保理赔领域的应用

人身保险核保理赔问题是目前中国国内保险行业继续解决的一个问题。随着计算机领域技术的不断开发与运用,大数据逐渐应用于保险行业。利用大数据搭建后台数据库,建立人身保险核保理赔模型,解决人身保险理赔问题,进一步完善保险行业的外部环境,促进保险市场发展。大数据建模技术应用于人身保险理赔领域,对于促进我国保险产业的发展具有非常重要的意义。

智能电网监控运行大数据应用模型构建方法

由于电网数据具有多源、高维、先验、异构的特点,并且蕴含大量因果关系,如何从电网历史大数据中挖掘出不同应用场景的因果关系,从而构建监控运行业务应用是电网监控专业实际生产及管理的热点问题。文中根据电网大数据的因果关系特征,提出了一种新颖的基于因果关联分析和概率图模型建模的智能挖掘算法框架。结合相关性分析和格兰杰因果分析方法,该框架能够从海量多源多维生数据中提炼出因果关系变量集,进而生成监控大数据因果概率图模型。基于上述理论,提出一种两阶段的电网监控运行大数据应用模型的工程构建方法,第1阶段采用大数据分析方法从海量多源多维生数据中挖掘出存在强因果关系的变量集合,第2阶段通过人工经验与算法推荐的因果概率图模型相结合,构造出监控业务模型。基于上述模型构建的智能电网监控运行大数据分析系统,已在多个省级调控中心上线运行,其运行结果验证了所提方法的有效性。

基于大数据DQN的烘丝料头预热温度在线调节与仿真模拟

卷烟制丝工艺流程中,保持烟丝含水率维持在一个稳定的范围是保证烟丝质量的一个重要因素。在调节烘丝机温度以保证烟丝水分达标时,烘丝筒壁温度根据挡车工经验值设定。对于不同的烟草来料情况,不同人员在烘前温度预热调整时往往会在生产阶段产生一定的偏差,而在烘后水分反馈调节时又会产生滞后性,造成产线上烟丝含水率不稳定的现象。为了解决烘丝过程中的诸多问题,以及工艺知识固化、少人化与质量一致化等一系列需求问题,实现工厂的一体化智能管控,提出了一种基于大数据的环境、应用深度强化学习算法模拟预测料头阶段筒壁温度设定值。根据大数据,构建了一个仿真模拟系统,并集成在烟厂MAS工业控制平台进行试车应用。模拟仿真和现场应用试验结果证明了强化方法的可行性,其能够替代人工在线控制并提高生产效率。

一种随机配置网络的模型与数据混合并行学习方法

随机配置网络(Stochastic configuration networks,SCNs)在增量构建过程引入监督机制来分配隐含层参数以确保其无限逼近特性,具有易于实现、收敛速度快、泛化性能好等优点.然而,随着数据量的不断扩大,SCNs的建模任务面临一定的挑战性.为了提高神经网络算法在大数据建模中的综合性能,本文提出了一种混合并行随机配置网络(Hybrid parallel stochastic configuration networks,HPSCNs)架构,即:模型与数据混合并行的增量学习方法.所提方法由不同构建方式的左右两个SCNs模型组成,以快速准确地确定最佳隐含层节点,其中左侧采用点增量网络(PSCN),右侧采用块增量网络(BSCN);同时每个模型建立样本数据的动态分块方法,从而加快候选“节点池”的建立、降低计算量.所提方法首先通过大规模基准数据集进行了对比实验,然后应用在一个实际工业案例上,表明其有效性.

烟叶真空回潮的建模与控制

【背景和目的】稳定的真空回潮出口水分是卷烟质量的关键,然而由于回潮机内烟包水分和温度不可测,出口水分随来料、蒸汽和环境变化而改变。因此本文构建了烟叶真空回潮的建模与控制系统,以期稳定出口烟叶水分。【方法】研制了真空回潮实验机,首先,增加测点、获得输入输出数据,专利技术处理采样数据和稳态数据,构建出真空回潮的稳态模型和动态模型,观测到机内压力、温度、烟包水分和温度等状态量,试验表明观测误差可接受;其次,针对时变、非线性、大时延、多入多出的受控对象,按人工智能算法由数字仿真训练回潮时间约束条件下水分最大化的参考模型,由全状态反馈的积分控制,让被控对象按参考模型工作。【结果】试验数据表明:1)该系统能够提高回潮能力,在包心不超过70℃的条件下增加水分由2%提高到6%;2)该系统可以稳定出口水分,不受蒸汽、喷水、烟包和环境剧烈变化的影响,并且,回潮水分可预先设定。【结论】本文建立的烟叶真空回潮的建模与控制系统可以实现真空回潮的可观、可控且指标精准。

通信诈骗预警模型设计研究

本文简要阐述通信诈骗预警模型的理论研究及实现方案,主要是针对通信诈骗频发的现状,结合目前国内相关案例的研究探索,依据通信诈骗治理方式,创新性应用大数据建模的方法对诈骗号码的呼叫情况进行挖掘和分析,结合公安部门下发的案例通报及投诉数据,确定诈骗号码的话务特征,从源头上对疑似号码进行拦截,从而有效降低诈骗案件的发生率。

大数据分析在油气行业的应用研究

为解决油气行业各业务领域应用大数据技术挖掘沉睡数据中的隐性规则、商业机会从而优化生产、辅助决策的需求,分析了国内外油气公司大数据分析的应用场景及基础设施建设现状,在现有供应商解决方案的基础上,结合我国油气行业应用大数据分析的需求设计了统一的油气大数据分析平台,并从大数据管理、人才组织及自主研发等角度提出油气公司部署大数据分析的相关建议。

基于数据魔方的道路交通安全隐患数据治理方法探究

提升道路交通本质安全,关键是做好道路交通安全“人车路企”的隐患排查治理。针对当前面临的道路交通事故多发高发态势,采用大数据分析,精准排查事故隐患具有重要的意义。本文围绕山东省道路交通安全隐患排查整改工作标准要求,通过搭建数据模型,多维度关联交通事故、交通违法、车辆驾驶人等数据信息,实现数据资源深度融合、多维碰撞,从而动态查找源头监管、违法整治、设施设置、宣传警示等方面存在的隐患,以确保采取针对性改进措施,有效提升道路交通安全。

基于大数据按病种分值付费的公立医院全面预算管理

目的 为科学制定预算目标,探索与医疗保险支付改革相契合的预算编制方法,实现公立医院战略与预算的衔接,精准发挥预算管理对能级提升与成本控制的引导作用。方法 整合上海市某三级甲等综合医院2019—2020年出院病案首页及按病种分值付费(diagnosis intervention packet,DIP)病组数据,通过相关因素和多元线性回归分析建立预算模型。结果 经测算2021年该院DIP预算病例组合指数(case mix index,CMI)可提升8%,总量指数增加1.8万,每指数药耗占比下降2.5%,每指数单价下降1.0%,进一步接近医疗保险支付标准。结论 基于DIP的全面预算管理极大地提升了预算管理的科学性和精准度,为公立医院高质量发展树立了目标明确、路径清晰、操作性强的标杆。

财经院校《Java数据科学》课程的思政研究

很多学生认为《Java数据科学》课程是纯技术课程,上课时动手实践能力弱,遇到技术问题时分析解决能力欠缺,也无法结合实证理解数据分析结论。针对这一现状,提出财经类院校《Java数据科学》课程思政的教学内容设计和教学实践模式探索。教学内容以实事求是和通过实践检验理论为教学主旨,以Java语言和第三方工具包为教学主线,介绍社会、经济管理领域的大数据建模与可视化分析。教学模式采取课堂教学+网络教学平台反转教学+课程论文演示。