基于实时离线计算一体化处理的烟草商业客户数据治理研究

广东烟草商业系统已建成营销、专卖、内管、物流、财务等应用系统,积累了大量业务数据。如何有效利用数据、充分释放数据价值,助力企业业务创新、推动数字化转型,为国有企业提质增效,是行业高质量发展的重大课题。对目前烟草企业客户服务所面临的数字化困境进行分析,发现在处理数据规范、数据复用等数据治理方面的任务时需建立两套计算平台分别处理实时流式计算和离线批处理计算。针对当前问题,采用能同时兼容实时流式计算与离线计算的流批一体计算架构,设计出适合广东烟草商业系统的数据治理方案,实现了客户360度全景及违规预测的应用,提升了服务水平。

大模型提取SQL字段血缘的方式研究

本文研究了一种基于大模型的结构化查询语言(Structured Query Language,SQL)字段血缘提取方法,利用大模型的强大的语义表示能力,从SQL语句中提取字段和表之间的数据流向和变化规则,从而实现数据治理和分析的基础。本研究基于ChatGLM 3.0开源大模型预参数和LoRA(Low-Rank Adaptation)微调模型,通过实验对比了四个商用大型语言(Large Language Model,LLM)模型的案例分析证明了方案的可行性。