基于批数据过采样的中医临床记录四诊描述抽取方法

中医临床记录四诊描述抽取对中医临床辨证论治的提质增效具有重要的应用价值,然而该任务尚有待探索,类别分布不均衡是该任务面临的关键挑战之一。该文围绕中医临床记录四诊描述抽取任务展开研究,首先构建了中医临床四诊描述抽取语料库;然后基于无标注的中医临床记录微调通用预训练语言模型实现该模型的领域适应;最后利用小规模标注数据,采用批数据过采样算法,完成中医临床记录四诊描述抽取模型的训练。实验结果表明,该文提出的抽取方法的总体性能均优于对比方法,并且与对比方法的最优结果相比,该文方法将少见类别的抽取性能F1值平均提升了2.13%。

考虑特性分类批处理负荷可调节能力的数据中心微网灵活性设备分布鲁棒容量配置方法

微网灵活性设备主要用于平抑源荷两侧的波动,其容量配置方法应考虑源荷不确定性的影响,而含数据中心微网的灵活性设备容量配置方法还应进一步考虑数据中心负荷的可调节特性。考虑数据中心批处理负荷的可调节能力和源荷不确定性因素,提出一种灵活性设备容量配置方法。根据负荷特性的不同,将批处理负荷划分为2类以更加准确地量化其可调节能力,一类为带宽时序可变限时可平移负荷,另一类为带宽时序不变可中断平移负荷,对这2类批处理负荷进行详细分析并给出一般性的建模方法;构建数据驱动下的min-max-min两阶段分布鲁棒优化容量配置模型,利用1-范数和∞-范数约束场景概率分布模糊集,采用列和约束生成算法对该模型进行化简求解。对某省数据中心微网进行算例分析,验证了所提方法的有效性。

基于YOLOv5s的织物缺陷实时检测算法

在织物工业化生产过程中,织物缺陷种类繁多,且包含大量小目标缺陷和极端宽高比的细长缺陷,这使得织物缺陷检测成为了一项具有挑战性的任务。针对这一问题,提出了一种改进的YOLOv5s算法。首先改进Mosaic数据增强方法,在丰富数据集的同时,削弱了原数据增强方法对部分织物缺陷类型检测的副作用,提升了小目标与极端宽高比瑕疵的检测能力。再改进批量归一化为代表性批量归一化,提升算法对纷繁多样的瑕疵实例的差异化特征表达并抑制噪声干扰;最后引入轻量化的坐标注意力,以精准的位置信息编码了特征的长距离依赖关系和通道依赖关系,增强算法对缺陷的定位能力。实验结果表明,本算法大幅提高了小目标与极端宽高比缺陷的检测能力,使得平均检测精度mAP达到81.3,相比原YOLOv5s提升了4.1%,检测速度为32.6 fps,完全满足实时性要求,本算法较好地平衡了检测精度与检测速度。

基于LabVIEW的红外气体传感器自动批量标定测试系统

针对红外气体传感器在标定过程中存在效率低、工作量大、易出错等问题,设计了一种基于LabVIEW的红外气体传感器自动批量标定测试系统。系统由红外气体传感器、流量计、温湿度实验箱、采集板及上位机组成。采用LabVIEW编写软件程序,功能包括:参数设置、采集板和红外气体传感器的连通性测试、控制温箱和流量计实现定时保温和定时通入比例气体、采集红外气体传感器数据、自动标定、自动处理数据等。该软件编程采用多线程,保证各项功能同时进行,具有界面美观、运行速度快、稳定性强、可靠性高的优点。标定测试结果显示:系统结构紧凑,运行稳定且操作简单,该系统可高效并广泛应用在实际生活中的大批量红外传感器自动标定。

医院大数据平台建设难点及关键技术研究

目的解决医院大数据平台在数据采集、治理及应用环节面临的困难。方法总结建设大数据平台的经验,深入分析该平台在各环节的建设难点,提出“流批一体”数据处理、“湖仓一体”存储、存算分离等关键技术方案。结果该平台已接入医院34个业务系统数据、超过3PB的基因组学数据,提供超过2500TFLOPS的算力资源,为医院临床诊疗、管理决策、临床科研提供应用服务。结论以应用为驱动的大数据平台逐步实现了医院数据资产的统一存储和集中管理,有助于推动大数据技术在医疗领域的应用和发展。

基于元学习的无数据模型压缩

针对现有深度学习无数据蒸馏框架下,数据合成效率低下以及蒸馏模型性能不足的问题,提出一种基于元学习的快速数据合成方法。通过批量标准化层的平均值和方差,及动量自适应调整,提取可重用特征,对特定任务执行少量更新,达到提高数据合成效率的目的;通过提出同异构教师鉴别器提取双采样知识,解决数据样本多样性与泛化性问题;改进传统知识蒸馏损失,采用学生自恢复蒸馏,通过一个生成块,提高模型性能。实验结果表明,提出方法优于现有无数据蒸馏方法。

基于带权单链表多元哈希树的云数据审计方案

针对传统Merkle哈希树节点利用率低以及动态更新效率低的问题,提出一种支持批量更新的基于带权单链表的多元哈希树(WSLL-MHT)数据结构,在该结构中,将多元哈希树的叶子节点替换成单链表结构以存储更多数据块,增加其节点利用率。在动态更新过程中,引入树的平衡机制确保链表长度的平衡,提高动态更新的效率。采用BLS-HVA签名技术实现批量审计和隐私保护,结合随机掩蔽技术确保第三方审计员不能从返回的证据中获取用户隐私信息。实验结果表明,所提方案能安全高效实现云端数据的批量审计和全动态更新。

基于“湖仓一体”技术的城轨大数据平台设计与升级改造实践

为了探寻城市轨道交通行业大数据平台建设与升级改造的最优方案,本文以城轨大数据平台为研究对象,从城轨大数据平台发展历程出发,梳理城轨大数据平台发展的3个阶段,分析各阶段大数据平台所采用的技术与优缺点,重点总结当前阶段“湖仓一体”大数据技术所具备的湖仓一体、流批一体、OLTP+OLAP、多重负载等优点,研究了基于该技术的大数据平台架构升级改造设计要点,并将该技术在北京地铁数据中心的大数据平台升级改造中进行应用验证。结果表明:“湖仓一体”大数据平台技术兼具数据湖的低成本、数据仓库的高性能等优点,解决了原大数据平台在性能、容量与多用途支持上的不足,为城轨行业大数据平台建设与升级改造提供了新的解决思路。

基于数据归一化原点矩约束最大熵原理的小样本数据测量不确定度评定

测量检验是生产制造的重要环节,测量不确定度是测量质量的重要评价指标,表征测量数据的分散程度。最大熵原理常用于测量不确定度评定,基于最大熵原理获得测量样本数据的概率密度函数,能够避免主观因素,反映数据客观的分布情况。小批量生产中获得的测量数据往往较少,在小样本数据下,基于原点矩约束最大熵原理求得的测量不确定度不够准确可靠。针对这一问题,提出基于数据归一化原点矩约束最大熵原理的小样本数据测量不确定度评定方法,并通过数值仿真和应用案例验证所提测量不确定度评定方法的有效性。

高分卫星影像遥感指数批量处理系统设计与实现

针对日益增长的高分卫星影像数据文件量和批量化计算处理其遥感指数的需求,采用交互式数据语言IDL,基于分层架构和事件驱动模型,设计和开发具有图形用户界面、不依赖ENVI软件、可跨平台独立运行的高分卫星影像遥感指数批量处理系统,实现影像读取、指数计算、数据输出的批量化、可视化、流程化处理,简化从繁芜复杂的高分影像数据文件中提取多种遥感指数的手工操作过程。在农业遥感业务中的实践应用结果表明:本系统能够稳定运行,高效地处理大批量的高分卫星影像文件,精准计算多种遥感指数,避免了传统方法存在的操作繁琐、重复劳动、频繁等待等问题,不仅极大提升了农业遥感业务的工作效率,而且对遥感数据分析处理和相关软件的开发应用也具有重要的参考意义。本系统的成功设计实现与应用,显示出了分层架构、事件驱动模型与IDL语言的结合对农业遥感领域信息系统开发和实践的有效性。

基于倾斜摄影测量的村镇房屋调查数据批量自动更新

为了提升村镇房屋调查数据的更新效率,本文介绍了基于倾斜摄影测量的村镇房屋数据采集方法,并分析了如何利用最小外接矩形及中心算法构建三维模型。通过建立KD树空间索引,本文提出了批量自动更新规则,实现了对房屋调查数据的快速、准确更新。研究结果表明,该批量自动更新方法能够显著提高数据更新的效率和准确性,为村镇房屋管理提供了有力的技术支持。

基于ModelBuilder的多矢量多栅格数据裁剪工具构建

在地理数据处理中,裁剪数据是常见操作。当有多个矢量数据裁剪多个栅格数据时,常规的数据裁剪工具耗时费力。为了解决这一问题,本文采用ArcMap中的ModelBuilder构建了多矢量多栅格批量裁剪工具。该工具应用镶嵌功能,将构建的子模型工具添加到主模型中,实现了多个迭代过程的运行。经过试验对比研究,当处理的数据相同时,先迭代矢量数据后迭代栅格数据模型工具用时最短,调用次数最少。这表明,该工具可解放人力,大大提高生产作业效率。

基于大数据ETL引擎的批量智能开发平台研究

大数据时代,为了能更好提升多样化源数据类型情况下的ETL开发效率,本文提出了一种基于大数据ETL引擎的批量智能开发平台,重构ETL核心代码完善组件功能,用Java代码自研发class方法,智能调度API接口,批量生成全删全插、增量同步、拉链表和数据质量稽核等XML脚本,转译ETL的XML代码为可执行Java代码,降低操作员使用平台的技术难度。通过实操验证,本文提出的方法能增加平台的开发效率,更快速实现需求。

基于ArcGIS的村级影像图快速制图关键技术研究

面对福建省上万数量的建制村,通过传统的制图方式制作影像图,制图效率偏低,无法满足各级政府部门对“一村一图”现实需求。本文基于ArcGIS数据驱动模块,结合ModelBuilder模块和ArcPy编程,研究了制图数据的批量处理、地图符号表达和注记智能批量配置,并利用制图数据实现批量快速制作科学、实用、美观的村级影像图,为全省开展“一村一图”生产奠定技术基础,进一步拓展测绘地理信息服务保障能力。

按键精灵在福建省医疗保障系统的信息化应用

福建省医疗保障系统,是医保部门最重要的业务经办平台,需支撑各类医保数据的处理。文章以按键精灵的信息化应用为例,将医保部门的人工业务经办操作,如鼠标键盘的按键动作,用按键精灵的脚本录制或脚本编辑功能,以代码的形式信息化并制作成脚本。通过运行该脚本,进行人机按键模拟操作,实现医保数据的批量录入、批量复制和业务操作的自动化等功能,解决福建省医疗保障系统中业务经办出现的常见问题。

基于Spring Batch构建企业级大数据批处理应用研究

传统的企业联机分析处理(OLAP)主要基于关系型数据库,存在实时分析瓶颈。随着企业数据的爆炸性增长,需要采用大数据分析实现从"业务驱动"向"数据驱动"的转变,充分挖掘海量数据中有价值的信息。而要实现"大数据"分析,企业迫切需要构建高效的大数据管理平台。文章引入Spring Batch核心框架,通过剖析其对文件和数据库的读写操作,重点研究基于Spring Batch开发批处理程序的方法和技巧,从而高效构建高内聚、低耦合的企业大数据批处理应用。

改进蜜獾算法和神经网络在CLSP中的应用

针对作业车间环境具有能力受限的批量调度问题(capacitated lot-sizing and scheduling problem,CLSP),提出基于改进蜜獾算法和神经网络的混合优化算法,以此来应对需求和处理时间的不确定性。首先,考虑需求和处理时间受到不确定性影响,构建基于可满足性模理论的确定性模型,引入安全库存和安全松弛两个弹性参数,以运营总成本最低为优化目标,建立需求不确定下的鲁棒优化模型;其次,提出基于改进蜜獾算法和神经网络的混合算法,利用混沌理论生成伪随机值,估计安全参数的标称值和变化幅度,提高算法速度;最后,进行示例验证,结果表明所提算法可优化调度准则,减小最优性差距,有效解决具有延期订单许可的问题,降低平均短缺成本。

基于ArcPy的自然资源资产清查工具集的设计与实现

全民所有自然资源资产清查工作过程中遇到数据需要重新整合、检查,由于数据量大,人工处理需要投入大量人力,且容易出错。针对此问题,本文结合本区域项目需要,利用ArcPy开发了全民自然资源资产清查工具集。该工具集实现了批量处理字段信息、统计表格信息、合并小斑、批量创建模板库等功能,具有批量处理数据能力,满足了高效处理数据需要,实现了数字化处理全民所有自然资源资产清查数据效果,可为其他自然资源调查监测提供参考。

基于窗口粒子滤波算法的土壤水分同化及滑坡灾害预警

【目的】在水-力耦合计算中,土壤水力参数通过量化土壤含水量与孔隙水压力的转换关系,决定有效应力及边坡稳定性的计算结果。研究稳健、可靠的数据同化方法,降低土壤水力参数的不确定性,提升土壤水动力模拟的准确性,对降雨型滑坡灾害预警具有重要意义。【方法】通过虚拟算例和实例应用,提出将窗口粒子滤波数据同化方法(简称PBS算法)与渗流-边坡稳定分析模型结合,通过同化土壤含水量数据,达到反演土壤水力参数、模拟土壤孔隙水压力以及预测边坡稳定性的目标。通过虚拟算例,证实了当PBS算法设定大于2 d的时间窗口,以及大于80个的粒子(参数样本)时,能够获得较为准确的模拟结果。实例应用选取四川省都江堰市银洞子沟滑坡堆积体,将PBS算法同化三个位置的土壤含水量的野外监测数据,以4 d为窗口,更新100个粒子样本的土壤水力参数。【结果】结果表明,土壤含水量的模拟值与实测值基本吻合,且模拟的孔隙水压力及边坡稳定系数能对降雨做出清晰、有效的响应。在经过2~3个窗口更新后,三个探头孔隙水压力模拟值不确定区间大小均小于0.11 m,边坡稳定系数的不确定区间大小分别为0.03、0.01和0.11。针对2017年8月28日的极端降雨诱发的滑坡灾害事件的预警,经PBS算法同化后的土壤含水量、孔隙水压力以及边坡稳定系数都收敛到较窄的集合区间,且当日低于1.0的边坡稳定系数,可警示滑坡风险。【结论】通过虚拟算例及实际应用,证实了PBS算法可支持稳健、可靠的土壤水力参数估计及渗流过程模拟,在边坡稳定分析及降雨型滑坡灾害预警领域具有广阔的应用价值。

基于大数据流批一体化技术应用的研究

随着大数据技术的发展,采用流批一体化实现多源异构数据的融合逐渐成为必然趋势。在处理非结构化数据时,数据仓库在实时性方面存在延迟等问题。而数据湖具备存储多源异构数据的能力,能够处理大规模数据集和实时数据,具有存储成本低及数据灵活等优势。文章通过流批一体对多源异构数据进行融合,并围绕数据采集、存储、计算等构建湖仓一体架构。该架构具备强大的数据分析和挖掘能力,可从海量数据中挖掘有价值的数据,以支持决策和创新。