基于机器学习的数据库系统参数优化方法综述

参数优化是影响数据库性能和适应性的关键技术,合理的参数配置对于保障数据库系统的高效运行至关重要,但由于参数较多且参数间具有强关联性,传统参数优化方法难以在高维连续的参数空间中寻找最优配置,机器学习的发展为解决这一难题带来新的机遇。通过总结和分析相关工作,将已有工作按照发展时间和特性分为专家决策、静态规则、启发式算法、传统机器学习方法和深度强化学习方法。对数据库参数优化问题进行定义,并说明启发式算法在参数优化问题上的局限性。介绍基于传统机器学习的参数优化方法,包括随机森林、支持向量机、决策树等,描述机器学习方法解决参数优化问题的一般流程并给出一般实现。由于需要大量带标注的数据,传统机器学习模型在适应性和调优能力等方面存在不足。侧重介绍深度强化学习模型的工作原理,定义参数优化问题与深度强化学习模型的映射关系,比较基于深度强化学习的相关工作对数据库性能提升、模型训练时间和涉及的技术,描述基于深度神经网络构建和训练智能体的具体流程。最后,总结已有工作的特点,对当前机器学习在数据库参数优化方面的研究热点和发展方向进行展望,指出多粒度调优、自适应算法和自运维是未来的研究趋势。

面向多模态数据的新型数据库技术专题前言

以数字技术为标志的新一轮科技革命方兴未艾,将人类带入数字经济时代.全球各行各业数据量呈现爆炸式增长,数据类型和数据格式也呈现多种形式,例如结构化关系表、半结构化JSON/XML、非结构化文本/图像/视频,以及图数据、流数据和时序数据等.这要求数据库系统能够同时高效地管理多种不同类型的数据.多模态数据管理与分析成为亟需解决的问题.目前的方法主要通过拓展现有的数据库或通过集成各种不同模态数据管理引擎来支持多模态数据管理与分析,缺少新颖的理论、方法与技术的支撑.本专题围绕多模态数据管理与分析的整个生命周期,通过结合大数据技术和人工智能方法探讨新型数据库系统理论、方法和技术,包括多模态数据统一建模、存储与索引、查询与挖掘、并发控制、多模态数据库系统构建及其典型应用等主题,赋予数据库系统新的管理能力,形成多模态数据管理与分析在各行各业的最新应用成果.

互联网时代分布式关系数据库的有益探索

在实现分布式数据库的技术方案上,业界存在不同的选择.第一种方式需要对应用系统进行拆分,通过分库分表将原本单个数据库管理的数据分散到多个集中式数据库.分库分表方案要求应用系统重构,跨库访问效率较低,关系数据库的重要功能,如外键、全局唯一性约束.

长城数据库建设与数字化应用实践

长城因规模巨大、人文与自然环境复杂、公众认知不足,面临保护管理难题。天津大学长城课题组持续20年对长城遗产进行图像采集与基础研究,搭建“长城防御体系时空数据库”“长城全线实景三维数据库”。基于双数据库,从学术层面对长城防御体系开展系统性研究,发掘出多项长城资源;从专业层面为长城病害及风险监测工作提供支持;从社会层面,线上联合互联网企业搭建“云游长城”平台,线下与博物馆单位合作策划“虚实之间·发现长城——天津大学长城研究和数字成果展”。诸多成果助力长城整体性数字再现,为长城保护、研究、管理提供科学依据,提高公众在长城保护过程中的参与度。

基于FAERS数据库的白消安不良事件信号挖掘与分析

目的 利用美国食品药品管理局不良事件报告系统(FAERS)数据库对白消安的药品不良事件(ADE)进行研究,挖掘潜在的ADE信号,为临床安全用药提供参考。方法 检索FAERS数据库中2004年第1季度至2023年第1季度的数据,通过数据清洗、目标药物名称标准化,获得以白消安为首要怀疑药物的ADE记录。采用报告比值比法、比例报告比值法和综合标准法挖掘白消安ADE信号,并利用信息成分法进行信号强弱判断。以《国际医学用语词典》对ADE进行系统器官分类(SOC),并按照ADE发生频次和信号强度分别排序。结果 共获得20 326份以白消安为首要怀疑药物的ADE报告,涉及患者5 615例,男性患者比例高于女性(40.71%vs.30.74%);年龄小于18岁占31.56%;上报人群主要为医师(33.71%)、其他健康专业人员(24.35%)以及药师(23.86%);上报国家主要为美国(29.69%)、日本(15.78%)、法国(11.79%)。共挖掘出白消安相关ADE信号556个,其中117个ADE信号未被药品说明书收载。556个ADE信号中,发生频次前五位ADE分别为产品用于未经批准的适应证、肝小静脉闭塞症、黏膜炎症、巨细胞病毒感染和移植物抗宿主病;信号强度排名前五位ADE分别为肝小静脉闭塞症、急性移植物抗宿主病、静脉闭塞性疾病、移植物抗宿主病以及慢性移植物抗宿主病。挖掘的ADE信号共累及23个SOC,数量排名前三的SOC分别为感染及侵染类疾病,各类检查,良性、恶性及性质不明的肿瘤(包括囊状和息肉状)。结论 白消安临床应用中,应警惕肝小静脉闭塞症、感染、移植物抗宿主病、神经相关毒性和血栓性微血管病等易造成严重后果的ADE,临床药师协助医师做好ADE的预防方案,提高白消安的使用安全性。

基于创新创业能力培养的数据库课程教学改革

针对数据库课程教学中缺乏培养创新创业思维能力的复杂工程问题案例、教师难以掌握学生过程性学习情况等问题,从教学模式、实践教学方法、信息化教学手段、课程考核评价方式等方面提出课程教学改革的思路与方法,最后通过应用实践说明改革成效并提出思考和解决策略。

单中心瓣膜外科手术数据库和随访系统20年建设成果分析

目的探讨心外科专业数据库发展的困境及突破方向,希望为心外科专业数据库的建设带来有益的参考。方法通过对首都医科大学附属北京安贞医院瓣膜外科中心的手术数据库和随访系统信息提取与对比分析,回顾总结数据库的运行情况及存在的问题。结果手术信息数据库2001年起已持续运行20余年,收录瓣膜手术患者15420例,并已成为临床工作的一部分。我们发现20余年来瓣膜手术患者在年龄、病变瓣膜、手术方式等多方面发生改变,提示了瓣膜疾病的变迁及外科手术技术的进步,治疗患者年龄由最初2001年的(46±15)岁上升至2023年的(58±13)岁。随访系统自2013年运行2年内,注册患者962例,参与随访691例,随访率71.8%。但后续出现持续发展的瓶颈。相比于手术数据库,随访系统在服务主体定位、信息采集方式、数据库工作模式等多方面存在差异。结论大数据时代的心外科数据库建设需要国家顶层设计与实践探索相结合,建立以患者为核心、国家层面的纵向数据库,配合以病种为核心、专业层面的横向数据库。涵盖完善的基础及专业信息,应该是未来专业数据库发展的方向。

GPU数据库实现技术发展演进

爆炸式增长的数据对存储和处理数据提出了更高的需求,GPU数据库作为新硬件数据库的一个重要分支,在大容量和高性能处理方面有其独特的优势.GPU数据库作为高性能数据库的代表,在最近几年受到学术界和产业界的关注,一批具有代表性的研究成果和标志性的实际产品已经出现.GPU数据库的技术发展按照GPU加速型和GPU内存型两种技术路线展开.两种技术路线都有相应的原型系统或产品出现.虽然两种GPU数据库的发展路线在实现上有所不同,但GPU数据库最基本的功能部分和核心技术是相似的,都有查询编译、查询优化、查询执行以及存储管理等功能.当前主流的数据传输方案除了PCIe之外,NVLink、RDMA和CXL等传输方案也为不同处理器之间的数据传输提供了更多的可能性.大多数GPU数据库使用列存储模型来存储数据,少数GPU数据库(如PG-Strom)对两种存储模型都支持.在列存储模型上利用压缩技术能减少数据的存储空间和传输时延.在GPU数据库上进行的压缩和解压的时间应该在整个数据处理的过程中占比很少.在GPU数据库上建立和维护索引不应该有很大的系统开销.JIT编译时间短、编译效率高,是GPU数据库编译的主流.操作符对数据库查询性能的影响非常明显,连接操作、分组聚集和OLAP运算符是目前研究最多的三个类型.目前大多数的研究中,连接和分组聚集算子通常结合在一起研究.在连接算子执行的过程中还和表的连接顺序结合在一起进行考虑.OLAP算子是GPU数据库中的又一个被大量研究的算子,GPU数据库在OLAP算子和模型方面持续受到研究者的关注.GPU数据库有三种查询处理模型,即行处理、列处理和向量化处理.向量化处理和列处理在实际系统中应用较多.由于GPU加速型数据库技术的发展,CPU-GPU协同处理模型上的查询方案与查询引擎也有一定数量的研究成果出现.当前GPU数据库的查询优化研究主要有三部分:多表连接顺序、查询重写和代价模型.然而,GPU数据库的代价评估模型在目前还没有很好的解决方案,GPU数据库的查询优化在未来仍有很大的研究空间.事务在GPU数据库中没有得到很好的研究,尽管有单独的原型系统,但目前的研究还没有取得重大进展.本文总结了GPU数据库各种关键技术已有的研究成果,指出GPU数据库当前存在的问题和面临的挑战,对未来的研究方向进行了展望.

文化创意产业导向下的图书馆文创IP数据库构建研究——以《上海图书馆文创IP资源库》为例

本研究以文化创意产业的发展为导向,以上海图书馆构建的《上海图书馆文创IP资源库》为例,对图书馆文创IP数据库的构建进行深入研究。通过对《上海图书馆文创IP资源库》的调研和分析,探讨图书馆如何利用数字技术和文化资源,构建和管理具有创意价值的IP数据库,并借此为文化创意产业提供丰富的创意资源,推动文化产业的创新与发展,为图书馆文创开发的进一步发展带来新的思路和机遇。

实时数据库数据的批量写入及性能测试研究

通过对石油化工行业使用较多的PHD实时数据库在多模式下的数据批量写入,以标准差指标对测试值进行可信度分析、测试调校,得出多模式下实时数据批量修改、更新测试的最优结果,探索一种行之有效的工业实时数据库优化、应用的方法。

工程造价改革背景下造价数据库建设研究

工程造价数据库是本次工程造价改革后进行工程计价的依据之一。针对逐步停止发布预算定额、按照造价数据库等进行计价的造价改革要求,文章对国内现有的造价数据库建设情况进行了研究,梳理了造价数据收集、标准编制、数据库开发、数据库输出等现状,指出了其中存在的数据来源不稳定、数据标准不全、数据库建设缺乏规划、造价数据利用率低等问题。对照造价改革背景下的造价数据库建设要求,文章研究提出造价数据库在投资估算、设计概算、最高投标限价、合同履约、工程结算等阶段的应用需求,以及相应的投标价格指数、材料价格指数、工程造价指标和工程量指标、各类市场价格信息等造价数据库成果需求,最后针对造价数据建设提出下一步做好造价数据库规划、加强造价数据标准编制、研究建立指标指数体系、开展造价数据库建设试点等多方面建议。

基于SEER数据库老年子宫内膜癌临床病理特征及预后列线图的构建与验证

目的 分析老年子宫内膜癌临床病理特征及预后风险因素,构建列线图并进行内部验证。方法 回顾性收集监测、流行病学和最终结果(SEER)数据库2010年至2019年符合条件的子宫内膜癌病例,分为≥60岁组和<60岁组,分析两组人群的临床病理特征。运用Cox比例风险回归模型进行单因素及多因素回归分析,探讨老年子宫内膜癌预后的风险因素,并构建其3、5年总生存率的列线图预测模型。通过一致性指数(C-index)、受试者工作特征(ROC)曲线及校准曲线评估列线图的可靠性。结果 共筛选21 446例患者,包括<60岁者8559例(39.91%),≥60岁者12 887例(60.09%)。两组人群在种族、病理类型、组织学分级、分期、手术方式、放疗、化疗、总生存率及癌症特异性生存率方面,差异均有统计学意义(P<0.05)。年龄、特殊病理类型(浆液性癌、混合型癌、癌肉瘤、透明细胞癌)、组织学分级、分期、手术方式、化疗及远处转移是影响老年子宫内膜癌患者预后的独立危险因素(P<0.05)。构建预测3、5年生存率的列线图,其C-index为0.839(95%CI:0.834~0.843)。列线图的校准曲线显示预测值和实际值具有较好的一致性。3、5年总生存率ROC曲线下面积(AUC)分别为0.864和0.847。结论 老年子宫内膜癌患者具有独特的临床病理学特征。以预后风险因素为基础构建的列线图,具有较好的一致性和准确度,可作为判断预后和指导治疗的参考。

钻孔岩芯基础数据库方案设计及应用——以常熟台为例

针对钻孔岩芯基础数据库构建中钻孔的岩芯试验、数据处理和数据汇集等关键问题,提出钻孔岩芯基础数据库的设计方案。该方案以江苏常熟台钻孔建设施工为例,基于新颁布的《地震台站建设规范地形变台站第2部分:钻孔地倾斜和地应变台站》为施工标准,完成包括钻孔施工流程、岩芯实验步骤和岩芯数据处理分析软件的开发等钻孔岩芯基础数据库的前期关键工作。钻孔岩芯基础数据库的设计方案为钻孔岩芯的收集和试验提供详细的研究思路、方法和实例,填补全国钻孔规范化建设中新增技术指标的空白,为全国钻孔岩芯基础数据库的建设提供参考。

数据知识产权登记:商业秘密模式抑或数据库模式

数据知识产权登记试点实践的背后隐含着商业秘密模式和数据库模式的理论分歧。数据的商业秘密保护存在影响数据访问、阻碍数据流通利用的负面效应,不值得在制度上予以强化激励。与其通过商业秘密模式寻求数据与知识产权的关联,不如转向数据库模式。我国数据知识产权登记实践中普遍存在“数据结构”要求,与欧盟的数据库概念具有相通之处。“数据结构”可以体现数据集合的智力成果属性。在大数据时代,数据知识产权保护具有超越传统的数据库保护的内涵。相比欧盟“限缩保护范围—权能宽泛模糊”的数据库特殊权利范式,我国可以选择“扩张保护范围—限缩权利内容”的对应范式,从而适应数字时代数据财产保护的新需求,打造数据库保护的中国升级版。

基于人工智能技术的分布式数据库重复记录自动检测系统设计

以人工智能技术为基础前提的分布式数据库重复记录自动检测的方式,以提高数据库查询时的准确率以及查询效率。设计系统首先对数据信息进行对应的特征提取,而后通过权衡函数对样本信息进行整合,通过自适应分解得到相应的目标函数并求解,结合灰狼算法以及Shingle完成数据查询。经过算例验证,改进设计方式准确率均超过90%,平均耗时在35 s以内,满足自动查询快速精确的要求。

燃气爆炸事故中软管物证案例分析及数据库建立

连接燃气源与灶具的软管是室内燃气爆炸事故现场中常见的一类物证,在事故调查中起到重要作用。该文以数起真实发生的室内燃气爆炸事故为案例,分析软管物证及痕证在事故调查及反演分析中的作用。结果表明,在某2起燃气爆炸事故案例中,通过分析软管形貌并测试软管特性参数,证实软管的玻璃化转变温度较高,现场温度远低于玻璃化转变温度导致的软管脆化开裂,是燃气泄漏的主要原因。在某起燃气爆炸火灾事故案例中,软管形貌完好无损,能够排除因软管连接的液化气罐泄漏导致的燃气爆炸事故。建立燃气爆炸事故中燃气软管痕证数据库,可向数据库内添加事故信息及软管图片信息,并检索数据库内已有信息。研究结果可为燃气爆炸事故调查及反演提供参考。

黄土高原地震滑坡与强震动记录数据库管理系统的构建与应用

地震滑坡资料与实际强震动记录是开展地震滑坡成灾机理研究的重要基础数据,如何科学管理这些数据资料,并最大限度地发挥其科学价值仍然是一个值得探索的问题。文章以黄土高原地区7次典型历史地震诱发黄土滑坡和125次地震(2001—2018年)的强震动记录为基础数据,依托开源GIS平台+MySQL数据库,构建黄土高原地震滑坡与强震动记录数据库管理系统。该系统界面规范、友好,参数获取方便,图表展示清晰、流畅,不仅为地震滑坡和强震动记录数据资料的管理与应用提供一个科学便捷的平台,也为黄土地震滑坡成灾机理研究提供坚实的数据基础,亦对黄土高原地区防灾减灾工作的开展具有一定的参考价值。

全球矿床数据库建设现状、应用与展望

基于大数据和人工智能技术的数据驱动科学范式推动地球科学研究发生了变革。作为地球科学的重要分支,现代矿床学经历了百余年的发展,已经积累了海量的数据资料,这些数据的流通和共享是发挥其资源价值的关键。文章介绍了中国“地质云”与全球矿产资源储量动态评估数据库、澳大利亚深部地球探测计划AuScope、美国矿产资源在线空间数据库、国际经济地质学家学会(SEG)Geofacets数据库、美国标准普尔公司SNL Metals&Mining数据库等国际主要矿床数据库的情况;同时,列举了应用大数据思维和人工智能方法在区域成矿规律、矿床成因机制、矿床类型判别、资源潜力评价、战略咨询等方面取得的若干重要进展。文章提出,未来在深时数字地球国际大科学计划的平台下,整合全球海量矿床数据,建设开放、共享、统一的矿床大数据平台势在必行。

分布式数据库隐私数据细粒度安全访问控制研究

为控制隐私数据的细粒度安全访问行为,提出分布式数据库隐私数据细粒度安全访问控制。通过分布式数据库空间划分,过滤隐私数据,利用分区方程,分解数据库空间内隐私数据,将隐私数据反应函数的构建过程定义为对分布式数据库中隐私数据挖掘的博弈过程,获取博弈因子,将细粒度划分问题转化为隐私数据在最小二乘准则下的规划问题,划分隐私数据的细粒度。利用加密算法,对隐私数据加密,依据密钥分发算法为用户分发密钥,通过密钥转换,将加密后的隐私数据上传到分布式数据库,利用数据库验证用户的令牌是否包含隐私数据的信息,建立令牌请求机制,实现隐私数据的细粒度安全访问控制。实验结果表明,经过文中方法控制后,分布式数据库的响应性能有所提高,在保证正确性的同时,还可以提高对恶意访问行为的控制能力,具有较高的实际应用价值。

基于ⅢF A/V规范和Avalon系统的大学图书馆视听数据库建设研究

随着中国网络基础设施的不断改善,视听媒体在年轻一代中非常流行,给以文本资源为主的图书馆带来了挑战。本研究旨在探究国内外大学图书馆视听资源数据库建设的现状,借鉴ⅢF规范在图像资源管理方面的成功经验和各种视听保存社区的实践,提出基于ⅢF A/V规范与开源软件的中国大学图书馆视听资源管理方法。通过分析华东师范大学图书馆在视听资源保存、流媒体发布、时间轴气泡注释、转录、视听结构化和开放共享方面的实践,进行实证研究。