基于操作历史图的分布式Key-Value数据库一致性检测算法

分布式数据库系统的副本机制在提高系统可靠性及性能的同时,导致了多副本数据管理的一致性问题;数据一致性的实现需要一致性协议模型来进行预防,也需要一致性检测算法对非一致数据进行检测。首先,对读写操作记录之间的时序关系、安全一致性及并行一致性原则等概念进行定义;其次,根据操作记录集合中读写操作之间的并行与时序关系,提取出操作记录集合向操作记录图转化的规则,并在此基础上设计了操作记录向历史记录图的转化算法;然后,以历史记录图为输入,设计了违反一致性查找算法,查找并返回图中所有违反安全与并行一致性读操作的集合;最后,基于Cassandra进行实验并将读写一致性设置为ONE,通过YCSB产生并行读写压力测试,与同类算法的对比实验验证了所提算法在功能与效率两方面的优越性。

一种基于裸闪存的Key-Value数据库优化方法

近年来,非关系型的key-value数据库得到越来越广泛的应用.然而,目前主流的key-value数据库或者是基于磁盘设计的,或者是传统的基于文件系统和闪存转换层FTL来构建的,难以发挥闪存存储设备的特性,限制了I/O的并发性能,且垃圾回收过程复杂.设计并实现了一种基于裸闪存的keyvalue数据管理架构Flashkv,通过用户态下的管理单元进行空间管理和垃圾回收,充分利用了闪存设备内部的并发特性,并简化了垃圾回收过程,去除了传统文件系统和FTL中的冗余功能,缩短了I/O路径.提出了基于闪存特点的I/O调度技术,优化了闪存的读写延迟,提高了吞吐率;提出了用户态缓存管理技术,降低了数据写入量和频繁系统调用所带来的开销.测试结果表明,Flashkv性能是levelDB的1.9~2.2倍,写入量减少60%~65%.

一种基于key-value数据库的快速地名地址输入提示方法

现有地址输入提示方法涉及标准地址和POI的研究较少,地址字符串的索引大多采用Trie(字典)树索引,但Trie树建立时内存消耗巨大,在面临海量数据时,问题更加突出。针对以上问题,提出一种基于key-value数据库的快速地名地址输入提示方法。该方法基于Trie树结构进行改进,降低了地址索引的复杂度;基于keyvalue数据库构建Trie树,避免了内存消耗巨大的问题。实验结果表明,基于key-value数据库构建的Trie树索引较基于内存构建的Trie树索引在事务响应性能和内存消耗方面具有明显的优势和效率。

Key-Value数据库的研究与应用

首先介绍Key-Value数据库的概念,接着比较了Key-Value数据库与关系数据库的区别和优劣点,并分析了各自适用的范围,最后简单介绍了目前Key-Value数据库的企业级应用情况和几款开源的Key-Value数据库,并总结了使用Key-Value数据库之前要考虑的几点技术问题。

Key-value数据库在时序数据及互动信息处理中的分析应用

Key-value数据库在web2.0之后有了很大的发展。针对目前web2.0应用中关系型数据库存在的问题,通过对用户互动信息(例如,用户评论,打分,实时消息传递,微博数据等)的性能,可扩展性,高可用性上的特点的分析,提出了Key-value数据库在互动信息处理,时序数据处理方面的解决方案。

基于机器学习的数据库系统参数优化方法综述

参数优化是影响数据库性能和适应性的关键技术,合理的参数配置对于保障数据库系统的高效运行至关重要,但由于参数较多且参数间具有强关联性,传统参数优化方法难以在高维连续的参数空间中寻找最优配置,机器学习的发展为解决这一难题带来新的机遇。通过总结和分析相关工作,将已有工作按照发展时间和特性分为专家决策、静态规则、启发式算法、传统机器学习方法和深度强化学习方法。对数据库参数优化问题进行定义,并说明启发式算法在参数优化问题上的局限性。介绍基于传统机器学习的参数优化方法,包括随机森林、支持向量机、决策树等,描述机器学习方法解决参数优化问题的一般流程并给出一般实现。由于需要大量带标注的数据,传统机器学习模型在适应性和调优能力等方面存在不足。侧重介绍深度强化学习模型的工作原理,定义参数优化问题与深度强化学习模型的映射关系,比较基于深度强化学习的相关工作对数据库性能提升、模型训练时间和涉及的技术,描述基于深度神经网络构建和训练智能体的具体流程。最后,总结已有工作的特点,对当前机器学习在数据库参数优化方面的研究热点和发展方向进行展望,指出多粒度调优、自适应算法和自运维是未来的研究趋势。

面向多模态数据的新型数据库技术专题前言

以数字技术为标志的新一轮科技革命方兴未艾,将人类带入数字经济时代.全球各行各业数据量呈现爆炸式增长,数据类型和数据格式也呈现多种形式,例如结构化关系表、半结构化JSON/XML、非结构化文本/图像/视频,以及图数据、流数据和时序数据等.这要求数据库系统能够同时高效地管理多种不同类型的数据.多模态数据管理与分析成为亟需解决的问题.目前的方法主要通过拓展现有的数据库或通过集成各种不同模态数据管理引擎来支持多模态数据管理与分析,缺少新颖的理论、方法与技术的支撑.本专题围绕多模态数据管理与分析的整个生命周期,通过结合大数据技术和人工智能方法探讨新型数据库系统理论、方法和技术,包括多模态数据统一建模、存储与索引、查询与挖掘、并发控制、多模态数据库系统构建及其典型应用等主题,赋予数据库系统新的管理能力,形成多模态数据管理与分析在各行各业的最新应用成果.

基于FAERS数据库的白消安不良事件信号挖掘与分析

目的 利用美国食品药品管理局不良事件报告系统(FAERS)数据库对白消安的药品不良事件(ADE)进行研究,挖掘潜在的ADE信号,为临床安全用药提供参考。方法 检索FAERS数据库中2004年第1季度至2023年第1季度的数据,通过数据清洗、目标药物名称标准化,获得以白消安为首要怀疑药物的ADE记录。采用报告比值比法、比例报告比值法和综合标准法挖掘白消安ADE信号,并利用信息成分法进行信号强弱判断。以《国际医学用语词典》对ADE进行系统器官分类(SOC),并按照ADE发生频次和信号强度分别排序。结果 共获得20 326份以白消安为首要怀疑药物的ADE报告,涉及患者5 615例,男性患者比例高于女性(40.71%vs.30.74%);年龄小于18岁占31.56%;上报人群主要为医师(33.71%)、其他健康专业人员(24.35%)以及药师(23.86%);上报国家主要为美国(29.69%)、日本(15.78%)、法国(11.79%)。共挖掘出白消安相关ADE信号556个,其中117个ADE信号未被药品说明书收载。556个ADE信号中,发生频次前五位ADE分别为产品用于未经批准的适应证、肝小静脉闭塞症、黏膜炎症、巨细胞病毒感染和移植物抗宿主病;信号强度排名前五位ADE分别为肝小静脉闭塞症、急性移植物抗宿主病、静脉闭塞性疾病、移植物抗宿主病以及慢性移植物抗宿主病。挖掘的ADE信号共累及23个SOC,数量排名前三的SOC分别为感染及侵染类疾病,各类检查,良性、恶性及性质不明的肿瘤(包括囊状和息肉状)。结论 白消安临床应用中,应警惕肝小静脉闭塞症、感染、移植物抗宿主病、神经相关毒性和血栓性微血管病等易造成严重后果的ADE,临床药师协助医师做好ADE的预防方案,提高白消安的使用安全性。

互联网时代分布式关系数据库的有益探索

在实现分布式数据库的技术方案上,业界存在不同的选择.第一种方式需要对应用系统进行拆分,通过分库分表将原本单个数据库管理的数据分散到多个集中式数据库.分库分表方案要求应用系统重构,跨库访问效率较低,关系数据库的重要功能,如外键、全局唯一性约束.

长城数据库建设与数字化应用实践

长城因规模巨大、人文与自然环境复杂、公众认知不足,面临保护管理难题。天津大学长城课题组持续20年对长城遗产进行图像采集与基础研究,搭建“长城防御体系时空数据库”“长城全线实景三维数据库”。基于双数据库,从学术层面对长城防御体系开展系统性研究,发掘出多项长城资源;从专业层面为长城病害及风险监测工作提供支持;从社会层面,线上联合互联网企业搭建“云游长城”平台,线下与博物馆单位合作策划“虚实之间·发现长城——天津大学长城研究和数字成果展”。诸多成果助力长城整体性数字再现,为长城保护、研究、管理提供科学依据,提高公众在长城保护过程中的参与度。

面向国产数据库的实验课程思政教学探索

以华为公司研发的国产数据库openGauss为例,提出数据库实验课程中课程思政与数据库实验教学的融合方法,通过实践分析并评估融入国产数据库openGauss课程思政的数据库原理实验教学方法对学生综合素质和专业能力的影响,探讨融合过程中的挑战和改进方向。

基于创新创业能力培养的数据库课程教学改革

针对数据库课程教学中缺乏培养创新创业思维能力的复杂工程问题案例、教师难以掌握学生过程性学习情况等问题,从教学模式、实践教学方法、信息化教学手段、课程考核评价方式等方面提出课程教学改革的思路与方法,最后通过应用实践说明改革成效并提出思考和解决策略。

数据知识产权登记:商业秘密模式抑或数据库模式

数据知识产权登记试点实践的背后隐含着商业秘密模式和数据库模式的理论分歧。数据的商业秘密保护存在影响数据访问、阻碍数据流通利用的负面效应,不值得在制度上予以强化激励。与其通过商业秘密模式寻求数据与知识产权的关联,不如转向数据库模式。我国数据知识产权登记实践中普遍存在“数据结构”要求,与欧盟的数据库概念具有相通之处。“数据结构”可以体现数据集合的智力成果属性。在大数据时代,数据知识产权保护具有超越传统的数据库保护的内涵。相比欧盟“限缩保护范围—权能宽泛模糊”的数据库特殊权利范式,我国可以选择“扩张保护范围—限缩权利内容”的对应范式,从而适应数字时代数据财产保护的新需求,打造数据库保护的中国升级版。

单中心瓣膜外科手术数据库和随访系统20年建设成果分析

目的探讨心外科专业数据库发展的困境及突破方向,希望为心外科专业数据库的建设带来有益的参考。方法通过对首都医科大学附属北京安贞医院瓣膜外科中心的手术数据库和随访系统信息提取与对比分析,回顾总结数据库的运行情况及存在的问题。结果手术信息数据库2001年起已持续运行20余年,收录瓣膜手术患者15420例,并已成为临床工作的一部分。我们发现20余年来瓣膜手术患者在年龄、病变瓣膜、手术方式等多方面发生改变,提示了瓣膜疾病的变迁及外科手术技术的进步,治疗患者年龄由最初2001年的(46±15)岁上升至2023年的(58±13)岁。随访系统自2013年运行2年内,注册患者962例,参与随访691例,随访率71.8%。但后续出现持续发展的瓶颈。相比于手术数据库,随访系统在服务主体定位、信息采集方式、数据库工作模式等多方面存在差异。结论大数据时代的心外科数据库建设需要国家顶层设计与实践探索相结合,建立以患者为核心、国家层面的纵向数据库,配合以病种为核心、专业层面的横向数据库。涵盖完善的基础及专业信息,应该是未来专业数据库发展的方向。

高校图书馆手稿数字化与在线揭示的实践研究——以华东师范大学图书馆手稿数据库建设为例

国内高校图书馆收藏了大量的纸质手稿,但由于缺少数字化、长期保存以及在线揭示的整体解决方案,无法有效发挥其价值。本研究在手稿数据库需求分析的基础上,以华东师范大学手稿数据库建设为例,利用开源软件Goobi实现分布式手稿加工与发布,借助人工智能技术对手稿进行深度挖掘,基于IIIF的底层架构使特藏库可以整合国际知名文化遗产机构发布的手稿资源到本地。根据手稿资源的特点,构建手稿在线阅读图像工具、注释转录、手写识别、特征识别、自动标签等功能,提升用户体验。未来还将不断探索名人角色扮演参考咨询、多光谱三维手稿浏览以及手稿鉴定等功能,推动国内高校图书馆手稿数据库的建设。

智能云平台异构数据库协同检索算法研究

智能云平台是一种集成各种资源和功能的高效计算平台,可以为用户提供灵活的数据存储和高效的数据检索服务.随着信息技术飞速发展,异构数据库中数据呈爆炸式增长.为了提升网络异构数据库检索效果,提出智能云平台异构数据库协同检索算法.构建智能云平台异构数据库,均衡异构数据库中的节点能耗;排序云平台多源异构数据,预处理异构数据;建立以索引库为核心的检索服务引擎,利用神经网络提取多源异构数据特征,实现异构数据库的匹配检索.测试结果表明,所提算法查准率为96%,查全率为94%,数据丢失量仅为1.由此证明,所提方法有效提高了网络异构数据库检索效果.

文化创意产业导向下的图书馆文创IP数据库构建研究——以《上海图书馆文创IP资源库》为例

本研究以文化创意产业的发展为导向,以上海图书馆构建的《上海图书馆文创IP资源库》为例,对图书馆文创IP数据库的构建进行深入研究。通过对《上海图书馆文创IP资源库》的调研和分析,探讨图书馆如何利用数字技术和文化资源,构建和管理具有创意价值的IP数据库,并借此为文化创意产业提供丰富的创意资源,推动文化产业的创新与发展,为图书馆文创开发的进一步发展带来新的思路和机遇。

GPU数据库实现技术发展演进

爆炸式增长的数据对存储和处理数据提出了更高的需求,GPU数据库作为新硬件数据库的一个重要分支,在大容量和高性能处理方面有其独特的优势.GPU数据库作为高性能数据库的代表,在最近几年受到学术界和产业界的关注,一批具有代表性的研究成果和标志性的实际产品已经出现.GPU数据库的技术发展按照GPU加速型和GPU内存型两种技术路线展开.两种技术路线都有相应的原型系统或产品出现.虽然两种GPU数据库的发展路线在实现上有所不同,但GPU数据库最基本的功能部分和核心技术是相似的,都有查询编译、查询优化、查询执行以及存储管理等功能.当前主流的数据传输方案除了PCIe之外,NVLink、RDMA和CXL等传输方案也为不同处理器之间的数据传输提供了更多的可能性.大多数GPU数据库使用列存储模型来存储数据,少数GPU数据库(如PG-Strom)对两种存储模型都支持.在列存储模型上利用压缩技术能减少数据的存储空间和传输时延.在GPU数据库上进行的压缩和解压的时间应该在整个数据处理的过程中占比很少.在GPU数据库上建立和维护索引不应该有很大的系统开销.JIT编译时间短、编译效率高,是GPU数据库编译的主流.操作符对数据库查询性能的影响非常明显,连接操作、分组聚集和OLAP运算符是目前研究最多的三个类型.目前大多数的研究中,连接和分组聚集算子通常结合在一起研究.在连接算子执行的过程中还和表的连接顺序结合在一起进行考虑.OLAP算子是GPU数据库中的又一个被大量研究的算子,GPU数据库在OLAP算子和模型方面持续受到研究者的关注.GPU数据库有三种查询处理模型,即行处理、列处理和向量化处理.向量化处理和列处理在实际系统中应用较多.由于GPU加速型数据库技术的发展,CPU-GPU协同处理模型上的查询方案与查询引擎也有一定数量的研究成果出现.当前GPU数据库的查询优化研究主要有三部分:多表连接顺序、查询重写和代价模型.然而,GPU数据库的代价评估模型在目前还没有很好的解决方案,GPU数据库的查询优化在未来仍有很大的研究空间.事务在GPU数据库中没有得到很好的研究,尽管有单独的原型系统,但目前的研究还没有取得重大进展.本文总结了GPU数据库各种关键技术已有的研究成果,指出GPU数据库当前存在的问题和面临的挑战,对未来的研究方向进行了展望.

实时数据库数据的批量写入及性能测试研究

通过对石油化工行业使用较多的PHD实时数据库在多模式下的数据批量写入,以标准差指标对测试值进行可信度分析、测试调校,得出多模式下实时数据批量修改、更新测试的最优结果,探索一种行之有效的工业实时数据库优化、应用的方法。

工程造价改革背景下造价数据库建设研究

工程造价数据库是本次工程造价改革后进行工程计价的依据之一。针对逐步停止发布预算定额、按照造价数据库等进行计价的造价改革要求,文章对国内现有的造价数据库建设情况进行了研究,梳理了造价数据收集、标准编制、数据库开发、数据库输出等现状,指出了其中存在的数据来源不稳定、数据标准不全、数据库建设缺乏规划、造价数据利用率低等问题。对照造价改革背景下的造价数据库建设要求,文章研究提出造价数据库在投资估算、设计概算、最高投标限价、合同履约、工程结算等阶段的应用需求,以及相应的投标价格指数、材料价格指数、工程造价指标和工程量指标、各类市场价格信息等造价数据库成果需求,最后针对造价数据建设提出下一步做好造价数据库规划、加强造价数据标准编制、研究建立指标指数体系、开展造价数据库建设试点等多方面建议。