LKPNR: Large Language Models and Knowledge Graph for Personalized News Recommendation Framework

Accurately recommending candidate news to users is a basic challenge of personalized news recommendation systems.Traditional methods are usually difficult to learn and acquire complex semantic information in news texts,resulting in unsatisfactory recommendation results.Besides,these traditional methods are more friendly to active users with rich historical behaviors.However,they can not effectively solve the long tail problem of inactive users.To address these issues,this research presents a novel general framework that combines Large Language Models(LLM)and Knowledge Graphs(KG)into traditional methods.To learn the contextual information of news text,we use LLMs’powerful text understanding ability to generate news representations with rich semantic information,and then,the generated news representations are used to enhance the news encoding in traditional methods.In addition,multi-hops relationship of news entities is mined and the structural information of news is encoded using KG,thus alleviating the challenge of long-tail distribution.Experimental results demonstrate that compared with various traditional models,on evaluation indicators such as AUC,MRR,nDCG@5 and nDCG@10,the framework significantly improves the recommendation performance.The successful integration of LLM and KG in our framework has established a feasible way for achieving more accurate personalized news recommendation.Our code is available at https://github.com/Xuan-ZW/LKPNR.

Calculating real-time surface deformation for large active surface radio antennas using a graph neural network

This paper presents an innovative surrogate modeling method using a graph neural network to compensate for gravitational and thermal deformation in large radio telescopes.Traditionally,rapid compensation is feasible for gravitational deformation but not for temperature-induced deformation.The introduction of this method facilitates real-time calculation of deformation caused both by gravity and temperature.Constructing the surrogate model involves two key steps.First,the gravitational and thermal loads are encoded,which facilitates more efficient learning for the neural network.This is followed by employing a graph neural network as an end-to-end model.This model effectively maps external loads to deformation while preserving the spatial correlations between nodes.Simulation results affirm that the proposed method can successfully estimate the surface deformation of the main reflector in real-time and can deliver results that are practically indistinguishable from those obtained using finite element analysis.We also compare the proposed surrogate model method with the out-of-focus holography method and yield similar results.

Constructing Large Scale Cohort for Clinical Study on Heart Failure with Electronic Health Record in Regional Healthcare Platform:Challenges and Strategies in Data Reuse

Regional healthcare platforms collect clinical data from hospitals in specific areas for the purpose of healthcare management.It is a common requirement to reuse the data for clinical research.However,we have to face challenges like the inconsistence of terminology in electronic health records (EHR) and the complexities in data quality and data formats in regional healthcare platform.In this paper,we propose methodology and process on constructing large scale cohorts which forms the basis of causality and comparative effectiveness relationship in epidemiology.We firstly constructed a Chinese terminology knowledge graph to deal with the diversity of vocabularies on regional platform.Secondly,we built special disease case repositories (i.e.,heart failure repository) that utilize the graph to search the related patients and to normalize the data.Based on the requirements of the clinical research which aimed to explore the effectiveness of taking statin on 180-days readmission in patients with heart failure,we built a large-scale retrospective cohort with 29647 cases of heart failure patients from the heart failure repository.After the propensity score matching,the study group (n=6346) and the control group (n=6346) with parallel clinical characteristics were acquired.Logistic regression analysis showed that taking statins had a negative correlation with 180-days readmission in heart failure patients.This paper presents the workflow and application example of big data mining based on regional EHR data.

ChattyGraph:面向异构多协处理器的高可扩展图计算系统

现阶段,随着数据规模扩大化和结构多样化的趋势日益凸现,如何利用现代链路内链的异构多协处理器为大规模数据处理提供实时、可靠的并行运行时环境,已经成为高性能以及数据库领域的研究热点.利用多协处理器(GPU)设备的现代服务器(multi-GPU server)硬件架构环境,已经成为分析大规模、非规则性图数据的首选高性能平台.现有研究工作基于Multi-GPU服务器架构设计的图计算系统和算法(如广度优先遍历和最短路径算法),整体性能已显著优于多核CPU计算环境.然而,这类图计算系统中,多GPU协处理器间的图分块数据传输性能受限于PCI-E总线带宽和局部延迟,导致通过增加GPU设备数量无法达到整体系统性能的类线性增长趋势,甚至会出现严重的时延抖动,进而已无法满足大规模图并行计算系统的高可扩展性要求.经过一系列基准实验验证发现,现有系统存在如下两类缺陷:(1)现代GPU设备间数据通路的硬件架构发展日益更新(如NVLink-V1,NVLink-V2),其链路带宽和延迟得到大幅改进,然而现有系统受限于PCI-E总线进行数据分块通信,无法充分利用现代GPU链路资源(包括链路拓扑、连通性和路由);(2)在应对不规则图数据集时,这类系统常采用过于单一的设备间数据组织和移动策略,带来大量不必要GPU设备间经PCI-E总线的数据同步开销,导致本地性计算同步等待时延开销过大.因此,充分地利用各类现代Multi-GPU服务器通信链路架构来设计可扩展性强的图数据高性能计算系统亟待解决.为了达到Multi-GPU下图计算系统的高可扩展性,提出一种基于混合感知的细粒度通信来增强Multi-GPU图计算系统的可伸缩性,即采用架构链路预感知技术对图结构化数据采用模块化数据链路和通信策略,为大规模图数据(结构型数据、应用型数据)最优化选择数据交换方法.综合上述优化策略,提出并设计了一种面向Multi-GPU图并行计算系统ChattyGraph.通过对GPU图数据缓冲区优化,基于OPENMP与NCCL优化多核GPU协同计算,ChattyGraph能在Multi-GPU HPC平台上自适应、高效地支持各类图并行计算应用和算法.在8-GPU NVIDIA DGX服务器上,对各种真实世界图数据的若干实验评估表明:ChattyGraph显著实现了图计算效率和可扩展性的提升,并优于其他最先进的竞争对手性能,计算效率平均提升了1.2×-1.5×,加速比平均提升了2×-3×,包括WS-VR和Groute.

Spanning tree-based algorithm for hydraulic simulation of large-scale water supply networks

With the purpose of making calculation more efficient in practical hydraulic simulations, an improved algorithm was proposed and was applied in the practical water distribution field. This methodology was developed by expanding the traditional loop-equation theory through utilization of the advantages of the graph theory in efficiency. The utilization of the spanning tree technique from graph theory makes the proposed algorithm efficient in calculation and simple to use for computer coding. The algorithms for topological generation and practical implementations are presented in detail in this paper. Through the application to a practical urban system, the consumption of the CPU time and computation memory were decreased while the accuracy was greatly enhanced compared with the present existing methods.

Modified Shifting Bottleneck Heuristic for Scheduling Problems of Large-Scale Job Shops

A modified shifting bottleneck algorithm was proposed to solve scheduling problems of a large-scale job shop.Firstly,a new structured algorithm was employed for sub-problems so as to reduce the computational burden and suit for large-scale instances more effectively.The modified cycle avoidance method,incorporating with the disjunctive graph model and topological sort algorithm,was applied to guaranteeing the feasibility of solutions with considering delayed precedence constraints.Finally,simulation experiments were carried out to verify the feasibility and effectiveness of the modified method.The results demonstrate that the proposed algorithm can solve the large-scale job shop scheduling problems(JSSPs) within a reasonable period of time and obtaining satisfactory solutions simultaneously.

基于大语言模型的水工程调度知识图谱的构建与应用

随着水利事业的发展和信息化需求的增加,处理和表示海量水利数据变得复杂而繁琐。特别是调度文本数据通常以自然语言的形式存在,缺乏明确的结构和规范,并且处理和应用这些多样性的数据需要具备广泛的领域知识和专业背景。为此,提出了基于大语言模型的水工程调度知识图谱的构建方法。通过数据层的调度规则数据收集与预处理,再利用大语言模型挖掘和抽取数据中蕴藏的知识,完成概念层本体构建和实例层“三步法”提示策略抽取。在数据层、概念层、实例层的相互作用下,实现了规则文本的高性能抽取,完成了数据集和知识图谱的构建。实验结果表明,大语言模型抽取方法F1值达到85.5%,且通过消融实验验证了模型各模块的有效性和合理性。构建的水工程调度知识图谱整合了分散的水利规则信息,有效处理非结构化文本数据,并提供可视化查询和功能追溯功能。这有助于领域从业人员判断来水情况并选择适当的调度方案,为水利决策和智能推荐等提供了重要支持。

大语言模型赋能场景生成和双层优化的多农业园区供电-灌溉-蓄水耦合运行

传统农灌负荷的使用具有集中性和无序性,显著加剧电力系统的供需不平衡与运行成本。为提升农业园区运行的经济性和光伏资源的消纳能力,通过刻画农灌负荷特性,结合作物生长用能需求,提出一种基于大语言模型(largelanguagemodel,LLM)场景生成和双层优化的多农业园区优化调度模型。该模型利用LLM时序分析能力进行光伏短期发电功率预测,然后通过LLM知识推理能力构建农业用水知识图谱,知识图谱中丰富的语义关系辅助LLM推理和预测,生成更符合实际情况的农业供电-灌溉-蓄水场景。双层优化调度模型在生成场景基础上,以园区经济运行为优化目标,对多农业园区供电-灌溉-蓄水进行耦合优化调度。最后,通过仿真验证,本文所提出的方法显著提升了农业园区电力系统运行稳定性,并有效降低了系统运行成本。

面向技艺传承的传统建筑古籍的知识组织——以《营造法式》大木作制度为例

传统建筑古籍是古代建造技术的重要载体,对其技艺与经验进行语义关联和组织对古建筑建造技术的传承与利用具有重要意义。文章以经典建筑古籍《营造法式》卷四、卷五所述“大木作制度”工种的文字信息为原始语料,以大木作营造技艺为对象,在《古建筑类文物元数据规范》的基础上,进行“宋式大木作营造技艺”本体的构建、复用与实例扩展,利用知识图谱对本体进行存储展示;应用知识图谱绘制构件组合“铺作”的3D模型,设计原型系统展示图谱数据,验证所建本体的应用价值。

大语言模型在学科知识图谱自动化构建上的应用

人工智能技术的飞速发展推动了教育领域的智能化,涌现出一些利用知识图谱技术进行学科知识体系构建的研究。利用知识图谱构建的知识体系,可以建模知识点之间的关联性,形成课程知识脉络,有助于学习者对知识点的记忆与深层次理解。然而,学科课程的教学资源多样且分散,现有的自动构建方法往往使用单一的数据资源,资源利用率低,难以对专业知识体系的构建提供有效指导。构建方法自动化程度较低,构建成本大,需要开发不同的模块对非结构化文本进行处理并生成图谱,可复现性和可移植性较差。因此,提出了一种基于大语言模型的学科知识图谱构建优化流程,高度融合大语言模型的优势和各学科知识的逻辑关联。具体以通信专业为例,借用ChatGPT大语言模型的强大功能,使用多种知识来源,通过学科知识分析设计知识系统本体,自动化提取基于教学资源的知识实体和知识关系形成最终的学科知识体系,可方便地推广至其他学科领域。

融合知识图谱和图注意力网络的旅游推荐算法

为缓解旅游推荐模型面临的数据稀疏和冷启动的问题,提出一种融合知识图谱和图注意力网络的旅游推荐算法KRGAT(knowledge ripple graph attention network)。借助水波网络从用户的历史旅游行为和知识图谱中挖掘用户偏好增强用户特征表示,针对当前旅游项目特征学习的方法难以提取节点深层特征的问题,利用图注意力网络聚合相关度更高的邻居节点信息,增强旅游项目特征表示。实验在自建立的旅游数据集上与5个基线方法进行对比,其结果表明,KRGAT的精确率(P)、召回率(R)和AUC值分别提升了5.73%、4.42%和1.42%。

知识图谱与大语言模型协同的教育资源内容审查

数字教育资源自动化内容审查是教育信息化时代的迫切需求,特别是对教育资源是否超标的适用性审查,存在知识点难定位和难理解的问题.针对这一需求,提出了一种基于教育知识图谱和大语言模型(简称“大模型”)协同的教育资源内容审查方法.具体地,首先利用“本体”思想,设计并构建一个面向中小学教育的知识图谱;之后,利用大模型在文本生成和排序任务上的优势,设计基于教学内容生成和排序剪枝的知识定位方法;最后,通过教学内容核心知识子图与知识图谱教学路径的冲突检测,实现超标教学内容识别.实验结果表明,所提出的方法可有效应对教育资源内容的超标知识审查任务,为基于知识图谱及大语言模型协同的教育应用开辟新的技术路径.

大语言模型融合知识图谱的医学问答系统构建研究

大语言模型(LLM)具有强大的学习和推理能力,然而由于缺乏内部知识,该模型面临幻觉挑战。针对医学问答对高质量专业知识的需求,本研究提出一种大语言模型融合知识图谱的医学问答方法,并将其应用于医学科技信息知识服务平台(MedKaaS)的问答系统构建。研究表明,相比传统的知识库问答(KBQA)和新兴的基于生成式大语言模型的问答,本文所提出的大语言模型融合知识图谱的方法充分综合了二者的优势,并为医学问答提供了证据溯源支持,有效提升了医学智能问答质量和医学知识服务效果。

大语言模型辅助下的增强现实装配方法

基于增强现实的装配引导系统将数字信息叠加到物理场景中,有效指导了复杂装配作业任务。然而装配环境中人与物理世界的隔阂仍然巨大,待融合到物理世界的信息需事先准备好,并且需要人工在装配过程中来触发。研究实时且无处不在的提示,成为当前增强现实环境下的复杂装配研究热点,本文提出了一种基于大语言模型(LLMs)辅助的增强现实装配方法,其核心是将LLMs作为装配过程中的另外一个大脑,提供无处不在的装配引导和工艺信息提示支持。首先,建立了LLMs辅助的增强现实装配方法体系,分析了体系的要素及关联关系。其次,面向LLMs环境,构建了匹配的工艺信息模型。随后,给出了基于LLMs的辅助引导装配方法和流程。最后,结合某线缆装配专业知识,研发了一个专业问答系统,实现了LLMs智能辅助引导,使装配合格率提升了15%,并通过多个案例验证了该方法的有效性。

融合知识推理与相似度检索的民众诉求大模型构建与应用

高效回复民众诉求是实现智能化管理、提升民众满意度的必要措施,将智能问答应用于民众诉求能有效节约人力和时间资源。然而,智能问答中基于规则和检索的模型依赖预设知识,当诉求超出预设知识范围时无法提供有效回复,在处理多轮对话时也无法保持对话连贯性。现有的大语言模型可以和用户流畅对话,但通用大语言模型缺乏诉求领域知识。由于训练数据中问答对的信息没有覆盖回答用户问题所需要的知识,导致通用大语言模型生成错误回复或答非所问,产生幻觉。针对上述问题,构建了面向民众诉求领域的智能问答大语言模型(PC-LLM)。设计基于BERT-BiLSTM-CRF的实体关系抽取模型获得诉求工单中实体及其关系,进而构建诉求知识图谱,使用BERT模型对诉求工单向量化并构建诉求工单向量索引库;回复生成阶段,抽取用户诉求的实体和关系,在诉求知识图谱中通过实体链接进行知识推理,获取潜在关系提示,同时在诉求工单向量索引库内对诉求进行快速检索,获取相似诉求并构建相似诉求提示;将潜在关系提示、相似诉求提示与用户诉求融合形成综合提示,引导大语言模型生成准确的回复。实验分析显示,该大语言模型在诉求数据集中的表现明显优于ChatGPT4o、文心一言、通义千问等大语言模型。

基于大模型的电子信息领域知识图谱自动构建与检索技术

当前电子信息领域积累的越来越多宝贵经验知识对知识使用技术提出了新的挑战。知识图谱(Knowledge Graph, KG)技术和大规模预训练语言模型(Large Language Model, LLM)技术在知识使用方面都各自存在缺陷,但两种技术的优缺点能够形成互补。因此,基于LLM技术,提出了应用于电子信息领域的知识图谱自动构建与检索增强问答技术。首先基于LLM的语义理解能力自动构建电子信息领域知识图谱,然后构建基于知识图谱和检索增强大模型的知识问答系统。在CoNLL2003数据集和构建的电子信息领域数据集上的实验证明了所方法具有较好质量,知识问答系统具有较好的实用效果。所提方法能够更好地满足从业人员从海量文档中提取相关知识,提高知识利用效率的迫切需求,为推动大模型结合知识图谱技术在电子信息垂直领域的落地应用提供参考。

一种基于图论理论的大尺度连续变形机构构型综合分析方法

针对航空航天领域大尺度连续变形机构构型问题,提出了一种基于图论理论的大尺度连续变形机构构型综合分析方法。首先,分析了大尺度连续变形机构的组成与基本功能,获得了满足机构拓扑结构、约束条件的要求,对变形机构运动链进行了分析,得到了符合条件的运动链,并对其进行了数学描述;其次,选择并分析了运动链的拓扑对称性,利用特征数组的方法得到了判别矩阵,对运动链进行了同构判别,从而得到了可行的多种运动链形式;再次,建立了各运动链的拓扑图,通过筛选得到了最终的拓扑图,去掉该拓扑图的各个构件,得到了拓扑变换子图和相对应的邻接矩阵,对拓扑图进行了同构判别,再通过改变机架与移动副的位置得到了满足要求的12种构型,画出了其相应的机构拓扑图和机构简图;最后,考虑了大尺度连续变形机构的整体稳定性,避免了尺寸过大等因素,对大尺度变形机构进行了构型优选,得到了符合要求的多种新构型。研究结果表明:该方法能够将大尺度连续变形机构抽象为图形式,获得了22种构型,可根据机构变形要求的不同,改变优选依据,从而得到符合不同要求的构型。

健身运动知识表达与智能查询系统构建

科学健身运动在促进大众体质健康、心理健康等方面均发挥着重要作用。在数智时代背景下,健身运动知识的智能查询与精准查询成为延伸全民健身公共服务供给,提高全民健身公共服务质量的重要环节。鉴于此,通过知识图谱与大语言模型的协同互补,探索构建知识图谱驱动的健身运动知识智能查询系统,提出涵盖知识抽取与表达、知识整合与管理、知识查询与问答于一体的实施方案,进而为实现精准化健身运动知识智能查询的研究与应用提供参考。

基于多模态和知识蒸馏的教材知识图谱构建方法

为了高效构建教育领域多模态学科知识图谱,提出了基于大模型知识蒸馏和多模型协作推理的教材文本实体关系抽取算法。在模型训练阶段,利用闭源的千亿参数模型对文本数据进行标注,实现隐式知识蒸馏。然后对开源十亿规模参数模型进行领域数据指令微调,提升开源模型实体关系抽取任务的指令遵循能力。在模型推理阶段,闭源模型作为指导模型,开源的十亿规模参数模型作为执行模型。实验结果表明知识蒸馏、多模型协作、领域数据指令微调具有有效性,显著提高了基于指令提示的教材文本实体关系抽取任务的效果。提出了显隐式知识增强的教材示意图多模态命名实体识别算法。利用图像OCR、视觉语言模型等技术提取了教材示意图中的文字信息、全局内容描述信息。通过显式知识库检索增强和隐式LLM提示增强的方法,得到图像-标题对中可能关联的辅助知识,并将显式知识库和隐式LLM得到的知识进一步融合,形成最终的辅助知识。将示意图辅助知识和示意图标题进行拼接,实现教材示意图标题的多模态命名实体识别。实验结果表明,该算法具有先进性,同时增强了算法的可解释性。

国家考古遗址公园研究文献可视化分析

梳理分析国家考古遗址公园研究文献是践行“保护第一、加强管理、挖掘价值、有效利用、让文物活起来”的新时代文物工作的重要思路。运用文献分析软件Cite Space对中国知网(CNKI)数据库1985—2023年国家考古遗址公园研究的477篇文献进行计量统计研究。研究发现:学者在理论拓展、政策解读、方法实践、路径探讨并辅以案例分析等方面有较丰富的研究成果,这些成果聚焦遗址保护、阐释与展示、国家公园、文旅融合等专题。但在理论和实证方面体现活化利用、社区参与、公众共享、数字化、可持续发展等方面的研究成果略显薄弱,在学科交叉、研究方法、技术手段等方面还需加强。未来需从突出国家属性、促进全民共享等视角提升理论与实践的科学研究水平,加强研究机构之间的合作交流。本研究为整体把握国家考古遗址公园的目标定位与发展态势,推动可持续发展提供建议。