低资源集群中的大语言模型分布式推理技术

探索了一种并行能力更强、具有更好兼容性的大语言模型(LLM)分布式推理范式。该范式专为弱算力、小显存环境设计。同时面向主机内外差异带宽,设计了基于通信树的高效All-Reduce组通信技术;针对小显存集群,设计了细粒度的显存管理与调度技术。最后,基于这些关键技术,构建了一套针对资源受限场景的LLM推理软件系统,旨在用数量有限的低资源设备,最大化能推理的LLM,同时通过优化通信策略与计算调度加速分布式推理。实验证明,在应用上述技术后,本方案的首词元生成延迟降低34%~61%,每秒生成词元吞吐量提升52%~150%,显存占用降低61%。

面向对象的命题逻辑和分布式推理

命题逻辑是人工智能和知识工程的基础之一,然而传统命题逻辑却没有体现面向对象的思想,并且难于适应目前的分布式计算环境。本文用对象封装命题变元,实现了传统命题逻辑和面向对象思想的结合;本文引入命题关联类/对象来封装产生式,不但显式地表证了事物之间的命题逻辑关系,还使系统形成一种网络拓扑结构,实现了知识的分布式存储;本文还提出了真值传递和规则触发机制,通过它们可以将推理分布在网络的各个节点完成,并且实现了知识的自索引:相关的知识都存于本地,因此搜索只发生在一个节点内部,避免了全局搜索。

一种基于分布式推理的火情探测系统

为克服用于火情探测的传统中心化系统网络负载高、灵活性差、推理效率低等问题,提出了一种无线传感网络环境下基于分布式推理的火情探测系统。该系统依托局部模糊逻辑和知识驱动聚类技术,能够融合当前环境信息、被预测的环境信息(短期知识)和偏差环境信息(长期知识),进而生成针对火情的更加复杂和精细的推理结果。该系统采用Ⅱ型模糊逻辑模型,避免了Ⅰ型模糊逻辑模型在建模非确定性局部知识和动态环境时准确率较低的问题;此外,该系统采用知识驱动节点自动聚类策略,并引入选择概率机制,有效降低了网络负载并提升了对非确定性的建模能力。对真实数据集进行试验,与多款基于无线传感网络的火情探测系统的试验结果对比表明,该系统能够生成针对火情的更加复杂和精细的知识推理结果,而且显著减少了无线传感网环境承载的消息数量,提高了知识推理的即时性和准确性。

面向普适计算的分布式模糊推理Petri网建模及仿真

普适计算环境通常采用集中式推理机制,加重了推理服务器和网络通信的负担,并且未充分利用终端计算能力。分布式模糊推理Petri网模型对模糊推理Petri网模型FRPN进行改进,采用层次结构,表征推理服务器和终端的推理任务执行;通过引入负载度和负载增长率的概念,在模糊推理过程中监控节点资源占用,弥补了集中式推理的不足。仿真实验表明,该模型较之FRPN模型可显著降低系统负载,是一种有效的分布式推理的规约方法。

D3L(ccy)的属性及分布式Tableaux推理算法的研究

分步式动态描述逻辑(distributed dynamic description logics,D3L)很好地实现了在多个自治本体之间导入和重用知识的思想.在多个动态描述逻辑(dynamic description logics,DDL)本体之间桥规则构成链的情况下,知识并不总是按预期的方式正确传播.借鉴了基于包的描述逻辑(P-DL)的思想,引入了组合一致性语义对D3L进行了扩展从而很好地解决了上述问题.系统地研究了扩展得到的描述逻辑D3L(ccy)的属性及分布式推理理论.证明了该描述逻辑的单调性(D3L(ccy)是一种单调逻辑)、有向性(桥规则的影响具有方向性)及冲突局部性(局部本体的冲突不会传播到整个分布式系统);通过对原有Tableaux推理算法的扩展,为D3L(ccy)提出了分布式Tableaux推理算法并研究了算法的性质,证明了该算法是可终止的、可靠的和完备的.与传统的D3L相比,扩展后的D3L可以为信息集成系统、语义Web等分布式、动态的系统提供更为合理的逻辑基础.

结合Rete的RDF数据分布式并行推理算法

现有的资源描述框架(RDF)数据分布式并行推理算法大多需要启动多个MapReduce任务,但有些算法对于含有实例三元组前件的RDFS/OWL规则的推理效率低下,整体推理效率不高.针对此问题,文中提出结合Rete的RDF数据分布式并行推理算法(DRRM).首先结合RDF数据本体,构建模式三元组列表和规则标记模型.在RDFS/OWL推理阶段,结合MapReduce实现Rete算法中的alpha阶段和beta阶段.然后对推理结果进行去重处理,完成一次RDFS/OWL全部规则推理.实验表明,文中算法能高效正确地实现大规模数据的并行推理.

面向智能通信和计算的移动边缘分布式学习:现状、挑战与方法

分布式机器学习被视为发展下一代智能通信网的基石。然而,在无线网络上部署分布式学习面临若干挑战,包括不确定的无线环境、有限的通信资源等。如何在无线边缘网络上高效地部署分布式学习成为研究热点。将调研论述无线人工智能在分布式架构中的国内外研究现状及挑战,重点介绍几种新兴的分布式学习范式,包括联邦学习、分布式推理和多智能体强化学习。最后从全局的角度,描述了移动分布式学习减少通信代价的研究现状和未来发展。

基于Spark的分布式并行推理算法

现有的RDF数据分布式并行推理算法大多需要启动多个Map Reduce任务,有些算法对于含有多个实例三元组前件的OWL规则的推理效率低下,使其整体的推理效率不高.针对这些问题,文中提出结合TREAT的基于Spark的分布式并行推理算法(DPRS).该算法首先结合RDF数据本体,构建模式三元组对应的alpha寄存器和规则标记模型;在OWL推理阶段,结合Map Reduce实现TREAT算法中的alpha阶段;然后对推理结果进行去重处理,完成一次OWL全部规则推理.实验表明DPRS算法能够高效正确地实现大规模数据的并行推理.

分布式知识库系统中推理的二级分解分布策略

在分布式知识库系统ＤＫＢＳ中，推理任务的分解与分布具有一定的领域依赖性，而且依赖于ＤＫＢＳ的体系结构。本文通过对具有自然功能分布特征的领域中任务的分解、分布问题的分析，提出一适合该类领域的ＤＫＢＳ体系结构，并在此基础上提出一基于推理的推理任务二级分解分布策略．

面向语义万维网“大规模分布式不完备推理平台LarKC国际专题会议”综述

LarKC项目是开发面向语义万维网的大规模分布式不完备推理平台，LarKC国际专题会议又是全面掌握与免费应用LarKC推理平台的平台。基于第4届LarKC国际专题会议的第一手信息，文章概要介绍LarKC项目诞生的背景与任务、框架及开发进展、历届LarKC国际专题会议，最后作出总结。

基于分布式贝叶斯网络的多故障诊断方法研究

针对复杂系统存在的不确定性、多故障以及传统贝叶斯网络诊断实时性差等问题,提出一种基于分布式贝叶斯网络的故障诊断方法。该故障诊断方法将大型、复杂系统故障诊断模型抽象为贝叶斯网络模型,并将其分解为若干贝叶斯网络子系统,基于消息传播机制完成多个子系统局部推理以及子系统间重叠子域紧凑的消息传播,实现分布式贝叶斯网络的故障推理与诊断。实验结果表明,该故障诊断方法可在复杂、不确定性系统中完成单故障和多故障推理、诊断任务,与传统贝叶斯网络故障诊断方法相比,该方法在推理速度上的优势尤为突出,具有广泛的应用前景。

基于GAG的Horn逻辑分布式推导模型

分布式逻辑推理是在网络环境下提供分布式智能服务的推理机制,提出了一个基于广义与或图(GAG)的Horn逻辑分布式推导模型.该模型可以清晰地表示变量约束,实现无须回溯的远程谓词调用,Horn逻辑中一次成功的推导在该模型中被表示为一个解路径,问题求解被转换为对GAG的搜索.还讨论了广义与或图搜索算法在Horn逻辑推理当中的应用.

视觉传感网络分布式在线数据关联

数据关联是视觉传感网络监控系统的基本问题之一.本文针对无重叠视域视觉监控网络的多目标跟踪问题提出一种基于多外观模型的视觉传感网络在线分布式数据关联方法,将同一目标在不同摄像机节点上的外观用不同的高斯模型描述,由分布式推理算法综合利用外观与时空观测计算关联变量的后验概率,同时通过近似最大似然估计算法对各传感节点上的外观模型参数进行在线估计.实验结果表明了所提方法的有效性.

物联网中分布式监控和查询系统仿真研究

在大规模的物联网系统中,基于查询计划的方法严重依赖于中心节点的查询优化技术。提出一种基于状态迁移的分布式推理和连续查询的处理方法,并对查询处理状态进行压缩。根据各种体系结构的优势和不足,结合RFID标签自带存储介质的特性,提出一种利用RFID自带存储介质进行状态迁移的方法。最后将上述提出的数据清理、存储方法和复杂事件处理方法相结合,形成对物联网中物品的监控。对于离线查询处理,设计了基于分布式哈希表的单标签查询方法(RfidDHT)以及基于多层超级节点对等网MLSP的查询处理方法。

基于路径和算法的飞行器集群分布式相对定位

根据飞行器集群中各节点的惯性测量以及节点间数据链给出的相对距离测量,利用集中式卡尔曼滤波可以实现集群节点间的相对定位,包括相对位置和相对姿态的估计。集中式算法将集群内全部数据汇聚到中心节点集中处理,系统的可扩展性和可靠性受到制约。以信念传播为代表的分布式相对定位算法,通过集群各节点对局部信息的处理以及相邻结点间的信息交互,可实现节点间相对位置和相对姿态的全局估计。然而,在集群相对定位问题中,数据链拓扑包含大量环状结构,此时信念传播算法存在收敛性问题。本文提出一种集群相对定位分布式精确推理方法,可适用于任意集群拓扑结构。分别在高斯标准型和规范型描述下,设计集群各节点误差状态的分布式时间更新和量测更新算法,基于路径和原理给出标准型和规范型参数的分布式转换算法。在线性高斯模型假设下,本文方法等价于集中式卡尔曼滤波,可实现相对定位的最优估计。设计基于集群分解的分布式近似推理算法,进一步提升算法运行速度。在六自由度长航时仿真数据上的计算结果表明,基于路径和的分布式近似推理的相对定位精度与集中式卡尔曼滤波接近,明显优于现有的分布式高斯信念传播算法。

YARM:基于MapReduce的高效可扩展的语义推理引擎

随着语义网的快速发展,RDF语义数据大量涌现.大规模RDF语义数据推理的一个主要问题是计算量大、完成计算需要消耗很长的时间.显然,传统的单机语义推理引擎难以处理大规模的语义数据.另一方面,现有的基于MapReduce的大规模语义推理引擎,缺乏对算法在分布和并行计算环境下执行效率的优化,使得推理时间仍然较长.此外,现有的推理引擎大多存在可扩展性方面的不足,难以适应大规模语义数据的增长需求.针对现有的语义推理系统在执行效率和可扩展性方面的不足,文中提出了一种基于MapReduce的并行化语义推理算法和引擎YARM.为了实现分布和并行计算环境下的高效推理,YARM做出了以下4点优化:(1)采用合理的数据划分模型和并行化算法,降低计算节点间的通信开销;(2)优化推理规则的执行次序,提升了推理计算速度;(3)设计了简洁的去重策略,避免新增作业处理重复数据;(4)设计实现了一种新的基于MapReduce的并行化推理算法.实验结果表明,在真实数据集和大规模合成数据集上,YARM的执行速度比当前最新的基于MapReduce的推理引擎快10倍左右,同时YARM还表现出更好的数据和系统可扩展性.

知识标记与自动推理Web服务的研究

Internet 环境下的知识表示与自动推理是广大人工智能及相关领域研究者面临的新课题。为了给自动推理领域提供一个统一的问题(知识)表示格式及为 Web 用户提供自动推理 Web 服务,提出了一个基于多种类逻辑的知识标记语言 MSKML(Many Sorted Knowledge Markup Language 的简写),实现了使用 RLD(Rightmost Linear Deduc-tion)演绎策略的多种类谓词演算的 COM 对象 Prover 来提供自动推理 Web 服务 ProverService。ProverService 采用简单对象访问协议 SOAP(Simple Object Access Protocol)作为服务器与 Web 客户间的网络通信协议,用 Web 服务描述语言 WSDL(Web Service Description Language)对其提供的服务进行了描述。最后,运用 RLD 演绎成功求解了著名的人工智能问题—Steamroller 问题,并以它为例,描述了该问题及 RLD 反驳的 MSKML 表示以及自动推理 Web 服务的调用过程。

EdgeMI:资源受限条件下深度学习多设备协同推理

深度神经网络广泛应用在多种工业场景中,并且取得突破性的成就,但是深度神经网络应用落地困难,难以部署在资源受限的设备上,现有的解决方案有边缘-云端协同和DNN模型压缩,借助云计算平台或特殊的硬件平台,对多边缘设备上的DNN计算研究较少。提出EdgeMI,一种在边缘资源受限条件下多设备协同推理框架,能够在异构边缘设备集群上进行动态推理;时间预测模型预估卷积层和全连接层的运行时间和通信时间;卷积层划分方案划分计算任务,使得各边缘设备负载平衡;数据调度策略减少边缘设备间的数据交换,降低通信负载。实验结果表明,EdgeMI在确保推理精度的条件下,边缘节点数量从2到4,深度神经网络模型加速比达到1.84x-3.57x,单设备内存占用平均减少73.67%。

低轨卫星网络星载边缘DNN推理策略

为了使低轨卫星网络具备自适应边缘推理能力,首先需要利用有向无环图建立深度神经网络(DNN)模型,并研究低轨卫星网络中的分布式DNN推理问题;然后提出了基于激励函数和处理时延联合优化的量子进化算法,实现了采样率设置和任务卸载的最优化决策;最后,通过仿真测试验证了基于激励函数和处理时延的量子进化算法的性能优于传统方法。

面向语义模型网络的企业信息检索方法研究

面向以语义模型为核心的企业信息集成互联网络,针对信息检索的需求和特点,提出分类检索思想和分布式逐步加载推理方法相融合的语义检索机制。在推理机分布式部署的基础上,通过提出邻接依赖计算算法,判断网络中与检索相关的区域,并将相关区域逐步加载到相应的推理机上,以完成检索任务,实现检索的逐步依赖加载。该方法充分利用语义模型的领域集中控制性和可推理性,使企业的信息集成访问需求在敏捷性和获取信息的语义完整性、一致性之间达成平衡。