基于知识网络特征的产业关键共性技术识别模型与实证研究——以新一代信息技术产业为例

[目的/意义]构建产业关键共性技术识别模型并进行实证研究,为产业技术创新布局提供参考。[方法/过程]从技术领域和技术主题两个层面,探索知识网络特征与产业关键共性技术特征的关系:将技术领域共现网络中具有相似性质的节点集合作为产业共性技术领域;根据网络中节点的结构位置,计算技术主题特征指标,最终筛选出产业关键共性技术。[局限]该模型未考虑不同国家或地区之间技术竞争与布局的差异,后续研究将进一步探讨。[结果/结论]本文以新一信息技术产业为例,识别出8个共性技术领域和20个技术主题。本文研究模型从专利文献内容和技术发展规律两个方面综合考量,确保了模型及其结果的科学性、合理性和可靠性。

基于多行为特征嵌入记忆网络的知识追踪模型

【目的】为了充分利用交互记录中的学习和遗忘特征,提出了一种基于多行为特征嵌入记忆网络的知识追踪模型(MFKT).该模型考虑了学习过程中的学习和遗忘两种行为。【方法】首先,从交互记录中提取学习和遗忘两大特征,然后将提取到的学习特征通过标量交叉方式嵌入记忆网络,同时将遗忘特征通过向量组合的方式嵌入,用于增强其对于学生答题序列的学习能力。此外,还考虑到了不同学生回答完成后的知识增长差异,在原先记忆网络的基础上增加了一个知识增长层,用于计算学生答题得到的知识增长。【结果】通过在公开数据集上的实验表明,MFKT更加符合学生的真实学习规律,能够实现对学生知识状态更加精准的追踪。

基于知识图谱的中性几何模型装配特征语义重建方法

现有企业的产品模型主要以中性几何模型文件格式储存。由于中性几何模型是以点、线、面等几何语义形式来储存信息,在实际装配过程中,中性几何模型不具有装配特征语义,不能够为装配环节提供指导作用。针对这一问题,首先提出了基于知识图谱的中性几何语义模型KG-NGSM,规范化地表示中性几何模型中的几何语义;提出一种面向中性几何模型的几何语义抽取方法,抽取几何语义元素并映射为数据层中的实体;基于知识图谱与图匹配网络进行相似度计算,从而实现中性几何模型装配特征语义的重建;最后,以某企业风力发电机产品为例,研发了装配特征语义构建系统并进行验证,结果表明,所提方法对于风机产品的实际装配操作环节具有一定指导作用。

预训练语言模型特征增强的多跳知识库问答

知识库问答(knowledge base question answering,KBQA)是一个具有挑战性的热门研究方向,多跳知识库问答主要的挑战是非结构化的自然语言问题与结构化的知识库推理路径存在不一致性,基于图检索的多跳知识库问答模型善于把握图的拓扑结构,但忽略了图中结点和边携带的文本信息。为了充分学习知识库三元组的文本信息,构造了知识库三元组的文本形式,并提出了三个基于非图检索的特征增强模型RBERT、CBERT、GBERT,它们分别使用前馈神经网络、深层金字塔卷积网络、图注意力网络增强特征。三个模型显著提高了特征表示能力和问答准确率,其中RBERT结构最简单,CBERT训练最快,GBERT性能最优。在数据集MetaQA、WebQSP和CWQ上进行实验对比,在Hits@1和F1两个指标上三个模型明显优于目前的主流模型,也明显优于其他BERT的改进模型。

融合局部特征的多知识库常识问答模型

当前的多知识库融合常识推理模型的输入和特征组合的方式过于简单,导致模型丢失了一些与问题和答案相关的重要信息,限制了融合外部知识的常识推理模型的效果。另外,在进行常识问答的任务时,预训练语言模型输出的问题和答案表示存在的向量各向异性问题没有得到解决。这些问题都是导致常识问答推理性能不够高的因素。针对以上问题,提出了一种基于局部特征融合的多知识库常识问答模型,改进外部知识库和问答文本的融合方式。模型将局部的问题和答案特征融入预训练语言模型全局特征,以丰富模型的特征信息,并在预测层结合了多种维度的特征进行预测;模型对于待匹配的问题和答案句子表示进行了白化处理,然后执行匹配任务。通过白化操作,模型增强了句子表示的各向同性,提升了句子向量的表征能力;还探索了不同预训练编码器(如:ALBERT、ELECTRA)在模型上的效果,以加强对知识文本的特征抽取能力,并证明了模型的稳定性。实验结果证明,在相同BERT-base编码器的实验下,模型的准确率达到78.6%,相较于基线模型,准确率提升了3.5个百分点;在ELECTRA-base编码器的实验下,模型的准确率达到80.1%。

一种基于特征知识蒸馏的轻量级图像去噪模型

为了构建适用于小型设备的轻量级图像去噪模型,提出了一种基于特征知识蒸馏的新方法.该方法通过学习教师模型的特征图,捕捉深层知识,从而构建轻量级去噪模型,其参数量仅为教师模型的五分之一.实验结果验证了蒸馏算法的有效性,在不同噪声水平及数据集下,都显著提升了学生模型的去噪性能,为轻量级图像去噪模型的构建提供了一种新的方向.

DKVMN-PLC:一种融合学习者个性化学习特征的动态键值记忆网络知识追踪模型

动态键值记忆网络知识追踪作为知识追踪领域的代表性模型,通过引用注意力机制提高了模型的可解释性,但未考虑异常学习行为对学生状态更新的影响,也存在添加学习特征损害模型可解释性的问题.针对以上不足,本文提出模型DKVMN-PLC(Dynamic Key-value Memory Network with Personalized Learning Characteristics).首先,基于协同过滤思想,提出一种使用整体、阶段性学习能力判断异常学习行为的方法,量化了异常学习行为对更新学习状态的影响,提高学生状态建模的准确性.其次,提出一种存储器特征与个性化特征的融合方法,使用特征工程、聚类技术将特征分别用于同步存储器和预测学生表现,提高模型使用键值对获取学生信息的准确性.将DKVMN-PLC与5个知识追踪模型在3个数据集上进行了对比实验,DKVMN-PLC模型表现均为最优.

基于知识图谱的用户特征-关系推荐模型在电力安全教育中的应用

电力安全教育中员工群体分布的长尾特征,导致采样到的用户交互数据具有明显的稀疏性,使用传统推荐算法无法获得理想的效果,为此文章提出了基于知识图谱的用户特征-关系推荐模型。建立一个基于多任务迁移学习的神经网络,通过引入F-R单元实现了用户特征与实体关系的深度聚合,能识别出对推荐有重要影响的“用户特征-实体关系”组合,并通过神经网络挖掘其内在作用规律,从而利用实体关系信息强化了用户特征对推荐算法的影响,显著提升了模型的预测性能。实验证明,本模型能够有效解决电力安全教育场景中‘长尾’群体用户交互数据的稀疏问题,明显缓解冷启动效应。

问题特征增强的知识追踪模型

知识追踪根据学生过去的答题表现实时跟踪学生的知识状态并预测学生未来的答题表现,是实现个性化教学的关键。近年来,基于RNN的深度知识追踪模型逐渐成为知识追踪领域中的主流研究方法。但是,现有的知识追踪模型存在无法捕获序列间长期依赖以及忽略了问题与知识点间关系的问题,导致无法充分提取问题特征。针对上述问题,提出了基于问题特征增强的知识追踪模型QFEKT。使用图卷积神经网络对问题和知识点相关特征进行建模,建模过程中引入对比学习提升特征表示水平。通过问题匹配模块与学生知识状态表征模块进一步增强问题特征:通过问题匹配模块提取相似问题作为问题特征的补充;通过学生问题表征模块将双向长短期记忆网络与注意力机制结合增强问题特征建模学生的知识状态。预测模块融合相似问题特征与学生知识状态预测学生未来答题表现。在三个公开真实数据集上进行对比实验,QFEKT模型与其他基线模型相比可以更好完成知识追踪任务,在预测学生未来答题表现上具有明显优势。

基于BERT模型的电网基建工程知识图谱特征提取方法

由于电网基建工程涉及因素较多,导致在对其知识图谱特征进行提取时,F1值难以得到保障,为此,本文章提出基于BERT模型的电网基建工程知识图谱特征提取方法研究。以RDF模型为基础,构建了以三元组为基本单元的电网基建工程知识图谱模型;通过关系(即边)之间的联系,实现对电网基建工程知识图谱目标特征的有效提取。在测试结果中,设计方法对于不同特征,对应的提取结果F1值基本稳定在0.90以上,最大值达到了0.94,与对照组相比,在稳定性和有效性方面具有较为明显的优势。

融合习题特征信息的交叉注意力机制知识追踪模型

对学习者的知识掌握水平进行追踪是智慧教育的重要研究方向之一。传统深度知识追踪方法的关注点主要集中在循环神经网络上,但存在缺乏可解释性、长序列依赖等问题。同时,很多方法没有考虑学习者特征信息及习题特征对实验结果的影响。针对以上问题,提出了一种融合习题特征信息的交叉注意力机制知识追踪模型。该模型结合知识点和习题特征信息得到习题特征嵌入模块,再根据学习者回答情况对注意力机制进行改进,得到双注意力机制模块。考虑到学习者实际做题情况,引入基于注意力机制的猜想失误模块。首先,将习题特征信息输入到该模型中,通过习题特征嵌入模块得到融合习题特征信息的学习者反应;然后,经过猜想失误模块的处理,可以得到学习者的真实反应;最后,通过预测模块得出学习者下一次回答正确的概率。实验结果表明,融合习题特征信息的交叉注意力机制知识追踪模型相对于传统深度知识追踪(deep knowledge tracing,DKT)模型,ROC曲线下面积(area under curve,AUC)和预测准确率(accuracy,ACC)分别提高了3.13%和3.44%,能够很好地处理长序列依赖情况,并具有更好的可解释性和预测性能。

用于加速预训练知识追踪模型的深层特征提取器

通过对知识追踪进行预训练的嵌入与微调,可以显著提高知识追踪任务的准确性,但现有的微调方法通常采用全微调的方式,即调整预训练模型的所有参数,效率较低。本文提出了一种新的高效微调方法,称为快速适配训练方法,通过提取深层特征来调整模型,以适应不同的下游任务。与全微调方法相比,快速适配训练方法在ASSIST 09和EdNet数据集上能够实现5.2倍和3.6倍的训练时间加速,并且同时提高了0.49%和0.19%的预测精度。

基于大语言模型的水工程调度知识图谱的构建与应用

随着水利事业的发展和信息化需求的增加,处理和表示海量水利数据变得复杂而繁琐。特别是调度文本数据通常以自然语言的形式存在,缺乏明确的结构和规范,并且处理和应用这些多样性的数据需要具备广泛的领域知识和专业背景。为此,提出了基于大语言模型的水工程调度知识图谱的构建方法。通过数据层的调度规则数据收集与预处理,再利用大语言模型挖掘和抽取数据中蕴藏的知识,完成概念层本体构建和实例层“三步法”提示策略抽取。在数据层、概念层、实例层的相互作用下,实现了规则文本的高性能抽取,完成了数据集和知识图谱的构建。实验结果表明,大语言模型抽取方法F1值达到85.5%,且通过消融实验验证了模型各模块的有效性和合理性。构建的水工程调度知识图谱整合了分散的水利规则信息,有效处理非结构化文本数据,并提供可视化查询和功能追溯功能。这有助于领域从业人员判断来水情况并选择适当的调度方案,为水利决策和智能推荐等提供了重要支持。

城市实景模型结构化线面特征重构方法

为了改善城市实景模型边缘模糊,提出了一种曲率引导的结构化线面特征重构方法。根据曲率特征将网格分割为平面、可展凹、可展凸以及不可展曲面4类,在平面分割结果内提取平面,在可展凹和可展凸分割结果内提取直线,对过度弯曲的不可展区域进行保留,最终形成包含几何特征的复合网格模型。结果表明,结合曲率信息预先设置几何特征的潜在范围,使得结构化线面特征更可靠,同时保证城市实景中复杂的树结构不被错误地提取为平面。

大模型时代:知识的生成式“涌现”

随着计算能力的提高和数据的爆炸性增长,生成式大模型逐渐成为知识生产的核心力量,并深刻改变了人类知识的生产方式。本文系统探讨了从古典学术到现代信息科技的知识生产历程,将传统知识生产方式归纳为个体的知识涌现。与之相对应的大模型时代,知识生产方式则可称为生成式的知识涌现,从而造就了新的知识高原。大模型时代生成式知识涌现的机理,表现为知识结构和生成逻辑两方面的转变。虽然生成式大模型在文本生成、数据分析等领域设立了一种难以超越的“基线”,但人类在创造、批判思考和情感判断上的独特能力仍然不可或缺。结合人机协同的哲学和技术探索,本文为未来知识生产的新时代提供了一个全面而深入的视角,并在此基础上勾画人机协同共创知识高峰的路径。

大语言模型在学科知识图谱自动化构建上的应用

人工智能技术的飞速发展推动了教育领域的智能化,涌现出一些利用知识图谱技术进行学科知识体系构建的研究。利用知识图谱构建的知识体系,可以建模知识点之间的关联性,形成课程知识脉络,有助于学习者对知识点的记忆与深层次理解。然而,学科课程的教学资源多样且分散,现有的自动构建方法往往使用单一的数据资源,资源利用率低,难以对专业知识体系的构建提供有效指导。构建方法自动化程度较低,构建成本大,需要开发不同的模块对非结构化文本进行处理并生成图谱,可复现性和可移植性较差。因此,提出了一种基于大语言模型的学科知识图谱构建优化流程,高度融合大语言模型的优势和各学科知识的逻辑关联。具体以通信专业为例,借用ChatGPT大语言模型的强大功能,使用多种知识来源,通过学科知识分析设计知识系统本体,自动化提取基于教学资源的知识实体和知识关系形成最终的学科知识体系,可方便地推广至其他学科领域。

教育学自主知识体系的本质特征和建构规律

教育学自主知识体系是教育主体自主建构的全面深入反映教育本质和规律的知识系统;是在海内外文化、不同学科知识相互影响、交融中形成的知识体系;是合目的与合规律、价值追求与思维逻辑统一的知识体系;是继承与发展、守正与创新结合形成的知识体系。这既是教育学自主知识体系的本质,也决定了它形成的规律和原则、方式、途径。

考虑PWM波形特征的纳米晶磁心损耗模型的研究及验证

磁心损耗精确预测对于电力电子变压器的优化设计至关重要。然而,传统的磁心损耗模型在复杂激励下适用性较差,尤其对于占空比可调、高次谐波含量丰富的PWM波磁心损耗预测,计算精度显著下降。基于Jordan损耗分离模型,建立了一种考虑PWM波形特征的磁心损耗计算方法。首先,该方法根据激励波形特征,推导出相应的波形系数及等效频率来计算PWM波激励下的动态涡流损耗,将Jordan模型的适用范围从正弦拓展到PWM波激励下的磁心损耗计算;然后,分析了不同占空比激励下激励波形有效频率及高次谐波含量变化对损耗系数的影响,并对其进行数学表征,实现了整个占空比范围内磁心损耗的精确预测;最后,搭建了高频非正弦激励下软磁材料磁特性测量平台,针对1K107B纳米晶材料,测量了两种典型PWM波激励下的损耗数据。实验结果表明,所建立的磁心损耗模型具有较高的计算精度,相比于传统的Steinmetz改进公式,整体精度提高了25%。

基于Sentinel-1/2改进极化指数和纹理特征的土壤含盐量反演模型

目前Sentinel-1/2协同反演植被土壤含盐量的研究大多是基于Sentinel-2光谱信息和Sentinel-1后向散射系数,没有考虑Sentinel-2光谱信息容易受土壤亮度等信息影响,Sentinel-1后向散射系数容易受土壤粗糙度和水分影响。为进一步提高Sentinel-1/2协同反演植被土壤含盐量的精度,用水云模型对雷达卫星后向散射系数进行校正,消除植被影响;然后协同Sentinel-2纹理特征,基于VIP、OOB、PCA 3种变量筛选和RF、ELM、Cubist 3种机器学习回归模型构建植被土壤含盐量反演模型。研究结果表明:经过水云模型去除植被影响后的雷达后向散射系数及其极化组合指数与土壤含盐量的相关性有一定程度的提高。不同变量选择方法与不同机器学习方法耦合模型在反演土壤含盐量中,OOB变量筛选方法与RF、ELM和Cubist 3种机器学习方法的耦合模型精度最佳,建模集和验证集的R2都在0.750以上,且验证集的RMSE和MAE均最小;其中OOB-Cubist耦合模型精度最高,且R_(v)^(2)/R_(c)^(2)为0.955,具有良好的鲁棒性。研究可为机器学习协同物理模型、光学卫星协同雷达卫星在土壤含盐量反演中的进一步应用提供思路。

基于建筑信息模型数据驱动的铁路设备运维多模态知识图谱构建

铁路信号设备是保障行车安全、提高运输效率的核心装备,加强信号设备智能运维是降低铁路运行风险的必要基础保障。目前,针对我国基于建筑信息模型(BIM)的智能运维平台存在不能精准映射各设备的行为规律和相互之间互馈作用的机理,须同时依靠经验知识进行推断等问题。首先构建了铁路设备运维文本知识图谱;其次构建卷积神经网络(CNN)-团组图卷积神经网络(cgGCN)模型对BIM图像模态数据进行处理,完成对20种铁路信号设备零件图信息的标注,实验结果表明模型准确率达到95.38%,精确率和召回率的调和平均值F1达到95.58%;最后将BIM图像信息以视觉模态嵌入运维文本知识图谱,利用Neo4j图数据库实现多模态知识图谱可视化展示,从而精准映射各信号设备相互之间互馈作用的机理,为后续现场铁路运维人员实施安全管理和运维决策提供在线服务和指导。