面向多模态数据的新型数据库技术专题前言

以数字技术为标志的新一轮科技革命方兴未艾,将人类带入数字经济时代.全球各行各业数据量呈现爆炸式增长,数据类型和数据格式也呈现多种形式,例如结构化关系表、半结构化JSON/XML、非结构化文本/图像/视频,以及图数据、流数据和时序数据等.这要求数据库系统能够同时高效地管理多种不同类型的数据.多模态数据管理与分析成为亟需解决的问题.目前的方法主要通过拓展现有的数据库或通过集成各种不同模态数据管理引擎来支持多模态数据管理与分析,缺少新颖的理论、方法与技术的支撑.本专题围绕多模态数据管理与分析的整个生命周期,通过结合大数据技术和人工智能方法探讨新型数据库系统理论、方法和技术,包括多模态数据统一建模、存储与索引、查询与挖掘、并发控制、多模态数据库系统构建及其典型应用等主题,赋予数据库系统新的管理能力,形成多模态数据管理与分析在各行各业的最新应用成果.

面向云边端协同的多模态数据建模技术及其应用

云边端协同架构中数据类型多样,各级存储资源与计算资源存在差异,给数据管理带来新的挑战.现有数据模型或者数据模型的简单叠加,都难以同时满足云边端中多模态数据管理和协同管理需求.因此,研究面向云边端协同的多模态数据建模技术成为重要问题.其核心在于,如何高效地从云边端三层架构中得到满足应用所需的查询结果.从云边端三层数据的数据类型出发,提出了面向云边端协同的多模态数据建模技术,给出了基于元组的多模态数据模型定义,设计了6种基类,解决多模态数据统一表征困难的问题;提出了云边端协同查询的基本数据操作体系,以满足云边端业务场景的查询需求;给出了多模态数据模型的完整性约束,为查询优化奠定了理论基础.最后,给出了面向云边端协同多模态数据模型的示范应用,并从数据存储时间、存储空间和查询时间这3个方面对所提出的数据模型存储方法进行了验证.实验结果表明,所提方案能够有效地表示云边端协同架构中的多模态数据.

基于多模态数据的在线学习认知负荷评估

近年来,认知负荷过载成为影响在线学习效果的一个重要因素。为解决此问题,文章聚焦在线学习认知负荷评估,首先设计了基于多模态数据的在线学习认知负荷评估研究框架,包含多模态数据采集、多模态特征提取和评估模型构建三个部分。接着,文章通过实验,采集学习者在特定在线学习环境下的多模态数据,提取人脸表情特征、眼动追踪指标特征和脑电信号特征,构建在线学习认知负荷评估模型。之后,文章对评估模型的准确性进行验证,发现在五种机器学习算法模型中,KNN模型的综合性能最佳,故将此模型作为最终的在线学习认知评估模型;同时,文章对多模态数据进行了分析,发现多模态融合方法在认知负荷评估上具有优越性。文章构建的评估模型可赋能在线学习平台实现认知负荷的实时评估,进而实现基于认知负荷的个性化学习,增强学习动机,提升学习效果,促进在线教育质量提升。

基于状态可观测性和多模态数据PF的移动目标跟踪

为了实现对移动目标的跟踪,提出了一种新颖的基于目标状态可观测性和多模态数据粒子滤波(Particle Filter,PF)的跟踪方案。通过部署在目标移动区域中的传感器获得跟踪目标的距离和到达方向测量值,对接收到的数据进行预处理来计算PF的观测值,以形成一个临时距离图像。通过利用状态更新函数和形成的候选图像模板确定目标状态向量;在PF器中加入额外的加权阶段,使得PF器可自适应地同步多模态数据流,以实现鲁棒的目标跟踪。仿真实验结果验证了所提方案能够有效地跟踪移动目标。

基于多模态数据的智慧课堂学生学习行为研究

新兴技术赋能下的智慧课堂为学生学习行为监测、评价、反馈、预警提供丰富的教育多模态数据,充分采集、处理和分析教育多模态数据能够为教育研究和实践提供参考。首先,梳理已有智慧课堂学习行为分析和多模态数据教学研究,借鉴学习行为分类系统,构建基于多模态数据类型的“声音数据—图像数据—文本数据”三维的多模态数据分析框架,从言语学习活动、位置移动、身体动作、技术使用四个方面呈现智慧课堂下学生学习行为变化;其次,将体现学生学习行为特征的多模态数据编码,并进行质性表征形成编码体系;最后,从情境和时序行为分析视角出发,对课例中的学习行为多模态数据进行频度变化及周期性变化分析。研究得出,在智慧课堂环境下,学生课堂学习参与性、主动性、专注度均在不断提升,课堂学习氛围朝着积极的方向发展,无效及无关学习行为逐渐减少。此外,通过对学生学习行为多模态数据的剖析,以期为学生了解自身学习行为及状态、教师进行个性化教学,以及研究者构建学习评价体系提供数据来源、科学依据。

基于多模态数据融合的改进中尺度涡检测模型

提出一种基于多模态数据融合的改进中尺度涡检测模型。该模型以海平面高度数据为基础,首次将融合表层海温数据扩展为融合多深度层海温数据;将海温数据的深度层作为通道,嵌入通道注意力机制,使得模型能够关注于海水温度数据中最具有区分度的深度层;模型在编码及解码过程中采用残差学习单元,在加深网络深度的同时,更好地拟合激活函数,缓解训练问题,以提高模型的检测准确率。以中国南海部分海域为例开展实验验证,结果表明该中尺度涡检测模型准确率达到93.62%,模型具备有效性和可靠性。

噪声与危险水平混合条件下危险识别变化特征——基于多模态数据的证据

为探讨噪声和危险水平混合环境下矿工危险识别内在加工过程各指标的变化特征,模拟了有噪声高危险、有噪声低危险、无噪声高危险、无噪声低危险4种不同的环境,召集23名矿工,通过便携式脑电采集系统、人机功效分析系统、无线传感生理仪及E-prime程序采集被试试验中的多模态数据并进行分析。结果表明:噪声环境下被试正确率降低、反应时间变长;噪声环境中P300成分额区波幅最大,噪声影响大脑的高级认知加工,噪声环境下被试心率变异性(Heart Rate Variability,HRV)3个指标都显著升高。噪声对高危险场景的影响更大,无噪声环境下低危险场景往往更难识别,在安全管理中要重视安全隐患的排查。从认知神经科学层面研究危险识别的内在加工机制,为噪声和危险水平对危险识别的影响提供了直接的证据,可为噪声防治以及矿山和煤矿企业安全隐患管理提供一定的依据。

多模态数据融合的加工作业动态手势识别方法

为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像两种模态数据进行特征提取;其次,将两种模态数据识别结果在决策层按最大值规则进行融合,同时,将原模型使用的Relu激活函数替换为Mish激活函数优化梯度特性;最后,通过3组对比实验得到6种动态手势的平均识别准确率为96.8%。结果表明:所提方法实现了加工作业中动态手势识别的高准确率和高鲁棒性的目标,对人机交互技术在实际生产场景中的应用起到推动作用。

基于多模态数据的在线学习认知风格智能识别

在人工智能技术迅速发展的背景下,多模态数据分析在教育领域的重要性日益凸显。本研究通过提取学习者在线学习中产生的脑电数据、表情数据和眼动数据等,构建了基于多模态数据的认知风格智能识别框架,并运用六种机器学习模型验证其有效性。研究结果显示,四种机器学习模型的识别准确率超过80%,且最佳模型的准确率达89.17%,F1分数达0.9241。此外,与基于单模态数据的模型相比,基于多模态数据的认知风格模型识别表现更佳。这表明,多模态数据融合策略具有优越性,有助于加强在线学习平台的适应性和个性化。

基于多模态数据融合与机器学习的高价值专利早期识别方法

[研究目的]如何构建有效的高价值专利识别方法,从海量的专利中识别出高价值专利,对于高价值专利的培育、运用、保护和管理具有重要意义。[研究方法]提出一种基于多模态数据融合与机器学习的高价值专利早期识别方法。首先,利用多模态融合方法对专利指标数据和文本数据两种模态数据进行融合;其次,利用基于机器学习的生存预测算法对历史已知的高价值专利进行分析,并获取高价值专利融合后的特征与其“高价值”之间的关联模式;最后,利用获取到的关联模式,对新公开专利的“价值”进行预判,从而实现对高价值专利的早期识别。[研究结论]以人工智能领域专利为例进行实证研究,验证了该方法的可行性和有效性,为高价值专利早期识别提供了新的研究方法。

融合多模态数据的小样本命名实体识别方法

作为自然语言处理领域的关键子任务,命名实体识别通过提取文本中的关键信息,帮助机器翻译、文本生成、知识图谱构建以及多模态数据融合等许多下游任务深度理解文本蕴含的复杂语义信息,有效地完成任务.在实际生活中,由于时间和人力等成本问题,命名实体识别任务常常受限于标注样本的稀缺.尽管基于文本的小样本命名实体识别方法已取得较好的泛化表现,但由于样本量有限,使得模型能提取的语义信息也十分受限,进而导致模型预测效果依然不佳.针对标注样本稀缺给基于文本的小样本命名实体识别方法带来的挑战,提出了一种融合多模态数据的小样本命名实体识别模型,借助多模态数据提供额外语义信息,帮助模型提升预测效果,进而可以有效提升多模态数据融合、建模效果.该方法将图像信息转化为文本信息作为辅助模态信息,有效地解决了由文本与图像蕴含语义信息粒度不一致导致的模态对齐效果不佳的问题.为了有效地考虑实体识别中的标签依赖关系,使用CRF框架并使用最先进的元学习方法分别作为发射模块和转移模块.为了缓解辅助模态中的噪声样本对模型的负面影响,提出一种基于元学习的通用去噪网络.该去噪网络在数据量十分有限的情况下,依然可以有效地评估辅助模态中不同样本的差异性以及衡量样本对模型的有益程度.最后,在真实的单模态和多模态数据集上进行了大量的实验.实验结果验证了该方法的预测F1值比基准方法至少提升了10%,并具有良好的泛化性.

基于多模态数据的智慧课堂学习活动评价指标设计

智慧课堂是当前教育领域的研究热点之一,在智慧课堂中,学生的学习活动包含着丰富多样的多模态数据。文章通过建立层级结构模型,对其进行信效度分析,采用专家咨询和AHP法对各指标矩阵和专家权重进行计算,使用几何平均加权法对智慧课堂学习活动的评价指标进行赋值,形成完整的课堂学习活动评价指标。该评价指标适合基于多模态数据的智慧课堂学习活动情况的观测,可以为教师提供有针对性的教学建议,为学生提供客观公正的课堂活动记录与评价,促进教与学的共同进步。

基于多模态数据关联分析的学习成效达成度研究

课堂是教学的重要环节,科学的数据依据是保证评价结果正确性的关键.文中介绍了研究背景和国内外研究现状,基于课堂达成度分析理论,深度融合新一代信息化技术,采集多模态数据进行分析,搭建了课堂多模态关联评价框架,并基于该框架开展实证研究.以某高职院校某班级为例,通过虚拟空间、物理空间采集课堂教学过程中产生的多模态学习数据,采用人工智能方法处理并分析学习数据,实现课堂行为识别与分析评价.结果显示,与教学活动设计关联的评价框架能更加可靠地为课堂学习达成度分析提供依据,改善课堂教学质量,助力智慧课堂建设.

基于多模态数据的个性化学习精准干预研究

多模态数据建模已成为洞察学习规律的新范式。随着信息与传感技术的发展,采集学生的多模态数据成为可能,基于各种学习者数据对学生进行全面而综合性建模的综合模型应用是大势所趋。文章在学习者画像与多模态数据的基础上,构建了多模态数据个性化学习研究框架,包括多模态信息采集、多模态特征提取、多模态特征融合分析等。最后,文章探讨了真实协作场景中多模态教育数据,实现多维度、立体化、动静结合的个性化学习推荐,实现智能教育精准决策。

顾及多模态数据特征关联的城市功能区识别方法——以武汉市为例

城市功能区在城市化建设当中扮演着重要的角色,城市功能区建模与分析对于规划城市土地布局和优化土地利用模式有着重要意义。目前在城市功能区建模与分析的研究中,仍存在多模态数据利用率低、关联特征损失大的问题,这导致难以精确捕捉城市空间结构信息。因此,本研究以武汉市中心区域为例,基于街景影像数据和兴趣点数据构建城市功能区识别方法。首先,将研究区域划分为500 m×500 m的格网单元,运用自然语言模型、深度学习、空间插值等方法来提取多维度的城市功能特征;其次,利用核典型相关分析方法提取多模态数据的关联特征,分析不同共享空间维度和相关性的关系;最后,基于建成环境特征、社会经济语义特征、拼接特征及关联特征的多维度特征构建随机森林功能区识别模型,并分别与两种常用数据模态进行对比评价。结果表明,本方法相较于没有顾及关联特征的模型准确度提高了3.4%。研究成果可为政府决策规划、城市发展评估提供帮助,推动城市化建设。

面向多模态数据的高速公路交通事故信息识别与评价

为实现从自然语言描述的交通事故文本中提取应急处置信息,提出了一种基于预训练模型和BiLSTM-CRF的交通事故命名实体识别方法。首先,基于陕西省高速公路2021年6月至2022年8月的多模态交通事故数据,分别比较了3种深度学习模型的识别效果和训练时长。其次,利用官方微博交通事故语料作为袋外测试集,检验实体识别模型的鲁棒性。然后,从一致性和丰富性两个维度,构建了文本信息和结构化数据的多模态交通事故信息内容评价指标。最后,以测试集为例进行交通事故信息识别,分析了应急处置实体数量与事故持续时间的相关性,计算并探讨了信息内容评价指标结果。结果表明,BERT-BiLSTM-CRF在测试集和袋外测试集的加权F1值分别为97.0294%和69.1555%,为模型精度、训练效率和鲁棒性3个方面综合表现最优。处置机构、处置设备、未处置、处置中、处置效果的实体数量与持续时间之间的相关系数依次为0.309,0.151,0.137,0.220和0.178,呈正相关性。天气、路产损失、交通分流、事故类型和伤亡情况的信息内容一致性依次为7.06%,45.79%,1.59%,67.65%和47.59%,应急处置占为36%,变异性为1.305,说明文本信息蕴含丰富的应急处置信息,然而文本信息和结构化数据对同一交通事故的信息内容一致性尚待提高。研究结果可为提高交通事故信息采集质量和有效性提供参考。

无人机遥感与地面观测的多模态数据融合反演水稻氮含量

准确监测水稻田间生长过程中的氮含量,保证按需高效施肥,对提高水稻产量和肥效利用率具有重要意义。该研究基于无人机遥感与地面观测的多模态数据融合构建了水稻拔节后期叶片(leaf nitrogen content,LNC)和植株氮含量(plant nitrogen content,PNC)反演模型,显著提高反演水稻氮含量的准确性。通过2021和2022年开展两次田间试验,利用无人机搭载多光谱和RGB相机在拔节后期获取稻田冠层遥感影像;从多光谱影像中提取植被指数(vegetation index,VI)和纹理特征值(texture feature value,TFV),TFV使用灰度共生矩阵方法提取,对TFVs进行组合构建纹理指数(texture index,TI);使用RGB影像结合地面参考法获取各小区估测冠层高度(estimating canopy height,ECH);人工收集各小区实测冠层高度及田间氮素管理数据(field nitrogen management data,FN)作为地面观测数据;使用凯氏定氮法获取水稻LNC和PNC;采用最大互信息系数评估和筛选特征;使用随机森林回归算法分别构建水稻LNC和PNC反演模型。结果表明:使用TFVs组合构建的TIs能显著提升纹理信息与LNC和PNC的相关性,当无人机飞行高度为100 m时,灰度共生矩阵的滑动窗口尺寸为9×9(像素)时构建的比值纹理指数表现最优,相比最优TFV,MIC值均提升了11.48%;从遥感影像提取的估测冠层高度具有较高的估测精度,决定系数(coefficient of determination,R^(2))、均方根误差(root mean squared error,RMSE)和平均绝对误差(mean absolute error,MAE)分别为0.77、3.4 cm和2.8 cm;无人机遥感与地面观测的多模态数据融合可显著提升LNC和PNC的反演精度,综合考虑反演精度和实际操作的便捷性,推荐田间生产中使用特征组合为:VI+TI+ECH+FN。研究结果表明,无人机遥感与地面观测的多模态数据融合构建随机森林回归模型可准确反演水稻氮含量,可为水稻田间管理和施肥决策提供科学依据。

多模态数据融合的在线学习情感计算研究

在线学习由于其智能化和个性化愈发成为人们青睐的主流学习方式,然“情知分离”现象的存在严重阻碍了在线教学深层发展,如何即时、精确感知学习情感进而为改善学习绩效提供参考便亟待研究。文章构建多模态数据融合的在线学习情感计算模型,采集被试面部表情、语音和文本数据,借助情感识别模型获取各模态情感识别结果。在此基础之上,通过基于决策级融合的方式实现多模态在线学习情感计算,并确定最优情感计算模型。研究发现,最优情感计算模型的平均识别精度较单模态情感识别提高了14.51%,证实该模型在在线学习场景下进行情感计算具有可行性和有效性。

面向施工机器人定位的多模态数据融合方法研究综述

施工机器人的定位数据源种类繁多,融合多模态数据不仅有助于提升建筑项目中施工机器人的定位性能,同时也方便施工机器人的协同作业。数据融合方法旨在通过不同数据源的优势互补,改进数据采集及处理方法等,实现施工机器人的定位和数据共享,支持施工机器人定位精度、实时性或鲁棒性等的提高,从而提高整体建筑施工效率和项目管理水平。已有不少针对特定场景探索施工机器人定位的数据融合方法相关研究成果,但尚无针对施工机器人定位的数据融合方法相关研究综述。经系统的检索,首先,按照是否与先验数据融合,将其分为先验数据与传感器实时数据融合和多种传感器数据融合两类进行分析;然后,对数据融合方法进行对比分析;最后,总结和展望了施工机器人多模态数据融合方法的未来研究方向。从研究结果分析,现阶段已有的研究成果中,施工机器人定位的数据源选择差异性较大,定位效果差异也很大。该综述可为相关领域的进一步研究提供参考。

多模态数据融合技术及其在眼科领域的应用研究进展

多模态数据融合技术(MDF)是人工智能领域中的一种数据处理技术,是指利用计算机对多模态数据,如图片、文字、音频与视频等进行综合处理的技术。与传统单模态数据处理相比,MDF对描述对象的分析有更高的准确性与可靠性。近年来,该技术在眼科领域的应用研究取得了较大进展,研究表明该技术能提高人工智能辅助诊断的准确性。本文综述了MDF的原理与优势、发展简况、架构与主要技术难点、MDF在眼科临床的应用现况以及目前存在的尚待解决的问题。