Action Recognition in Surveillance Videos with Combined Deep Network Models

Action recognition is an important topic in computer vision. Recently, deep learning technologies have been successfully used in lots of applications including video data for sloving recognition problems. However, most existing deep learning based recognition frameworks are not optimized for action in the surveillance videos. In this paper, we propose a novel method to deal with the recognition of different types of actions in outdoor surveillance videos. The proposed method first introduces motion compensation to improve the detection of human target. Then, it uses three different types of deep models with single and sequenced images as inputs for the recognition of different types of actions. Finally, predictions from different models are fused with a linear model. Experimental results show that the proposed method works well on the real surveillance videos.

支撑新型配电网数字化规划的图形⁃模型⁃数据融合关键技术

配电网规划领域期盼实现智能规划,其愿景在于实现无人或少人干预的全自动规划。在数字化转型的背景下,新型配电网规划将面临图形多样化、场景碎片化、数据规模化三大挑战。文中从图形-模型-数据融合的角度提出三大关键技术:基于电气图纸识别和拓扑智能分析的图形-模型融合技术、基于知识驱动的负荷/新能源推演分析和智能决策的模型-数据融合技术、基于多模态数据融合和多时空数据联动的图形-数据融合技术,尝试打破理论研究与数字化工程的壁垒。最后,对未来新型配电网数字化规划的发展进行思考和展望,为实现“以机为主,人机协同”的大闭环模式提供借鉴。

基于残差密集融合对抗生成网络的PET-MRI图像融合

为了增强核磁共振与正电子发射断层扫描图像融合的纹理细节,摆脱人工设计融合规则对先验知识的依赖.提出了自适应的残差密集生成对抗网络(adaptive dense residual generative adversarial network,ADRGAN)来融合两种模态的医学图像.ADRGAN设计了区域残差学习模块与输出级联生成器,在加深网络结构的同时避免特征丢失;然后,设计了基于自适应模块的内容损失函数,强化输出融合图像的内容信息;最后,通过源图像的联合梯度图与融合图像的梯度图构建对抗性博弈来高效训练生成器与鉴别器.实验结果表明,ADRGAN在哈佛医学院MRI/PET数据集的测试中峰值信噪比和结构相似度分别达到55.2124和0.4697,均优于目前最先进的算法;所构建的模型具有端对端和无监督两特性,无需人工干预,也不需要真实数据作为标签.

考虑数据不足和基于合作博弈模型融合的风电机组轴承故障诊断方法

针对风电机组轴承疲劳实验成本高导致故障数据不足的问题,提出基于粒子群算法(PSO)优化的辅助分类器生成对抗网络(ACGAN),利用PSO对ACGAN的参数进行寻优,进而利用ACGAN生成与原始样本高度相似的新样本;针对单一模型对风电机组轴承故障诊断的准确率较低的缺点,引进合作博弈理论对多个子模型的诊断结果进行融合,将各个子模型的诊断概率矩阵由合作博弈理论进行融合并输出最终的诊断结果。实验证明,优化后的ACGAN模型和基于合作博弈的模型融合能有效提高轴承故障诊断的准确率。

基于DS证据理论的电网信息自动融合模型构建

多智能体感知的智能电网信息中,通常存在信息冗余与缺失等问题。为解决这些问题,研究构建智能电网多智能体信息自动化融合模型,精准自动化融合多智能体信息,改进DS证据组合规则,完成决策级信息自动化融合,提升自动化融合效果,为智能电网的后续应用,提供更加全面的信息。

基于文本和声学特征的双模态融合抑郁倾向识别算法

在抑郁症诊断中,抑郁症患者的面部表情、声音信号和文字等数据可以作为评估抑郁倾向的客观指标。相较于视频,文本和音频模态在处理敏感的个人信息时能更好地保护患者的隐私,并且文本和音频均属于语言模态,相关性较强。针对抑郁倾向识别中变长文本数据不易被分析以及手动提取音频特征存在局限性的问题,提出一种基于Transformer的融合网络优化方法。对于文本模态,使用卷积神经网络对文本进行特征提取,得到文本在不同尺度下的局部特征,然后引入Transformer模型来处理全局信息和长距离依赖。对于音频模态,为了降低手动提取音频特征对识别结果的影响,通过使用VGGish网络来自动提取音频特征,并将提取好的音频特征送入Transformer中。最后,为进一步增强文本和音频模态融合网络的识别性能,引入SE通道注意力机制,使模型能够自适应地调整各模态之间的权重分配,更有效地聚焦于关键特征。实验结果表明,双模态融合后的网络准确率达到92.7%,相比仅使用文本或音频模态,准确率分别提升2.9和4.9个百分点。

多尺度数字岩石建模进展与展望

数字岩石技术可对岩心进行精细数字化表征,结合数值模拟方法研究微观岩石物理属性。非常规储层岩石在不同尺度上表现出不同的特征,多尺度成像技术能以亚纳米—毫米级分辨率观测不同尺度的岩石微观组构,然而单一分辨率扫描方法无法解析跨尺度结构信息,构建多尺度、多分辨率、多组分的数字岩石模型是解决这一矛盾的关键方法。通过系统的调研,将现有的多尺度数字岩石建模方法分为两大类,分别为基于混合叠加、模板匹配和深度学习的图像融合建模方法,以及带有显式微孔网络、仅添加额外喉道和含裂缝系统的孔隙网络整合建模方法。其中:图像融合建模法能够真实反映不同尺度岩心的孔隙、矿物三维分布并进行多物理场模拟,但受计算效率限制难以实现尺度差异较大的混合建模;孔隙网络整合法能够实现多个连续尺度的建模,模型储存空间小且数值模拟效率高,但可研究的物理属性受限。此外,数字岩石工作流程还存在如何精确提取矿物、如何确定适当的代表性体积元大小等共性问题。笔者认为下一步探索方向为:利用实验数据优化建模,按需研究物理属性建模及结合均化等效理论建模,以早日形成具体的应用体系,支撑实际测井解释及油气藏开发。

基于模型融合和生成网络的有效阵位智能决策方法

军事智能技术是当前最具活力的前沿领域和未来无人装备发展的必然趋势。针对无人平台在复杂环境下自主决策可靠性和实时性的双重需求和现有基于规则推演的作战仿真技术在动态性和灵活性方面的不足,采用原理分析与实验验证的研究方法,在某型无人平台射击实验数据集的基础上,围绕攻击决策的有效阵位识别环节,将其转换为机器学习领域类别不平衡的二分类问题,综合采用相关性分析、特征工程、模型融合技术构建高实时性和灵活性的有效阵位智能决策模型,并提出基于ICGAN-Stacking不平衡分类架构对少数类样本进行定向扩充,实现数据增强和模型性能提升。实验结果表明:所提方法召回率提升了4.1%、精确度提升了0.4%、F1值提升了1.5%、AUC值达到90.9%,能够满足无人平台执行作战任务实时性和可靠性需求。

基于Transformer和生成对抗网络的多聚焦图像融合

针对多聚焦图像融合任务中聚焦与离焦边界区域处理不平滑的问题,基于Transformer的全局特征提取能力,提出了一种包含双判别器的生成对抗网络方案.生成器以端到端的形式完成多聚焦图像融合任务,借助Transformer获取全局依赖性和低频空间细节,通过跨域的交叉注意力机制帮助生成器模型的双分支达到信息交互的效果,获取另一通道上的冗余信息和互补信息.该模型在学习过程中结合图像的全局信息进行参数更新,从而克服上述问题,且尽可能保留多聚焦图像中聚焦区域的有效信息.通过对比实验表明,所提方法可行且具备竞争力.

基于CNN及LSTM融合模型的上证指数预测

在CNN以及LSTM的外接以及内嵌两种融合模型的基础上,依据上证指数特征对内嵌模型中的部分结构进行调整改进,并为步长参数选择提供充分的理论依据,同时综合考虑样本股特征,分别对上证指数及成份股数据构建融合预测模型,对上证指数的收盘价进行预测。多组模型的对比实验结果表明,所构建的融合模型能够更加准确地把握数据的结构特征与时序性质,自动挖掘数据内部的相关关系,实现上证指数中的准确预测,为金融研究中的模型选择提供一定参考。

基于AGRU-Trans融合模型的特长海底隧道交通量预测

为了使海底隧道交通管控部门更好地掌握准确的交通数据,给出行者提供更好的交通引导,通过对循环神经网络和Transformer算法的研究,结合GRU与Transformer模型算法优点并加入自注意力机制,提出一种基于AGRU-Trans融合模型的海底隧道交通量预测模型。选取胶州湾海底隧道市南-黄岛交通运行数据,通过AGRU-Trans融合模型与3种基准模型对比发现,LSTM,Transformer,GRU模型的平均绝对误差(MAE)相比AGRU-Trans分别大了31.48%,67.54%,20.57%;均方根误差(RMSE)分别增长了35.63%,38.45%,32.02%。结果表明:AGRU-Trans融合模型的预测结果与真实数据贴合性最好,预测精度均高于基准模型,因此,基于此方法可为胶州湾海底隧道管理部门对车辆进行精细化诱导及管控提供理论参考。

基于双融合图注意力网络多模态知识图谱链路预测

知识图谱链路预测是一种根据知识图谱已存在的事实去预测缺失事实的任务,旨在解决知识图谱不完整性问题。但是现有的知识图谱链路预测有一定的缺陷,传统方法只使用单一的数据模态,没有充分利用不同数据模态的丰富信息,并且在图神经网络中孤立地看待实体和关系,没有考虑到不同邻域实体关系权重的不同。为了解决上述缺陷,提出了基于双融合图注意力网络的多模态知识图谱链路预测模型。首先,使用了图像、文本和属性3种模态,同时为了保证数据模态特征的一致性和互补性,设计了一个基于早期融合和晚期融合结合的双融合机制对多模态信息进行融合;然后,为了加强知识图中实体关系的融合以及邻域关系,同时考虑了实体以及关系的多样性,融合了实体表示和关系表示,并通过图注意力网络进行聚合以加强实体的特征表示。通过在4个公开的数据集FB15K-237、WN18RR、DB15K以及YAGO15K进行模拟实验,结果表明,提出的多模态知识图谱链路预测方法具有较好的性能。

短期尖峰负荷多信息融合的神经网络预测方法

为了降低负荷数据的复杂度、提高预测精度,提出一种短期尖峰负荷多信息融合的神经网络模型。选取皮尔逊相关系数分析假日、温度、湿度等信息之间的密切程度,将关键气象信息融合进模型中,优化负荷的输入参数,重构神经网络模型的新数据集,并防止神经网络的过拟合,提高短期尖峰负荷预测精度。算例仿真分析表明,所提方法与未考虑多信息融合的单一增强型决策树模型和神经网络模型相比,更能有效地提高短期尖峰负荷预测准确率。

时空融合与判别力增强的孪生网络目标跟踪方法

孪生跟踪器的出现极大提升了跟踪任务性能。然而,当前跟踪器难以精准描述目标外观变化,造成面临遮挡和尺度变化等挑战时的性能衰减。另外,杂乱背景会产生干扰响应图,误导目标定位。为此,引入2个基于Transformer的跟踪模块用于提高孪生跟踪器性能。其中时空融合模块使用交叉注意力机制的全局特征关联,迭代累积历史线索从而提高目标外貌变化的鲁棒性。判别力增强模块关联目标和搜索区域的语义信息,以提高目标判别能力。此外,使用空间通道加权特征融合,充分发掘空间分布和语义相似性的时空信息。所提模块可嵌入主流孪生跟踪器,在公开数据集上的实验证明了方案的优越性。

融合CNN和Transformer的建筑风格分类算法

建筑风格的准确分类对研究建筑文化和人类历史文明具有重要意义。基于卷积神经网络(convolutional neural network,CNN)的模型由于其强大的特征提取能力,在建筑风格分类领域取得了良好的效果。但是,目前大多数的CNN模型只提取了建筑的局部特征,而基于Transformer的模型在注意力机制的作用下,可以提取建筑的全局特征。为了提高建筑风格分类的准确性,提出了一种融合CNN和Transformer的建筑风格分类方法,该网络的核心部分为CT-Block结构。该结构在通道维度上分为CNN和Transformer两个分支,特征分别通过这两个通道之后再拼接起来。该结构不仅能融合CNN提取的局部特征和Transformer提取的全局特征,而且还能减轻双分支结构带来的模型变大,参数量增多的问题。在Architectural Style Dataset和WikiChurches数据集上,该算法的准确率分别为79.83%和68.41%,优于建筑风格分类领域其他模型。

基于多源融合的联级网络安全态势感知模型

为实时获取网络安全状态,便于管理员及时采取响应措施,建立基于多源融合的联级网络安全态势感知模型。确立数据分割点,通过分割条件对数据实施连续的自适应离散化处理;采用粒子群算法融合相同类型的感知数据;以资产重要程度、脆弱指数与威胁指数为态势感知一级指标,建立联级网络安全态势感知指标体系;输入融合数据到支持向量机中,将态势感知问题变换为支持向量机分类预测问题,得到最佳分类函数,建立综合感知矩阵,完成感知模型构建。实验结果表明,所建模型提高了多源数据融合效果,感知结果较精确。

基于实测数据融合的堆芯物理模型反演优化方法及工业验证研究

由于堆芯运行过程中的组件辐照生长、冷却剂高速冲击等因素,燃料组件不可避免地会出现弯曲现象。但机组运行期间无法直接测量燃料组件弯曲状态,导致数值模拟采用的堆芯物理模型与真实堆芯状态之间存在差异,直观上表现为堆芯功率分布的计算值与实测值存在显著误差。为了提高数值模拟精度,本文开展了基于实测数据融合的堆芯物理模型反演优化方法研究:采用人工神经网络算法,通过大量样本训练建立堆芯物理模型与实测数据物理场之间的显式函数关系;基于三维变分算法和实测数据物理场,建立物理模型反演优化代价函数,通过实测数据反演优化得到与真实状态更为接近的堆芯物理模型。为了实现方法验证,本文利用国内某商用压水堆核电厂的功率分布实测数据对堆芯燃料组件弯曲实现了反演优化。数值结果表明:采用反演优化得到的堆芯物理模型,可将堆芯功率分布计算误差的最大值由13.4%降至7.7%,显著提升了堆芯数值模拟结果的精度。因此,本文提出的基于实测数据融合的堆芯物理模型反演优化方法能够显著提高堆芯数值模拟的精度,在核反应堆数字孪生技术研发中具有重要的应用价值。

融合事理知识的群体性事件演化预测

[研究目的]当前,由社会矛盾和冲突所引发的网络群体性事件对公共安全构成了严重威胁,预测群体性事件的演化趋势对提升社会危机的防范与治理能力至关重要。[研究方法]提出了一种融合事理知识的群体性事件演化预测方法。该方法首先利用大语言模型蕴含的丰富事件知识及模型强大的生成能力来构建初始的事理图谱,通过结合真实新闻报道来验证图谱内容;其次,将事理图谱与图神经网络模型相结合,以获得更充分的事件语义表示;最后,基于上下文事件与候选事件间的语义相似度来预测未来可能发生的事件。[研究结论]研究表明,所提方法在事件演化预测的准确性和可解释性方面均显著优于参与比较的其他方法,验证了事理知识融合对揭示群体性事件演化模式的可行性和有效性。

融合PMV物理方程和Attention-LSTM神经网络的铁路客站旅客舒适度模型研究

铁路客站的舒适度直接关系着旅客的出行体验和满意度。选取聊城西站作为研究对象,采用PMV物理方程、Attention-LSTM神经网络模型以及PMV&Attention-LSTM融合模型3种方法,针对旅客舒适度开展综合评估与分析。在模型构建过程中,运用了标准化处理、数据集划分、网格搜索交叉验证等技术寻找最佳超参数,并记录了训练过程中的损失函数和均方误差。在模型预测中,充分考虑了温度、湿度、风速、空气质量、二氧化碳、光照、噪声等环境因素对旅客舒适度的影响。对比3种预测方法,结果显示,融合模型在考虑多维环境数据时可更准确地反映舒适度水平,表明该模型更适应铁路客站的复杂环境条件,可为提高候车厅舒适性提供更为可靠的参考依据。

基于神经网络融合模型的铁路接触网异物智能检测

针对影响铁路接触网正常运行的异物问题,提出了一种基于神经网络融合模型的铁路接触网异物智能检测模型。以Faster R-CNN框架为基础,增加特征金字塔结构以学习图像不同尺度的特征;针对不同异物类型,将其分为鸟巢和轻质漂浮物,并运用ResNet50和ResNet101作为骨架网络,分别针对具有单一特征的鸟巢和特征复杂多变的轻质漂浮物进行识别;融合2个网络的识别框,得到精确的识别结果。对比实验表明,该模型的检测结果优于常规目标检测方法,可有效降低铁路接触网异物检测的人工成本,为铁路接触网的稳定运营提供了可行的解决方案。