Action Recognition in Surveillance Videos with Combined Deep Network Models

Action recognition is an important topic in computer vision. Recently, deep learning technologies have been successfully used in lots of applications including video data for sloving recognition problems. However, most existing deep learning based recognition frameworks are not optimized for action in the surveillance videos. In this paper, we propose a novel method to deal with the recognition of different types of actions in outdoor surveillance videos. The proposed method first introduces motion compensation to improve the detection of human target. Then, it uses three different types of deep models with single and sequenced images as inputs for the recognition of different types of actions. Finally, predictions from different models are fused with a linear model. Experimental results show that the proposed method works well on the real surveillance videos.

支撑新型配电网数字化规划的图形⁃模型⁃数据融合关键技术

配电网规划领域期盼实现智能规划,其愿景在于实现无人或少人干预的全自动规划。在数字化转型的背景下,新型配电网规划将面临图形多样化、场景碎片化、数据规模化三大挑战。文中从图形-模型-数据融合的角度提出三大关键技术:基于电气图纸识别和拓扑智能分析的图形-模型融合技术、基于知识驱动的负荷/新能源推演分析和智能决策的模型-数据融合技术、基于多模态数据融合和多时空数据联动的图形-数据融合技术,尝试打破理论研究与数字化工程的壁垒。最后,对未来新型配电网数字化规划的发展进行思考和展望,为实现“以机为主,人机协同”的大闭环模式提供借鉴。

考虑数据不足和基于合作博弈模型融合的风电机组轴承故障诊断方法

针对风电机组轴承疲劳实验成本高导致故障数据不足的问题,提出基于粒子群算法(PSO)优化的辅助分类器生成对抗网络(ACGAN),利用PSO对ACGAN的参数进行寻优,进而利用ACGAN生成与原始样本高度相似的新样本;针对单一模型对风电机组轴承故障诊断的准确率较低的缺点,引进合作博弈理论对多个子模型的诊断结果进行融合,将各个子模型的诊断概率矩阵由合作博弈理论进行融合并输出最终的诊断结果。实验证明,优化后的ACGAN模型和基于合作博弈的模型融合能有效提高轴承故障诊断的准确率。

基于残差密集融合对抗生成网络的PET-MRI图像融合

为了增强核磁共振与正电子发射断层扫描图像融合的纹理细节,摆脱人工设计融合规则对先验知识的依赖.提出了自适应的残差密集生成对抗网络(adaptive dense residual generative adversarial network,ADRGAN)来融合两种模态的医学图像.ADRGAN设计了区域残差学习模块与输出级联生成器,在加深网络结构的同时避免特征丢失;然后,设计了基于自适应模块的内容损失函数,强化输出融合图像的内容信息;最后,通过源图像的联合梯度图与融合图像的梯度图构建对抗性博弈来高效训练生成器与鉴别器.实验结果表明,ADRGAN在哈佛医学院MRI/PET数据集的测试中峰值信噪比和结构相似度分别达到55.2124和0.4697,均优于目前最先进的算法;所构建的模型具有端对端和无监督两特性,无需人工干预,也不需要真实数据作为标签.

基于文本和声学特征的双模态融合抑郁倾向识别算法

在抑郁症诊断中,抑郁症患者的面部表情、声音信号和文字等数据可以作为评估抑郁倾向的客观指标。相较于视频,文本和音频模态在处理敏感的个人信息时能更好地保护患者的隐私,并且文本和音频均属于语言模态,相关性较强。针对抑郁倾向识别中变长文本数据不易被分析以及手动提取音频特征存在局限性的问题,提出一种基于Transformer的融合网络优化方法。对于文本模态,使用卷积神经网络对文本进行特征提取,得到文本在不同尺度下的局部特征,然后引入Transformer模型来处理全局信息和长距离依赖。对于音频模态,为了降低手动提取音频特征对识别结果的影响,通过使用VGGish网络来自动提取音频特征,并将提取好的音频特征送入Transformer中。最后,为进一步增强文本和音频模态融合网络的识别性能,引入SE通道注意力机制,使模型能够自适应地调整各模态之间的权重分配,更有效地聚焦于关键特征。实验结果表明,双模态融合后的网络准确率达到92.7%,相比仅使用文本或音频模态,准确率分别提升2.9和4.9个百分点。

结合轻量化与多尺度融合的交通标志检测算法

交通标志检测在自动驾驶领域具有重要的应用价值,及时准确地检测交通目标对提高驾驶安全性和预防交通事故具有重要意义。针对交通标志尺寸小,易受遮挡,在复杂环境下容易出现漏检、错检等问题,在YOLOv8的结构基础上提出一种结合轻量化与多尺度融合的交通标志检测网络架构M-YOLO,构建M-YOLOs模型来应对高精度需求的检测任务,并调整网络深度得到更轻量化的M-YOLOn模型来解决不同环境下的检测需求。首先针对交通标志目标尺寸小、图像特征流失的问题,通过增加小目标检测层,保留更多的特征信息,提高网络对于小目标的特征学习能力。提出高效多尺度特征金字塔融合网络MPANet,将浅层特征图进行降维与跳跃连接,从而融合更多的图像特征信息。然后提出融合稀疏注意力和空间注意力的BRSA注意力模块,有效提取全局和局部的位置信息,减少复杂背景下对于关键信息的干扰。最后设计两种轻量高效的BBot模块和C2fGhost模块,以提高模型运算速度并减少参数量。实验结果表明,M-YOLO相较于YOLOv8,参数量降低约1/3。在TT100K数据集和GTSDB数据集上,M-YOLOs检测精度分别提升了9.7和2.1个百分点,M-YOLOn检测精度分别提升了14.5和2.6个百分点,在轻量化的同时具备更高的检测效果。M-YOLO架构解决了浅层特征图在特征提取过程中信息丢失的问题,并显著降低模型特征提取过程中冗余的计算开销,在实景采集的数据集上证实效果有效,表明在交通标志检测任务中具有应用价值。

基于DS证据理论的电网信息自动融合模型构建

多智能体感知的智能电网信息中,通常存在信息冗余与缺失等问题。为解决这些问题,研究构建智能电网多智能体信息自动化融合模型,精准自动化融合多智能体信息,改进DS证据组合规则,完成决策级信息自动化融合,提升自动化融合效果,为智能电网的后续应用,提供更加全面的信息。

基于CNN及LSTM融合模型的上证指数预测

在CNN以及LSTM的外接以及内嵌两种融合模型的基础上,依据上证指数特征对内嵌模型中的部分结构进行调整改进,并为步长参数选择提供充分的理论依据,同时综合考虑样本股特征,分别对上证指数及成份股数据构建融合预测模型,对上证指数的收盘价进行预测。多组模型的对比实验结果表明,所构建的融合模型能够更加准确地把握数据的结构特征与时序性质,自动挖掘数据内部的相关关系,实现上证指数中的准确预测,为金融研究中的模型选择提供一定参考。

基于模型融合和生成网络的有效阵位智能决策方法

军事智能技术是当前最具活力的前沿领域和未来无人装备发展的必然趋势。针对无人平台在复杂环境下自主决策可靠性和实时性的双重需求和现有基于规则推演的作战仿真技术在动态性和灵活性方面的不足,采用原理分析与实验验证的研究方法,在某型无人平台射击实验数据集的基础上,围绕攻击决策的有效阵位识别环节,将其转换为机器学习领域类别不平衡的二分类问题,综合采用相关性分析、特征工程、模型融合技术构建高实时性和灵活性的有效阵位智能决策模型,并提出基于ICGAN-Stacking不平衡分类架构对少数类样本进行定向扩充,实现数据增强和模型性能提升。实验结果表明:所提方法召回率提升了4.1%、精确度提升了0.4%、F1值提升了1.5%、AUC值达到90.9%,能够满足无人平台执行作战任务实时性和可靠性需求。

多尺度数字岩石建模进展与展望

数字岩石技术可对岩心进行精细数字化表征,结合数值模拟方法研究微观岩石物理属性。非常规储层岩石在不同尺度上表现出不同的特征,多尺度成像技术能以亚纳米—毫米级分辨率观测不同尺度的岩石微观组构,然而单一分辨率扫描方法无法解析跨尺度结构信息,构建多尺度、多分辨率、多组分的数字岩石模型是解决这一矛盾的关键方法。通过系统的调研,将现有的多尺度数字岩石建模方法分为两大类,分别为基于混合叠加、模板匹配和深度学习的图像融合建模方法,以及带有显式微孔网络、仅添加额外喉道和含裂缝系统的孔隙网络整合建模方法。其中:图像融合建模法能够真实反映不同尺度岩心的孔隙、矿物三维分布并进行多物理场模拟,但受计算效率限制难以实现尺度差异较大的混合建模;孔隙网络整合法能够实现多个连续尺度的建模,模型储存空间小且数值模拟效率高,但可研究的物理属性受限。此外,数字岩石工作流程还存在如何精确提取矿物、如何确定适当的代表性体积元大小等共性问题。笔者认为下一步探索方向为:利用实验数据优化建模,按需研究物理属性建模及结合均化等效理论建模,以早日形成具体的应用体系,支撑实际测井解释及油气藏开发。

融合CNN和Transformer的建筑风格分类算法

建筑风格的准确分类对研究建筑文化和人类历史文明具有重要意义。基于卷积神经网络(convolutional neural network,CNN)的模型由于其强大的特征提取能力,在建筑风格分类领域取得了良好的效果。但是,目前大多数的CNN模型只提取了建筑的局部特征,而基于Transformer的模型在注意力机制的作用下,可以提取建筑的全局特征。为了提高建筑风格分类的准确性,提出了一种融合CNN和Transformer的建筑风格分类方法,该网络的核心部分为CT-Block结构。该结构在通道维度上分为CNN和Transformer两个分支,特征分别通过这两个通道之后再拼接起来。该结构不仅能融合CNN提取的局部特征和Transformer提取的全局特征,而且还能减轻双分支结构带来的模型变大,参数量增多的问题。在Architectural Style Dataset和WikiChurches数据集上,该算法的准确率分别为79.83%和68.41%,优于建筑风格分类领域其他模型。

基于双融合图注意力网络多模态知识图谱链路预测

知识图谱链路预测是一种根据知识图谱已存在的事实去预测缺失事实的任务,旨在解决知识图谱不完整性问题。但是现有的知识图谱链路预测有一定的缺陷,传统方法只使用单一的数据模态,没有充分利用不同数据模态的丰富信息,并且在图神经网络中孤立地看待实体和关系,没有考虑到不同邻域实体关系权重的不同。为了解决上述缺陷,提出了基于双融合图注意力网络的多模态知识图谱链路预测模型。首先,使用了图像、文本和属性3种模态,同时为了保证数据模态特征的一致性和互补性,设计了一个基于早期融合和晚期融合结合的双融合机制对多模态信息进行融合;然后,为了加强知识图中实体关系的融合以及邻域关系,同时考虑了实体以及关系的多样性,融合了实体表示和关系表示,并通过图注意力网络进行聚合以加强实体的特征表示。通过在4个公开的数据集FB15K-237、WN18RR、DB15K以及YAGO15K进行模拟实验,结果表明,提出的多模态知识图谱链路预测方法具有较好的性能。

基于多尺度风格自适应的手写维文识别模型

基于字符形态与书写风格的强关联性,提出一种多尺度风格自适应的手写维文识别模型,模型从浅层笔划到深层序列建模多尺度风格特征,提高对手写风格的自适应能力。针对手写维文特点改进Transformer提取多尺度笔划特征;构建多尺度风格自适应模块提取序列特征;构建特征泛化融合模块对笔划特征和序列特征进行深度融合,提升识别效果。实验结果表明,该模型在真实手写维文测试集WER、CER分别下降3.75%、0.19%,在IAM数据集中验证了模型迁移性。

基于改进MobileNetV2的棉花颜色分级检测

针对棉花颜色级检验中感官检验容易受到主观因素影响、仪器检验不稳定的问题,提出一种使用改进MobileNetV2神经网络实现棉花颜色级检测的方法。通过自主设计的图像采集装置,收集白棉一级到白棉五级5种棉花颜色级样品,制作数据集。将MobileNetV2网络后三层进行特征融合,并嵌入CBAM注意力机制,同时与GhostNet、ShuffleNetV2和原始MobileNetV2模型进行对比,预测棉花颜色分级。结果表明:改进后的MobileNetV2在测试集的准确率达到92.10%,相对于GhostNet、ShuffleNetV2和原始MobileNetV2分别提高了3.01个百分点、4.61个百分点、1.24个百分点,具有较好的检测效果。

基于深度学习的网络安全命名实体识别方法

针对中文网络安全领域缺乏公开数据集和有效的命名实体识别(Named Entity Recognition,NER)方法,提出一种融合汉字多源信息的网络安全NER方法。通过构建数据集中所有字符的偏旁和字频向量表,增强了中文字向量的特征表达能力,嵌入到改进的词汇融合模型中进行字向量与词向量的融合,输入到条件随机场(Conditional Random Fields,CRF)进行解码。实验结果表明,该方法在保持较快解码速度和占用较低计算机资源的情况下,在网络安全数据集上,其准确率、召回率和F1值分别为0.8649、0.8402和0.8523,均优于现有模型,能够为后续网络安全知识图谱的构建提供支撑。

时空融合与判别力增强的孪生网络目标跟踪方法

孪生跟踪器的出现极大提升了跟踪任务性能。然而,当前跟踪器难以精准描述目标外观变化,造成面临遮挡和尺度变化等挑战时的性能衰减。另外,杂乱背景会产生干扰响应图,误导目标定位。为此,引入2个基于Transformer的跟踪模块用于提高孪生跟踪器性能。其中时空融合模块使用交叉注意力机制的全局特征关联,迭代累积历史线索从而提高目标外貌变化的鲁棒性。判别力增强模块关联目标和搜索区域的语义信息,以提高目标判别能力。此外,使用空间通道加权特征融合,充分发掘空间分布和语义相似性的时空信息。所提模块可嵌入主流孪生跟踪器,在公开数据集上的实验证明了方案的优越性。

基于图结构和序列特征融合的关系抽取

关系抽取是自然语言处理应用中的一项重要任务。现有的关系抽取方法主要基于语言序列特征或句子结构信息来预测关系,并不能有效地反映实体间关系的内在结构和特征。为此,提出一种融合句子中图结构和序列特征信息的关系抽取模型。该模型利用基于注意力的图卷积网络(GCN)学习语句中的结构信息,利用双向长短期记忆(BiLSTM)网络学习语句的序列语义特征,通过注意力机制结合句子结构特征和序列语义对关系进行分类。在公共数据集和手工构建的数据集上进行了大量实验,验证了所提模型的优越性。

基于Transformer和生成对抗网络的多聚焦图像融合

针对多聚焦图像融合任务中聚焦与离焦边界区域处理不平滑的问题,基于Transformer的全局特征提取能力,提出了一种包含双判别器的生成对抗网络方案.生成器以端到端的形式完成多聚焦图像融合任务,借助Transformer获取全局依赖性和低频空间细节,通过跨域的交叉注意力机制帮助生成器模型的双分支达到信息交互的效果,获取另一通道上的冗余信息和互补信息.该模型在学习过程中结合图像的全局信息进行参数更新,从而克服上述问题,且尽可能保留多聚焦图像中聚焦区域的有效信息.通过对比实验表明,所提方法可行且具备竞争力.

融入类别标签和主题信息的用户兴趣识别方法

社交网络用户兴趣发现对信息过载缓解、个性化推荐和信息传播正向引导等方面具有重要意义。目前已有的兴趣识别研究未能同时考虑文本主题信息及其对应的类别标签信息对模型学习文本特征的帮助,文中提出了一种融入类别标签和主题信息的用户兴趣识别方法。首先,利用BERT预训练模型、BiLSTM模型和多头自注意力机制分别获取文本和标签序列的语义特征;其次,引入标签注意力机制,使模型更加关注文本与其类别标签更相关的词语信息;然后,利用LDA主题模型和Word2Vec模型得到文本主题特征;接着,设计门控机制进行特征融合,使模型能够自适应地融合多种特征,进而实现微博文本兴趣类别分类;最后,统计用户发表的所有文本在各个兴趣类别上的数量,将数量最多的兴趣类别确定为用户兴趣识别结果。为验证所提方法的有效性,文中构建了一个微博兴趣识别数据集。实验结果表明,该模型在微博文本兴趣类别分类和用户兴趣识别任务中均取得了最优性能。

融合PMV物理方程和Attention-LSTM神经网络的铁路客站旅客舒适度模型研究

铁路客站的舒适度直接关系着旅客的出行体验和满意度。选取聊城西站作为研究对象,采用PMV物理方程、Attention-LSTM神经网络模型以及PMV&Attention-LSTM融合模型3种方法,针对旅客舒适度开展综合评估与分析。在模型构建过程中,运用了标准化处理、数据集划分、网格搜索交叉验证等技术寻找最佳超参数,并记录了训练过程中的损失函数和均方误差。在模型预测中,充分考虑了温度、湿度、风速、空气质量、二氧化碳、光照、噪声等环境因素对旅客舒适度的影响。对比3种预测方法,结果显示,融合模型在考虑多维环境数据时可更准确地反映舒适度水平,表明该模型更适应铁路客站的复杂环境条件,可为提高候车厅舒适性提供更为可靠的参考依据。