联合吸收马尔可夫链和骨架映射的视频分割

因严重遮挡和剧烈形变等挑战长期共存,精准鲁棒的视频分割已成为计算机视觉的热点之一.构建联合吸收马尔可夫链和骨架映射的视频分割方法,经由“预分割—后优化—再提升”逐步递进地生成精准目标轮廓.在预分割阶段,基于孪生网络和区域生成网络获取目标感兴趣区域,建立这些区域内超像素的吸收马尔可夫链,计算出超像素的前景/背景标签.吸收马尔可夫链可灵活有效地感知和传播目标特征,能从复杂场景初步预分割出目标物体.后优化阶段,设计短期时空线索模型和长期时空线索模型,以获取目标的短期变化规律和长期稳定特征,进而优化超像素标签,降低相似物体和噪声带来的误差.在再提升阶段,为减少优化结果的边缘毛刺和不连贯,基于超像素标签和位置,提出前景骨架和背景骨架的自动生成算法,并构建基于编解码的骨架映射网络,以学习出像素级目标轮廓,最终得到精准视频分割结果.标准数据集的大量实验表明:所提方法优于现有主流视频分割方法,能够产生具有更高区域相似度和轮廓精准度的分割结果.

基于TSN的化学实验室人员不安全行为模式识别

不安全行为是导致化学实验室事故的重要原因之一,针对化学实验室人员不安全行为模式识别的研究具有现实意义。本文首先定义了5种化学实验室人员不安全行为模式,进而根据某高校化学实验室实际场景,构建了不安全行为模式视频数据集,并建立基于时域分割网络(TSN)的化学实验室人员不安全行为模式识别模型,在模型中增加dropout层,最后使用SoftMax分类器对不安全行为进行识别。结果表明:本文模型可以准确识别本文定义的化学实验室不安全行为,召回率、精确率大于0.9,F1指数大于0.95,预期可以为化学实验室人员不安全行为的预警和风险防控提供技术支持。

基于时空特征的奶牛视频行为识别

准确、高效的奶牛行为识别有助于疾病检测、发现异常,是感知奶牛健康的关键。通过分析奶牛在牛场中各时段的行为,提出一种基于时空特征的奶牛行为识别模型,该模型在时域段网络(TSN)的基础上融合了时态移位模块(TSM)、特征注意单元(FAU)和长短期记忆(LSTM)网络。首先,利用TSM融合时间信息以提高时序建模能力,并将时序建模后的视频帧输入TSN。其次,利用FAU融合高分辨率空间信息和低分辨率语义信息,增强模型空间特征的学习能力。最后,由LSTM聚合过去和当前信息进行奶牛行为分类。实验表明,该方法对进食、行走、躺卧、站立行为识别准确率分别为76.7%、90.0%、68.0%、96.0%,平均行为识别准确率为82.6%,和C3D、I3D、CNN-LSTM网络相比,本文模型平均行为识别准确率分别提升7.9、9.2、9.6个百分点。光照变化会对奶牛行为识别准确率产生一定影响,但本文模型受光照影响相对较小。研究成果可为感知奶牛健康和疾病预防提供技术支持。

考虑用户能量优化调度的配电网灾后故障恢复策略

新型配电系统中,越来越多的大型用户会建立能量管理系统(EMS)对自身用能曲线进行优化。该发展趋势给新型配电系统的弹性提升与灾后故障快速恢复方案制定带来了新的挑战。为此,提出了一个综合考虑EMS逐利特性、维修人员调度以及分布式发电机组运行的配电系统灾后恢复策略双层优化模型。该模型的外层问题建立了一般配电网故障快速恢复模型,并使用时间-空间网络模型对维修人员在空间上的移动过程进行建模。内层问题描述了恢复供电后EMS根据所管理园区情况重新制定负荷曲线的过程。为求解该双层优化问题,使用Karush-Kuhn-Tucher条件将其转变为单层混合整数线性规划问题。最后,在改进IEEE 33节点配电系统上验证了模型有效性,并进行了灵敏度与计算性能分析。

基于自适应融合权重的人体行为识别方法

为解决人体行为识别中关节特征不显著、噪声干扰严重等问题,提出一种基于自适应融合权重的人体行为识别方法。为充分利用长时时序信息,需要对长视频进行时域分割,而后设计基于BN-Inception的双流网络结构,分别以RGB图像和骨骼关节点构成的运动特征向量作为空间流和时间流网络的输入,基于熵值法对各片段内单支流网络融合后,根据关节点显著程度赋予各支流以惩罚值,使双流网络自适应调节权重进行融合,输出行为类别。实验结果表明,该方法在人体行为识别中具有可行性和有效性。

基于改进时空异构双流网络的行为识别

针对主流的双流卷积神经网络在提取特征过程中,存在特征利用率低、忽略特征图各个部分之间的相互作用以致区分相似动作效果不佳的问题,提出一种基于深度特征融合和注意力机制的行为识别方法。利用不同层次卷积神经网络特征的互补优势,将网络中的低层和高层信息相融合,引入改进的注意力机制,捕获人体行为整体特征和不同类别之间的细微差别,提高网络性能。在数据集UCF-101上取得了94.5%的识别效果,将UCF-101数据集预训练网络模型迁移至相似动作数据集SDUFall上,同样表现良好,验证了所提方法的有效性。

基于残差时移模块和双流网络的手语识别方法

目前存在的手语识别方法中,多模态图像被广泛使用,但多模态数据形式复杂,不易操作。此外,现存的手语识别方法无法有效聚合全局与运动区域局部信息。基于改善手语识别方法的目的,论文提出了一种仅使用RGB图像的基于残差时移模块与双流网络的手语识别方法。双流网络两分支改进为全局图像分支与运动区域局部分支,运动区域局部分支采用语义分割算法进行运动区域分割,解决了以往运动区域难以定位的问题。两分支通过数据融合将全局与局部信息有效聚合。在SLR500开源数据集上进行实验,该方法获得高达94.7%的识别率。

基于机器学习的手语识别系统研究与开发

随着机器学习和计算机视觉领域的发展,计算机已经具有分析视频内容的能力。听障人士的交流困难主要是难以理解手语动作的含义,而借助计算机分析手语视频将其转化为文字,则可以解决以上交流难题。因此,提出基于机器学习的手语识别系统,先建立手语视频数据集,借助飞桨AI Studio平台使用时间分段网络(Temporal Segments Networks,TSN)算法框架进行相应的模型训练,再对手语视频进行抽帧,分析图像内容并对其进行预测,最后输出预测结果,从而实现对手语视频的文字转译。

基于特征融合时序分割网络的行为识别研究

行为识别是当今计算机视觉领域的一个研究热点,是一项具有挑战性的任务.行为识别分析与其网络输入数据类型、网络结构、特征融合环节具有密切联系.目前,主流的行为识别网络输入数据为RGB图像和光流图像,网络结构主要以双流和3D卷积为主;而特征选择直接影响到识别的效率,多层次的特征融合工作还有很多问题有待解决.针对主流的双流卷积网络输入数据为RGB图像和光流图像的局限,利用低秩空间中稀疏特征能够有效捕捉视频中运动物体信息的特点,对网络输入数据进行补充.同时,针对网络中缺乏信息交互的特点,将深度网络中高层语义信息和低层细节信息结合起来共同识别行为动作,使时序分割网络性能更具优势.在行为识别数据集UCF101和HMDB51上取得了97.1%和76.7%的识别效果,较目前主流算法有了较大的提升.实验结果表明,该方法能够有效地提高行为识别的识别率.

颞骨CT内面神经、迷路、听骨结构深度学习的自动化分割方法

目的探讨神经网络的深度学习方法,进行颞骨CT内面神经、迷路及听骨结构的自动化分割的可行性和精确性。方法选择常规颞骨CT检查患者的数据,随机分为两组,一组为训练集(20例),另一组为测试集(5例)。在上述颞骨CT中采用手工分割的方法,分割出迷路、听骨及面神经结构。选择三维卷积神经网络3D U-Net作为深度学习中的神经网络结构部分,通过对训练集的训练,得到该网络的平均精度。用该网络模型对5组测试集中的不同解剖标志自动分割的结果与手工分割的结果进行测试,分别获得面神经、迷路及听小骨的测试精度。并将上述精度与另一种基于三维卷积神经网络结构的V-Net网络模型获得的精度进行比较。结果在颞骨CT标本中,采用面神经、迷路及听小骨分别对3D U-Net-plus和V-Net网络结构的自动分割进行训练,在训练样本中,3D U-Net-plus网络结构的平均误差为0.016,V-Net网络结构的平均误差为0.035,两者差异有统计学意义(P<0.05);利用3D U-Net-plus神经网络自动分割的迷路、听小骨及面神经与手工分割图像的Dice相似指数分别为0.618±0.107、0.584±0.089和0.313±0.069,利用V-Net神经网络自动分割的迷路、听小骨、面神经与手工分割图像的Dice相似指数分别为0.322±0.089、0.176±0.100和0.128±0.077,两者差异有统计学意义(P<0.001)。结论采用3D U-Net-plus神经网络,在颞骨内听骨、迷路及面神经的自动识别和分割方面具有可行性,该方法优于V-Net神经网络。随着网络结构的优化和学习样本的扩大,其将更加接近人工分割的效果。

城市路网信息融合的关键技术

目前,我国各大城市交通信息采集和传输问题已基本解决。但是,交通信息与路网空间信息的匹配和融合问题却依然严重,使得大量的实时路况信息难以得到有效应用,成为制约城市路网管理和出行服务的技术瓶颈,直接影响车载导航系统、公众出行信息平台、物流运输系统等位置服务(LBS)与智能交通系统(ITS)应用的服务水平。鉴此,本文探讨了城市路网信息融合的内涵和特征,及其关键技术,包括线性参考系统与空间信息融合、时空动态分段和多级动态分段、多模式交通网络构建技术和动态连通关系自动生成等技术问题,并提出了相应的解决方案。

基于特征传播的时域分割网络行为识别

为了高效、准确地获得视频中的行为类别和运动信息,减少计算的复杂度,文中提出一种融合特征传播和时域分割网络的视频行为识别算法.首先将视频分为3个小片段,分别从相应片段中提取关键帧,从而实现对长时间视频的建模;然后设计一个包含特征传播表观信息流和FlowNet运动信息流的改进时域分割网络(P-TSN),分别以RGB关键帧、RGB非关键帧、光流图为输入提取视频的表观信息流和运动信息流;最后将改进时域分割网络的BN-Inception描述子进行平均加权融合后送入Softmax层进行行为识别.在UCF101和HMDB51这2个数据集上分别取得了94.6%和69.4%的识别准确率,表明该算法能够有效地获得视频中空域表观信息和时域运动信息,提高了视频行为识别的准确率.

基于时刻独立脉冲耦合神经网络的高空间分辨率摇感影像分割

高空间分辨率遥感影像中地物目标内部光谱信息复杂性的增强,使得传统基于光谱特征值的数据处理方法效果不再显著,影像分割为解决这一问题提供了一种思路,成为当前高空间分辨率遥感影像处理的研究焦点。时刻独立脉冲耦合神经网络具有状态相近、空间相邻神经元相互耦合同步脉冲激发和区域之间神经元脉冲激发时刻独立两大特点,已被应用于非遥感影像分割中,并取得较好效果。本文结合高空间分辨率遥感影像特点,通过对网络参数进行实验和分析,提出一个基于时刻独立脉冲耦合神经网络的高空间分辨率遥感影像分割方法,并利用空间分辨率0.3m的航空影像进行了数据试验,将分割结果进行讨论并与现有时刻独立脉冲耦合神经网络方法和ISODATA方法分割结果进行对比分析。结果表明:时刻独立脉冲耦合神经网络在高空间分辨率遥感影像分割处理中具有很好的应用前景。

深度学习在多时相大棚提取应用研究

蔬菜大棚对于农业生产具有重要意义。受季节和环境影响,其在遥感影像上不同时期呈现不同形态,仅通过单时相特征提取精度不能满足要求。近几年,深度学习被证明适合遥感数据的分类,为实现深度学习在农业遥感上的有效应用,提出了一种改进的多时相语义分割模型(Multi-temporal Spatial Segmentation Network,MSSN)用于蔬菜大棚提取。提出基于补丁长短时记忆网络(Patch-LSTM),该网络充分利用图像的空间和时序信息。采用带空洞卷积的空间金字塔池化(ASSP)解决网络对尺度敏感问题。进一步添加跳连层(Skip-layer)和反卷积层提升特征图的还原能力。选择山东高密GF-2遥感影像进行实验。结果表明,该分割模型在测试集上有0.95的Precision、0.92的F1 score以及0.93的前景IoU(Intersection Over Union),可以实现高精度的蔬菜大棚提取,为深度学习在农业遥感的应用提供新的方法。

基于混合注意力机制的肺结节假阳性降低

为了解决肺结节CAD系统候选结节检测阶段高假阳性问题,本文提出一种基于混合注意力机制的肺结节假阳性降低方法。该方法可作为目前假阳性降低阶段最常用的3D CNN分类模型的替代方案,能有效回避3D CNN模型参数量及计算量大的问题。该方法将三维候选结节切片数据看作切片序列,使用时序分割模型,结合改进的包含混合注意力模块的2D Resnet-18骨干网络,在使用2D CNN的基础上,有效学习三维切片数据的时空特征。相对于3D CNN结构的肺结节分类模型,本文提出的方法在降低模型参数量和推理时间的基础上,提高了结节分类的准确率。

基于局部兴奋全局抑制振荡网络的图像分割

将局部兴奋全局抑制振荡网络（ＬｏｃａｌｙＥｘｃｉｔａｔｏｒｙＧｌｏｂａｌｙＩｎｈｉｂｉｔｏｒｙＯｓｃｉｌａｔｏｒＮｅｔ－ｗｏｒｋ，简称ＬＥＧＩＯＮ）应用于图像分割．将侧电势引入振荡子的动态行为，有效地克服了噪声对主要区域的影响．用含噪声的二值图模拟了ＬＥＧＩＯＮ的时间演化．根据大脑区域分割特征聚合原理的相近性、相似性和连通性原则，设计了分割灰度图的网络连接权．用ＨＳＩ色空间设计了突出Ｈ分量的连接权，得到了比基于ＲＧＢ色空间分割更为满意的分割效果．

基于压缩奖惩机制的视频行为识别方法研究

大多数视频行为识别任务中都是同等处理网络提取到的时空信息,为了忽略无关信息而关注重点信息,本文设计了含有压缩奖惩机制的卷积神经网络结构,用于视频行为识别.该网络结构基于时间分段网络构建,首先将视频分为多个等长片段,从每个片段随机提取堆叠光流图像和RGB视频帧,将其分别输入到含有压缩奖惩机制的时间与空间双流卷积神经网络,通过压缩与奖惩操作,对网络提取到的特征进行加权,根据加权后的时间与空间特征分别在时间与空间两个通道上对行为作出初步预测;然后对每个片段的时间与空间初步预测结果分别融合,得到视频级预测结果;最后将视频级时间与空间预测结果融合,得到最终视频行为识别结果.在数据集UCF101与HMDB51上进行了实验,结果表明,与其他不含压缩奖惩机制的多种网络模型相比,该模型具有较高的准确率.

多时相遥感影像语义分割色彩一致性对抗网络

利用深度卷积神经网络智能化地提取遥感图像中的建筑物对于数字城市构建、灾害侦查、土地管理等具有重要意义。多时相遥感图像之间的色彩差异会导致建筑物语义分割模型泛化能力下降。针对此,本文提出了注意力引导的色彩一致生成对抗网络(attention-guided color consistency adversarial network,ACGAN)。该算法以参考色彩风格图像及相同区域、不同时相的待纠正图像作为训练集,采用加入了U型注意力机制的循环一致生成对抗网络训练得到色彩一致模型。在预测阶段,该模型将待纠正图像的色调转换为参考色彩风格图像的色调,这一阶段基于深度学习模型的推理能力,而不再需要相应的参考色彩风格图像。为了验证算法的有效性,首先,将本文算法与传统的图像处理算法及其他循环一致生成对抗网络做了对比试验。结果表明,ACGAN色彩一致后的图像与参考色彩风格图像的色调更加相似。其次,将以上不同的色彩一致性算法处理后的结果图像进行建筑物语义分割试验,证明本文方法更加有利于多时相遥感图像语义分割模型泛化能力的提升。

基于光流场的时间分段网络行为识别

针对在双流时间分段网络上进行行为识别在预处理阶段耗时长、精细度有待提高这一问题,在现有的时间分段网络的基础上,将深度学习求解光流场的算法引入到行为识别这一应用中.用原始RGB帧图像作为空间卷积网络的输入提取外观信息,深度学习算法从相邻帧提取的光流场特征图像作为时间卷积网络的输入提取运动信息,两者互为补充,最后将空间卷积网络和时间卷积网络的输出加权融合得到最终识别结果.实验结果表明:用深度学习求解光流场的算法可有效提高识别算法的运算速度,同时也取得了较好的识别效果.

基于卷积神经网络和Transformer的手写体英文文本识别

手写体文本识别技术可以将手写文档转录成可编辑的数字文档。但由于手写的书写风格迥异、文档结构千变万化和字符分割识别精度不高等问题,基于神经网络的手写体英文文本识别仍面临着许多挑战。针对上述问题,提出基于卷积神经网络(CNN)和Transformer的手写体英文文本识别模型。首先利用CNN从输入图像中提取特征,而后将特征输入到Transformer编码器中得到特征序列每一帧的预测,最后经过链接时序分类(CTC)解码器获得最终的预测结果。在公开的IAM(Institut für Angewandte Mathematik)手写体英文单词数据集上进行了大量的实验结果表明,该模型获得了3.60%的字符错误率(CER)和12.70%的单词错误率(WER),验证了所提模型的可行性。