U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和...U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet(network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。展开更多
基于与人交互的物体对人体行为识别的重要作用,本文提出了融合交互物体和能量信息等特征的三维复杂人体识别方法.首先提取手持物体的Hu矩作为交互物体特征,然后根据人体行为的生物学和运动学特征,从人体运动的能量角度提取人体骨架动能...基于与人交互的物体对人体行为识别的重要作用,本文提出了融合交互物体和能量信息等特征的三维复杂人体识别方法.首先提取手持物体的Hu矩作为交互物体特征,然后根据人体行为的生物学和运动学特征,从人体运动的能量角度提取人体骨架动能、姿态势能、关节点位置等构建了局部特征矩阵,并聚类为词袋(Bag Of Word,BOW),与交互物体特征构成最终的组合特征;为了自动分割交互物体,我们提出了基于Harris角点的种子区域生长法,快速完整地分割手持物体;最后利用RBFSVM方法进行人体行为识别.实验结果表明融合交互物体信息和能量特征的三维人体行为识别方法具有较高的识别率,尤其能够较大幅度降低易混淆复杂动作的误识别率.展开更多
提供了一个较大规模的基于RGB-D摄像机的人体复杂行为数据库DMV(Dynamic and multiview)action3D,从2个固定视角和一台移动机器人动态视角录制人体行为。数据库现有31个不同的行为类,包括日常行为、交互行为和异常行为类等三大类动作,...提供了一个较大规模的基于RGB-D摄像机的人体复杂行为数据库DMV(Dynamic and multiview)action3D,从2个固定视角和一台移动机器人动态视角录制人体行为。数据库现有31个不同的行为类,包括日常行为、交互行为和异常行为类等三大类动作,收集了超过620个行为视频约60万帧彩色图像和深度图像,为机器人寻找最佳视角提供了可供验证的数据库。为验证数据集的可靠性和实用性,本文采取4种方法进行人体行为识别,分别是基于关节点信息特征、基于卷积神经网络(Convolutional neural networks,CNN)和条件随机场(Conditional random field,CRF)结合的CRFasRNN方法提取的彩色图像HOG3D特征,然后采用支持向量机(Support vector machine,SVM)方法进行了人体行为识别;基于3维卷积网络(C3D)和3D密集连接残差网络提取时空特征,通过softmax层以预测动作标签。实验结果表明:DMV action3D人体行为数据库由于场景多变、动作复杂等特点,识别的难度也大幅增大。DMV action3D数据集对于研究真实环境下的人体行为具有较大的优势,为服务机器人识别真实环境下的人体行为提供了一个较佳的资源。展开更多
文摘U-Net在图像分割领域取得了巨大成功,然而卷积和下采样操作导致部分位置信息丢失,全局和长距离的语义交互信息难以被学习,并且缺乏整合全局和局部信息的能力。为了提取丰富的局部细节和全局上下文信息,提出了一个基于卷积胶囊编码器和局部共现的医学图像分割网络MLFCNet(network based on convolution capsule encoder and multi-scale local feature co-occurrence)。在U-Net基础上引入胶囊网络模块,学习目标位置信息、局部与全局的关系。同时利用提出的注意力机制保留网络池化层丢弃的信息,并且设计了新的多尺度特征融合方法,从而捕捉全局信息并抑制背景噪声。此外,提出了一种新的多尺度局部特征共现算法,局部特征之间的关系能够被更好地学习。在两个公共数据集上与九种方法进行了比较,相比于性能第二的模型,该方法的mIoU在肝脏医学图像中提升了4.7%,Dice系数提升了1.7%。在肝脏医学图像和人像数据集上的实验结果表明,在相同的实验条件下,提出的网络优于U-Net和其他主流的图像分割网络。
文摘基于与人交互的物体对人体行为识别的重要作用,本文提出了融合交互物体和能量信息等特征的三维复杂人体识别方法.首先提取手持物体的Hu矩作为交互物体特征,然后根据人体行为的生物学和运动学特征,从人体运动的能量角度提取人体骨架动能、姿态势能、关节点位置等构建了局部特征矩阵,并聚类为词袋(Bag Of Word,BOW),与交互物体特征构成最终的组合特征;为了自动分割交互物体,我们提出了基于Harris角点的种子区域生长法,快速完整地分割手持物体;最后利用RBFSVM方法进行人体行为识别.实验结果表明融合交互物体信息和能量特征的三维人体行为识别方法具有较高的识别率,尤其能够较大幅度降低易混淆复杂动作的误识别率.