档案盒视觉定位与测量技术研究

为了推动无人值守档案智能存取机器人的建设,针对档案盒识别定位的问题,引入机器视觉技术,能够在不改变原有档案架设计的基础上,高效、准确地实现不同规格档案盒的识别、定位和测量。首先,基于机器学习方法设计了Logistic模型,根据档案盒的颜色特征,对像素点进行分类,从而实现档案盒的识别。其次,结合Blob分析方法和矩形拟合方法,实现档案盒的图像定位和厚度测量。最后,建立相机成像光学模型,实现数据从图像坐标系到空间坐标系的转换,得到档案盒在实际空间下的位置和厚度。根据实验和改进,档案盒定位误差在2mm以内,厚度测量误差在1mm以内,具有较高的精度,满足实际应用需求。

视频与音频特征融合生成动作指令组的方法研究

为了提高人与机器人的语音交互能力,提出一个基于视频特征与音频特征融合的动作三元组分类的神经网络框架,其本质是从音视频中提取高度概括动作的指令组。该框架包含三个模块,分别是视频特征提取网络模块、音频特征提取网络模块、特征融合模块。视频特征提取网络模块使用I3D网络结构提取视频特征;音频特征提取网络模块使用卷积神经网络以及双向长短期记忆网络提取音频特征;特征融合模块将视频特征和音频特征进行融合并输出动作三元组的分类。通过在制作的动作音视频数据集上的实验证明,所提出的音视频特征融合网络能达到74.92%的准确率,且具有较强的鲁棒性。

基于骨骼关节点和物体属性的动作指令学习方法

为了从视频中学习动作指令,提出一种基于骨骼关节点和物体属性的动作技能学习方法,该方法使用OpenPose算法提取视频中人体骨骼关节点,根据人体骨架和手部骨架特征构建无向时空图,并使用时空图卷积网络识别演示者的操作动作。通过Mask R-CNN识别操作物体,并根据识别的动作采用两个LightGBM分类器将操作物体分为主体物体和受体物体。使用原子命令(三元组)表示机器人学习到的技能。在MPII Cooking Activities Dataset 2.0上进行实验,该方法动作识别的精确率达到89.91%,操作物体分类总准确率达到78.07%,能够从演示视频中学习操作技能的准确率到达78.07%,有效地验证了该方法。

机器人听觉声源定位研究综述

声源定位技术定位出外界声源相对于机器人的方向和位置,机器人听觉声源定位系统可以极大地提高机器人与外界交互的能力.总结和分析面向机器人听觉的声源定位技术对智能机器人技术的发展有着重要的意义.首先总结了面向机器人听觉的声源定位系统的特点,综述了机器人听觉声源定位的关键技术,包括到达时间差、可控波束形成、高分辨率谱估计、双耳听觉、主动听觉和视听融合技术.其次对麦克风阵列模型进行了分类,比较了基于三维麦克风阵列、二维麦克风阵列和双耳的7个典型系统的性能.最后总结了机器人听觉声源定位系统的应用,并分析了存在的问题和未来的发展趋势.

机器视觉在农业机器人自主导航系统中的研究进展

自主导航是移动机器人的关键技术。机器视觉由于信息量大和人性化特征,视觉导航已成为农业机器人获得导航信息的一种主要方式。为此,综合分析了目前国内外视觉导航技术的研究现状及其存在的问题;同时,探讨了研究中需要解决的关键技术。最后,展望了农业机器人视觉导航技术的发展趋势。

基于人耳听觉特性的语音识别预处理研究

在人耳听觉语音识别优化过程中,由于在噪声环境下传统语音识别预处理过程不能得到高信噪比的语音信号,使识别率下降。为此结合人耳听觉特性,提出一种基于人耳的听觉选择能力即"鸡尾酒会效应"的语音分离技术应用到语音识别预处理过程。含噪声的语音信号经过耳蜗基底膜模型进行频谱分析,再通过上橄榄核模型进行语音信息提取,最后在下丘脑细胞模型中完成语音分离。分离得到更纯净的语音后,对语音信号提取梅尔频率倒谱(MFCC)参数,并建立隐马尔可夫(HMM)声学模型来验证语音识别效果,实验结果表明:在噪声环境下,相比于传统抗噪方法,改进方法具有更好的抗噪效果,表明上述语音识别系统具有更好的鲁棒性。

多视重建的研究现状

对目前的多视重建技术进行了综述.先介绍了多视重建的分类和评价方法,然后分析了光照一致性约束和可见性约束,再分别讨论了几个有代表性的算法,如深度图方法、空间雕刻法、变形模型方法、目标函数求解法(包括水平集法、图割法)、种子生长法、概率估算法(马尔可夫场方法、EM方法)等等,再探讨了这些算法的不足之处.最后,提出了融合多种方法、多种线索的3维重建新思路,以提高多视重建的完整性和精度.

机器人听觉系统中指纹定位改进方法

针对传统指纹定位方法中高定位精度依赖于高参考点密度、计算复杂度高的问题,提出了一种改进的声音位置指纹定位方法。基于声音位置的聚类算法首先被用来构建位置指纹数据库,从而降低在线搜索数据库的计算成本,同时线性插值方法被采用在选定聚类内生成虚拟参考点来更新数据库,最后,目标位置由声源与虚拟参考点的指纹相似度计算得出。实验结果表明,该方法能有效提高低参考点密度下的系统定位精度,同时算法复杂度低。

智能机器人语音控制方法的设计与实现

利用个人计算机强大的软、硬件平台,设计了一种机器人语音控制的方法,实验表明该方法能对机器人进行高效的语音控制.

声控机器人的特定人孤立词汉语识别系统设计

利用语音命令对机器人的行动控制,有很大的实用价值。介绍了采用动态时间弯折(DTW,Dynamic Time Warping)算法进行模式匹配的特定人孤立词汉语识别系统。DTW算法简单有效,尤其适合孤立词语识别系统。用凌阳单片机SPCE061A搭建的机器人平台对系统进行测试,结果表明,系统识别效果良好,控制者通过语音可以实时控制机器人行动。

基于机器视觉的枸杞枝条识别方法研究

目标枝条的识别定位是实现枸杞果实自动化采摘的前提,为了实现枸杞的自动采摘,提出了一种新的能实现首端定位的枝条识别方法;首先,通过对枸杞枝条特征进行分析,实现了枝条轮廓和直径等特征的提取;然后,对部分非合理性间断的枝条进行了修复;对于果实将枝条首端完全遮挡的情况,采取最小二乘法拟合实现了枝条识别;最后,提出了质心差值法来获取枝条的首端坐标,从而实现了整条枝条的识别和定位;通过用VC编程进行识别算法的实验验证,实验结果表明该算法能较好地实现对枸杞枝条的识别和定位。

基于区域过划分和再融合的全幅视觉图像分割

研究对移动机器人采集的视觉图像进行全局精确分割问题.针对全幅道路图像分割问题提出:首先利用区域生长算法对视觉图像在HSV颜色空间下进行基于颜色特征的全局过分割,再利用傅里叶变换提取周向谱纹理特征,根据空间位置的相邻性和周向谱的分布特性,对过分割的全幅视觉图像进行基于纹理特征的再融合.实验结果表明,该算法能够准确实现全幅图像的分割,比单纯利用颜色或纹理特征进行全幅图像分割具有更高的精度和可靠性.

3D打印深度图像的获取及时空融合处理方法

为在提高3D打印机精度的同时降低成本,引入基于全场光学相干层析技术高精度的视觉测量系统测量3D打印的工件,通过将工件的表面图像转换为深度图像,获得工件的深度信息。在此基础上,提出基于时间/空间融和的图像处理方法,在时间序列上,以深度图像灰度值的标准差为特征变量,经高斯曲线拟合,获取工件表面的实际深度值。在空间域中使用高斯滤波器降低噪声影响。实验结果表明,基于FFOCT的3D打印机深度测量系统精度远高于10μm。

计算机视觉在条形码缺陷检测中的应用

提出一种新的基于计算机视觉技术的识别方法.通过各种计算机视觉算法的合理配置,达成对缺陷条形码的修正和识别.在预处理阶段,采取线性灰度化方法和Ostu阈值分割方法,增强黑色条纹和白色背景之间的对比度;在条纹定位阶段,采取Canny边缘检测和Hough变换,有效定位黑色条纹对应的直线特征.实验结果表明:该方法对缺陷条形码的识别是有效的.

利用IBM ViaVoice实现装配机器人的听觉功能

本文阐述了具有听觉功能的装配机器人的实现方法。通过对语音识别技术的研究，在引进ＩＢＭ ＶｉａＶｏｉｃｅ语音识别系统的基础上，根据我院机器人研究所现有的“七感觉智能机器人”的功能需求，通过对其主控软硬件的改进，使语音识别技术与机器人控制系统有机结合，实现了装配机器人对非特定人、连续语言的识别和控制。此听觉识别系统可扩充中小词汇，具有可编程、自学习能力。

基于肤色采样点筛选的视频手势分割算法

为了实现视频手势的实时分割与定位,提出一种基于肤色采样点筛选的视频手势分割算法对视频中的运动手势进行实时分割与定位。首先,对视频的每一帧通过图像预处理获取肤色采样点;其次,融合运动信息对肤色采样点进行初步筛选;然后,通过区域生长法再次筛选肤色采样点提取特征点;最后,通过特征点实现视频手势的分割与定位。实验结果表明,该方法具有良好的手势分割效果和较高的定位准确度。

汉语语音识别技术在机器人控制中的应用

研究实用的机器人汉语语音识别系统 ,对于机器人的广泛应用具有重要意义。利用TMS32 0VC541 6DSK板为平台 ,可实现一种机器人的汉语语音控制。在此应用中 ,确定端点检测算法、特征矢量的提取算法 ,并采用当今语音识别领域的主流技术———隐马尔可夫模型(HMM)技术进行模型训练和匹配。同时采用LPC倒谱和Mel倒谱系数分别建立系统 ,并对两个系统的识别性能进行比较。实验证明在多个人的语音样本对系统的训练识别下 ,系统在词汇量为 40的非特定人、孤立词识别上取得很好的效果。

基于人工智能下的视觉识别焊接机器人的研究展望

通过对国内外在视觉识别技术的研究,分析视觉识别技术在焊接上的研究现状以及在基于人工智能下视觉识别焊接机器人发展趋势。研究展望表明,视觉识别焊接机器人只有通过视觉识别技术、控制系统和焊接设备三方之间的深度融合,实现即时信息交换通讯,从而才可以实现焊接真正意义上的智能化。

电子玩具仿生的技术特点

因为电子学与生物学有很多共同点,电子产品仿生,能够给予电子技术创新灵感。通过3个电子制作实例的分析,介绍了电子学与生物学相结合的部分特点,分析了电子玩具仿生的创新特点。对于玩具电子等创新研究有启发作用。

Calibration for 3D Structured Light Measurement

A calibration procedure was developed for three-dimensional(3D) binocular structured light measurement systems. In virtue of a specially designed pattern, matching points in stereo images are extracted. And then sufficient 3D space points are obtained through pairs of images with the intrinsic and extrinsic parameters of each camera estimated prior and consequently some lights are calibrated by means of multi point fitting. Finally, a mathematical model is applied to interpolate and approximate all dynamic scanning lights based on geometry. The process of calibration method is successfully used in the binocular 3D measurement system based on structured lights and the 3D reconstruction results are satisfying.