Hand Gesture Recognition Using Appearance Features Based on 3D Point Cloud

This paper presents a method for hand gesture recognition based on 3D point cloud. Digital image processing technology is used in this research. Based on the 3D point from depth camera, the system firstly extracts some raw data of the hand. After the data segmentation and preprocessing, three kinds of appearance features are extracted, including the number of stretched fingers, the angles between fingers and the gesture region’s area distribution feature. Based on these features, the system implements the identification of the gestures by using decision tree method. The results of experiment demonstrate that the proposed method is pretty efficient to recognize common gestures with a high accuracy.

基于5G的重症监护数字化ICU指挥平台建设实践

目的:建设重症监护数字化ICU指挥平台,实现市级层面跨医疗机构的ICU统一管理。方法:基于智能语音病历提升电子病历录入效率;通过高清摄像设备与图像识别,减轻人工巡检ICU压力;利用5G的安全性、高性能、便捷性,保障业务安全隔离、医疗数据传输安全,构建完善可靠的安全体系。结果:数字化ICU指挥平台建设了多媒体即时通信系统、多视角智能监控系统以及多学科远程会诊系统,共接入8家市级救治医疗机构的ICU病区,可为全市ICU重症患者提供服务。结论:重症监护数字化ICU指挥平台在突发公共卫生事件及群体性事件应急救援中发挥了重要作用,其管理及应用模式可为重症医学数字化建设提供参考。

基于数理统计特征的人机交互图像手势识别

在人机交互领域中手势识别的应用前景十分广阔,在诸多领域中均为人类带来了无限便利。基于数理统计特征设计一种人机交互图像手势识别方法,实现了基于数理统计特征的手势信息获取与基于识别结果的人机交互。对人机交互图像实施图像灰度化处理、二值化处理、平滑处理、边缘检测和轮廓提取处理等一系列预处理。通过OpenCV提取二值化人机交互图七个具有尺度不变性、旋转不变性、平移不变性的Hu矩,前四个矩描述手势的图像椭圆、主轴方向角、面积、旋转半径这四个物理量,后三个矩描述的是图像对称性、重心、中心距。基于Darknet-19改进YOLO-V2网络的骨干网络,使模型能够预测的anchor box数量达到16×16×N个。基于改进YOLO-V2网络设计手势识别模型,模型的输入为人机交互图、提取的手势轮廓与Hu矩,实现交互图像手势识别。测试结果表明,设计方法在室内和室外的手势识别准确率均较高,通过该方法的手势识别结果能够实现人机交互。

基于异步交互聚合网络的卷烟厂危险作业区人员异常行为图像识别

受到卷烟厂作业区域分散、作业人员多、行为特征相似度高的影响,无法有效整合多组图像行为特征,造成识别结果误差偏大,不能进行危险行为即时预警。为此,提出了基于异步交互聚合网络的卷烟厂危险作业区人员异常行为图像识别方法。根据卷烟厂危险作业区域特点,结合人员异常行为图像分析效果,提取异步交互聚合网络下JDE行为特征,进行人员异常行为角度特征识别,为相邻识别特征交互区域类型输出分配不同加权系数量,输出异步交互聚合识别结果。实验结果表明:在异步交互聚合网络优化下,人员异常行为识别准确率得到明显提升,整体识别效果稳定性较高,适应性优化效果明显。

全局跨层交互网络学习细粒度图像特征表示

细粒度图像分类中的关键任务是提取极具鉴别性的特征。在以往的模型中,往往采用双线性池化技术及其变种来解决这个问题。然而,大多数双线性池化及其变体会忽略层内或层间特征交互,这种不充分的交互易导致鉴别信息丢失或使鉴别信息包含过多冗余信息。针对上述问题,设计一种新的学习细粒度图像特征及特征表示的方法——全局跨层交互(GCI)网络。提出的分层双三次池化方法具有平衡提取鉴别信息和过滤冗余信息能力,并能同时建模层内和层间的特征交互。进一步分析层间交互计算结构,发现易于将交互计算结构与现有的通道注意力机制结合形成交互注意力机制,以提升骨干网络的关键特征提取能力。最后,将交互注意力机制构成的特征提取网络与双三次池化方法融合得到GCI,用来提取鲁棒的细粒度图像特征表示。在3个细粒度基准数据集上进行实验,实验结果表明分层双三次池化实现了分层交互池化框架中最优效果,即在CUB-200-2011、Stanford-Cars、FGVC-Aircraft上分别达到了87.4%、93.2%和92.1%的分类精度,将交互注意力机制融入后分类精度进一步提升至88.5%、95.1%和93.9%。

基于智能语音交互的智慧教学学情识别方法

近年来,智能语音交互技术已广泛应用于智慧教学。提出一种基于智能语音交互的智慧教学学情识别方法,通过多模态语音识别、语音情感分析、语音交互行为分析全面评估学生的学习状态。实验结果表明,该方法在提升学生学习成绩和学习体验方面具有积极作用,对个性化教学具有重要意义。

基于语音识别技术的智能机器人控制系统设计与应用

随着智能机器人技术的不断发展,语音识别技术已经成为智能机器人中一种重要的人机交互方式。文章简要探讨了语音识别技术的基本原理,并分析了现有技术问题,提出了智能机器人控制系统设计。本方案依托深度学习技术,结合语音识别模型和机器人控制模块,实现了对机器人的语音控制。

基于图像识别的精准分析运动方向语音播报系统设计

为精准获取目标运动方向与距离,提高智能化运作水平,文章设计了语音播报系统整体架构,并基于图像识别技术校正视角偏差精准分析运动方向。结果表明,语音播报系统采用智能化、人性化、集成化高清摄像机实时采集目标信息,并利用坐标修正、图像边缘检测、位移自动判读等办法,提升运动方向信息采集精准度,进而精准分析运动方向,助力智能化运作。

基于Mediapipe的幻影成像装置自然手势交互系统设计

针对博物馆中幻影成像虚拟展示装置的交互需求,设计了一种自然手势的计算机视觉交互系统。利用单目相机对自然手势进行动作采集,针对不同身高人群手部活动范围,计算了单目相机最优捕获位置,实现了140~190 cm人群高度的手势识别。采用Mediapipe机器学习框架对捕获的手势图像实时遍历,获得单帧手掌的标定位置。结合21个特征关节点的手掌模型,使用非极大值抑制算法对自遮挡的手掌进行识别,根据欧氏空间距离判别阈值和单个手指曲率对指间动作做出分类,定义幻影成像常用5种交互动作,通过坐标关系建立了指尖和模型特征点之间的实时映射。实验结果表明,所设计的交互系统,系统识别准确率达到98%,满足幻影成像系统中手势控制虚拟模型的要求。

基于图像处理技术的盲人避障系统研究与实现

由于环境信息复杂,现有传感器的应用已经满足不了盲人出行需要,基于此,本文提出了一种基于图像处理技术的导盲方式。利用摄像头获得场景,通过图像处理技术识别盲道、红绿灯、斑马线等必要的交通信息,结合yolo v3算法识别出障碍物类型、大小,并根据单目测距实现障碍物距离探测,同时使用A*算法对障碍物避障路径进行规划,通过语音引导盲人准确避开障碍物。经测试,本系统能够准确识别盲道、红绿灯、斑马线、行人、汽车等,且单目测距满足系统要求,5 m内的相对误差为5.1%,A*算法也可正确规划路径。证明本系统可以满足盲人出行避障需要。

眼科门诊智能陪诊服务系统设计与实现

针对眼科患者就诊时间更长、就医需求更复杂、更易出现焦虑等问题,构建了眼科门诊智能陪诊服务系统。系统交互方式采用单窗口实时语音对话,降低患者操作难度;交互界面采用模拟真人的虚拟形象,亲切友好,能缓解患者负面情绪。该系统的应用优化了门诊秩序,提高了医护工作效率,提升了眼科患者的就诊体验和满意度。

基于AKAZE的融合空间位置信息的视觉词汇树检索算法

针对WebAR在自然环境中易受光照、拍照角度、拍照距离、待识别物大小等因素影响,目标识别的准确度和速度难以得到保障的问题,提出了基于AKAZE的融合空间位置信息的视觉词汇树检索方法。利用AKAZE算法提取图像局部特征,通过分层词汇树将图像局部特征量化为视觉单词,将图像检索转换为视觉单词统计匹配,量化过程融合了局部特征的空间位置信息,细化特征间的匹配重要性。以此为基础实现了一个面向图书馆和艺术馆的WebAR系统,实验结果表明,该方法能够提高自然特征识别的速度和准确率,可以进一步应用在室内外以及更复杂的交互环境中。

基于智能语音+增强现实技术的交互式智能运检系统设计分析

智能变电站作为智能电网的重要组成,在实现信息自动采集、测量、控制、保护、计量和监测等功能的基础上,以标准化、网络化、数字化为目标,使电网具备了全天候自动控制、智能调节、实时在线分析决策等高级功能。为全面推动智能电网的建设,充分实现智能化操作控制,设计一种基于智能语音和增强现实技术的变电站交互式智能运检系统,该系统集成智能语音控制、人机交互、图像识别等关键技术,实现了专家远程会诊、智能化检索、定位等功能,解决了变电站设备故障处理过程中上报信息失准、存续时间长、不能远程实时会诊等问题。

基于树莓派4B与STM32的防疫巡检机器人设计

设计了一款基于树莓派4B与STM32的防疫巡检机器人,选取STM32F103C8T6作为最小系统完成麦克纳姆轮小车的运动控制和循迹巡检功能.通过树莓派4B构建的人脸模型、口罩模型与摄像图像进行实时对比,监测并采集目标区域人群口罩佩戴情况,并通过热像仪传感器检测人体体温是否在正常值范围.采用python进行深度开发,实现语音唤醒及语音交互等功能.巡检机器人采集的数据通过无线传输模块实时发送至中央控制系统,完成巡检区域的口罩佩戴识别、异常体温筛查、安保巡逻等工作.

基于语音交互与图像识别的多功能垃圾分类系统设计

随着社会的进步和人们生活水平的提高,垃圾的产生量也随之增加,意味着资源消耗量不断加大,垃圾分类刻不容缓。但垃圾分类政策实施以来,分类效果不佳,依然存在分类难、效率低等问题。为此,文章提出采用计算机视觉技术、CNN卷积神经网络以及语音交互进行垃圾图像识别以实现垃圾分类。使用树莓派驱动外接摄像头采集垃圾图像,上传图像并解析返回结果,使用STM32单片机作为底层驱动核心板驱动电机,完成对单个目标的分类。

一种基于Raspberry Pi的智能助盲导航系统

以提高盲人的生活便捷性为目的,开发出了一款基于树莓派的智能助盲导航系统。该系统能够将多维视觉信息转化为有效听觉信息,通过对盲人日常生活场景的各种实体进行图像的采集和处理,并最终以语音的形式传输给盲人。

航天综合匹配试验智慧管理平台设计

电气系统综合匹配试验中设备、场地、数据的记录和管理依赖人工开展,易出现漏记、错记、管理混乱等问题,且纸质记录给试验过程追溯、试验数据分析等工作带来极大困难。为满足型号常态化高密度任务需求,进一步推动综合试验“高质量、高效率、高效益”实施,结合未来测试模式发展的必然趋势,从系统架构设计的角度对智慧管理平台进行阐述。整合射频识别(Radio Frequency Identification,RFID)、图像识别、交互式电子技术手册(Interactive Electronic Technical Manual,IETM)等技术手段搭建智慧管理平台,实现对实验室各要素的综合智能管理,使测试过程可追溯,保证试验的可靠性,提高测试效率,减少人工参与环节,释放人力资源。

营业厅刷脸业务终端语音交互识别效果评估

为提升营业厅刷脸业务终端语音交互识别效果,提出一种基于Hash算法的营业厅刷脸业务终端语音交互识别效果评估方法。计算连续丢包的数量,识别业务终端语音交互特征。确定评估对象因素集、评语等级集,构建基于Hash算法的识别效果评估模型。根据各个衡量因素隶属度,获取综合评估结果,并划分评估等级。实验结果可知,该方法在剔除编码造成的语音损伤因子后,评估结果与标准结果存在较大程度相似性,说明使用该评估方法的评估效果较好。

基于人工智能的猪只健康监测方法

鉴于猪只健康监测已成为目前人工智能领域研究的热点之一,对基于人工智能的猪只脸部识别、行为识别与声音识别的相关文献进行了研究,分析了传统机器学习识别方法与深度学习识别方法的区别。通过识别猪只的行为与声音,对猪只健康状况进行了监测。对猪只健康监测的相关研究进行了展望。

AI大数据在审计管理中的应用研究

通过对业务需求和技术现状的分析,文中深入研究了各种审计模型和关键业务流程,并运用大数据平台建立的算法分析模型,从海量文件和票据中快速定位风险。集成了AI基础能力的系统,可以构建以AI技术实现对业务场景的服务支撑能力,实现AI技术在智慧审计领域的应用落地,为审计业务提供智能化支撑,丰富精细化管理手段的同时减少人工成本,实现降本增效,提升审计人员的工作效率。