基于RepNet的自闭症健康监测方法研究

自闭症谱系障碍(ASD)患者在社交互动、语言交流和兴趣等方面表现出正常行为的偏差。随着自闭症患者数量的增加,迫切需要在早期进行自闭症筛查,以尽早提供专业治疗。目前自闭症筛查主要仰赖家长填写调查问卷和医疗专业人员进行人工观察和评估,这种方式效率较低且需要耗费较长的时间。机器算法在自闭症筛查领域的应用尚未得到广泛采纳。为提高筛查效率和准确性,探讨机器视觉算法RepNet在识别自闭症患者重复动作方面的有效性,使用RepNet算法分析包含重复性和非重复性动作的视频,评估Repnet的准确性;通过分析包含自闭症患儿重复动作的视频,评估RepNet在自闭症重复性动作筛查中的准确性和匹配性。结果表明:RepNet在检测自闭症患者的重复行为方面表现出极高的有效性和准确性。

基于U-Net卷积神经网络的目标分子人机交互观测方法

对生命活动中发挥重要作用的分子进行观测是发现生命活动内在机理的重要手段。现有的生物医学影像处理方法大多集中在对特定物质的检测和识别,难以适应不断变化的科研需要。为此,本研究提出了一种基于U-Net卷积神经网络的人机交互方法以识别生物医学影像中所有同类分子,如:细胞、蛋白质等。首先利用U-Net卷积网络将待观察的分子影像转换为深度特征图,然后使用目标分子的特征在整个特征图上进行匹配,以检测出所有感兴趣的同类分子。之后利用通道和空间可靠的判别式相关滤波器构建多目标跟踪器以实现对目标分子的持续追踪。结果表明,该方法可以通过简单的人机交互快速检测出感兴趣的同类分子,获取目标分子的数量、分布以及相互作用等重要信息,Attention-basedU-Net和U-Net在从细胞核、人类蛋白质图谱、细菌和血红细胞数据集中随机抽取的200张静态测试影像上的各项指标表现稳定,平均精度的平均值分别为0.9125和0.8981,同时对小鼠干细胞动态影像中的目标跟踪准确且保持稳定,证明了方法的有效性,可满足生命科学研究中对微观生命过程观测的需要。

基于深度归一化的任意交互物体检测方法研究

交互物体的检测识别是实现人机交互的一项关键技术,针对人机交互过程中交互物体检测范围受限的问题,本文利用深度归一化提高深度图像质量,提出了一种基于图像分割的任意交互物体检测方法。该方法针对操作人员侧向和正向姿态,分别采用基于显著性检测的图像处理和人体姿态引导的区域生长算法分割目标区域,锚定目标物体边框实现物体检测。最后,进行了交互物体检测实验及不同深度区间位置测距和跟随实验。实验结果表明,所提出的物体检测方法能够实现任意交互物体检测,在交互物体检测方面具有广泛适用性;较小深度区间的归一化能够使物体位置误差变小,提高了物体检测距离精度及机器人跟随效果。

基于映射图与界面视觉要素排序的激光全息投影人机动态交互

针对人机动态交互界面任务执行中,界面感知元素检测过程一旦失真,存在耗时较长、操作准确率较低的问题,提出基于映射图与界面视觉要素的激光全息投影人机动态交互方法 。利用自组织特征映射算法生成映射图,通过迭代学习提取目标特征;结合感知元素重要度指标和人机交互界面感知强度,通过自动标注为视觉感知元素排序编号,构建人机动态交互界面优化模式,设计激光全息投影人机动态交互界面。测试结果表明,所提方法应用下,被标记的目标视觉元素特征点经过更新后,布局完整、有序,感知强度指数误差控制在1-5之间,交互任务执行耗时均在12.5s以内,操作准确率平均值为92%,解决了激光全息投影人机动态交互优化问题。

基于双目视觉的人机交互测距方法研究

随着人机交互、无人驾驶等领域的兴起,机器视觉已成为目前重点的研究领域之一.对比研究了红外测距、超声波测距和双目测距三种测距方法,采用计算机视觉技术提出了一种基于双目视觉的人机交互测距方法,并且建立了人脸检测和逻辑回归模型.首先利用双目相机标定工具箱对双目摄像头进行标定;然后将采集到的行人图像导入计算机,对未检测到的图像利用逻辑回归模型给出预测,通过改进的BM算法进行立体匹配获得视差图像;最后通过鼠标点击相应位置进而获得该位置的深度信息,从而实现测距功能.实验结果表明,提出的双目测距方法效率高、结果精确,在1800~3600 mm的测距误差可保证在4%以内,具有良好的测距效果.

动态视觉对城市视线通廊影响机制与模型调控

当前,我国城市空间整体协同性差、景观秩序紊乱等城市失控表征凸显。动态视线通廊模型分析法缺失导致视觉景观控制系统无法满足城市多模态交通环境的需求,甚至陷入建设性破坏的窘境。探究动态视知觉对视线通廊影响机制已迫在眉睫。历经十年研究发现:动态视功能在城市快行交通景观管控体系中具有关键调节作用。运用人机交互技术进行数据采集,获取隧道视觉梯度缩减率参数变量,推演动态条件的椭圆截面视锥3D空间域、景观控制界面2D视域和圈层式景观协控指标,构建数理模型,揭示动态视觉对景观视觉线性空间影响的科学本源,阐明城市形态的协调共生机制,探寻城市区块的和谐发展策略,为我国城市政策制定和实施管控,提供理论依据与技术支持。

Conditional HOTR:基于Transformer的人物交互检测

人物交互检测任务(HOI任务)旨在检测出图片中所有存在交互关系的人和物,最后得到<人,动作,物>这样形式的三元组。一般的方法包括两阶段和一阶段算法,最近一些工作提出的基于transformer的HOI检测方法使整个管道变得更加简单。对于已有的检测模型HOTR,旨在优化其内部transformer结构,使其更好地适应HOI检测任务。对于其中用于交互检测的交互解码器,根据其交互查询嵌入分别生成了人和物的参考点,并以此设计了交互点生成公式,然后利用交互点的信息设计了条件交互查询,将其作为位置嵌入与内容嵌入相加得到query,最后与key点乘进行注意力计算。这有助于transformer显式地定位与交互相关的区域,缩小搜索范围并缓解对内容嵌入的依赖。最终,在基准数据集V-COCO和HICO-DET上,mAP分别提升了2.13百分点和8.33百分点,并且精度在V-COCO数据集上达到了目前最优。

基于人体体型差异的机器人运动系统设计

机器人与人类的交互在人们的日常生活中越来越普遍。该文针对目前机器人在人机交互过程中不能区分交互对象的缺陷,设计了一种基于人体体型差异的机器人运动系统。该系统的设计以YOLO-V5检测算法作为人体检测器,并配合RealSense深度摄头获取机器人与人之间的距离;以SimDR算法获取骨骼的关键点坐标,结合距离信息判断人体身高,并依据身高将人分为三种体型,使机器人根据不同体型的人做出三种不同的运动行为。该系统已在机器人平台上进行实验,实验结果满足机器人运动差异化表达的预期,并且系统具有良好的实时检测性能。

基于计算机视觉的手势检测识别技术

对以计算机视觉为基础的手势检测识别技术展开综述,回顾手势检测识别技术的发展过程,介绍该技术的研究难点和研究动态,在此基础上着重归纳以计算机视觉为基础的手势检测识别技术的主要过程,介绍手势识别的主要方法并分析该技术近年的发展趋势。

一种大屏幕人机交互系统的实现方法

针对利用双目立体视觉技术实现大屏幕人机交互系统时摄像头标定复杂的问题,提出一种大屏幕人机交互系统的实现方法。由两个摄像头负责采集用户手部的图像,获取指尖的二维图像位置坐标,通过透视投影模型,由测量所得的两个摄像头之间的距离、大屏幕左边与摄像头之间的距离、摄像头离地面的高度、大屏幕底边离地面的高度等数据,求出地面上与指尖成像在同一位置的地面坐标,由摄像头的位置及地面坐标求出一条直线,两条直线相交获取指尖空间坐标,由指尖空间坐标选取与屏幕对应的二维平面坐标,经物理坐标到逻辑坐标转换求出手指指向屏幕的实际坐标,实现大屏幕的定位。定位完成后,采用指尖检测方法检测视频图像中指尖是否存在,以此判断食指弯曲和伸开的点击操作。指尖空间坐标的计算方法虽然存在误差,但由于用户在操作过程中能够实时看到鼠标的位置,因此该误差对用户是透明的,而这种方法以简单的、近似的求解避免了复杂的摄像头标定过程,便于系统工程的实施。

基于曲率的指尖检测方法

指尖检测是基于视觉的徒手人机交互系统的关键环节,由于背景的复杂性和系统的实时性要求,导致指尖的精确定位在处理速度和准确性方面存在很大问题。本文针对这一问题,提出了一种简单高效的基于曲率的指尖检测方法。该方法首先将输入视频流基于肤色空间进行二值化,并将二值化后的视频序列作为输入数据;然后采用边缘检测算法提取出肤色区域的边缘(肤色区域的轮廓),在肤色区域的轮廓上根据曲率来对类指尖的点进行检测,并且根据类指尖点的位置关系来判定一个肤色区域是不是手;最后通过过滤算法过滤掉误判手臂点。实验结果表明,该方法在不同的应用背景下都具有很好的检测效果,对光照的鲁棒性也较高,并且能够达到实时检测的效果。

基于实时手势识别与跟踪的人机交互实现

为了实现对手势目标的自动识别和连续跟踪,提出了一种手势识别与跟踪算法。首先,通过离线训练手势目标检测器来实现手势目标的自动识别。接着,通过改进的Shi-Tomisi算法,在目标区域提取可靠稳定的特征点。然后,通过KLT跟踪器对特征点进行跟踪。当特征点跟踪成功时,通过求解仿射变换矩阵确定手势目标的新位置;当目标出现遮挡和大尺度旋转时,特征点丢失,此时在KLT跟踪器中加入卡尔曼滤波器来预测手势目标的位置,实现对手势目标的连续跟踪。同时对手势目标可能存在的区域进行估计,缩小检测器的检测范围,提高检测速度。最后,将算法应用于人机交互系统中,实现了机器人的远程控制。实验结果显示,算法在简单背景下的跟踪正确率为99.54%,复杂背景下的跟踪正确率为98.24%。实验结果表明,算法能够快速准确地对手势目标进行检测和跟踪,满足了实时性、连续性以及抗干扰能力强等要求,对于旋转及遮挡均具有较强的鲁棒性,为实现基于手势控制的人机交互提供了一种有效方法。

四路摄像头分组重建的多触点定位方法

针对多重触控技术中的多触点遮挡难题,该文提出一种基于4路摄像头协同的多触点定位方法。该方法利用矩形交互区4顶点处的4路摄像头同步获取交互区图像,检测目标触点,根据立体视觉中的极线约束和3维重建原理,将4路摄像头分组进行标定和3维重建,得到4条代表触点方向的直线,最后利用双阈值拟合4条直线交点定位出触点位置。实验证明该方法能有效解决多触点遮挡问题,可支持任意多个触点的精确定位,且成本低廉,便于安装和移植。

基于视觉的手指空间位置检测技术

为了摆脱传统交互方式的局限性,指出了用人的指示行为作为人机交互输入方式所带来的直观性和方便性。在指示行为的视觉识别过程中,手指的空间位置检测是极为关键的。为了识别人的指示行为,重点从人手的视觉检测方法、手指和指尖的空间定位两个方面系统地阐述了手指空间位置检测技术,对各种方法的适用性及其优缺点进行了分析与归纳,并说明了基于视觉的手指空间位置检测的一般过程,探讨了指示行为在人机交互中的应用现状及前景。

基于红外视觉的野外搜救无人机的设计与实现

针对当前野外搜救效率低下、搜救效果易受环境因素(如夜间)影响等问题,设计制作了一种采用红外视觉的野外搜救无人机。搜救无人机通过机载的红外热像仪FLIR TAU2对搜救区域进行图像采集;将拍摄的红外图像传输给机载的TK1实现对红外图像中人体目标的实时检测;无人机将检测到的人体目标的地理位置发送给地面站,以便搜救人员能够及时完成救援任务。在红外人体目标检测阶段,采用方向梯度直方图(HOG)对红外目标进行特征描述,并通过线性支持向量机(SVM)分类器对HOG特征分类检测。试验结果验证了所设计的搜救无人机可以在多种真实野外场景下完成野外搜救任务。

视觉交互系统中的目标检测与运动分析

论文以视觉交互系统的一个原型———VIP-3D(VisualInteractionPlatformof3D)系统为例,阐述了该系统设计中所解决的若干关键问题:目标的检测、匹配和投影运动分析,尤其对目标检测过程中需要注意的问题和具体算法、二维到三维坐标的映射、实体运动分析算法的推导等作了详尽的介绍,并从人机交互方面给出了实验性能分析。

基于多特征融合的稳健手势检测方法

基于AdaBoost手势检测器、混合高斯模型肤色Blob检测器的检测结果,结合特定手势识别器和多帧的输出,依据Fisher准则通过置信度信息融合为高可靠性的交互手势检测器,解决了在背景混杂和相似颜色条件下手势检测器的稳健性问题。

基于人机交互和目标检测的端子图像测量系统设计与研究

为了解决当前线束端子截面难以用人眼方式完成品质检查问题,基于软件设计开发和图像测量分析技术,开发出一套端子图像测量分析软件系统。首先,根据人工检查流程做软件需求分析和功能流程设计,形成标准化的工业软件架构和框架模块。然后,结合相机软体控制开发和图像采集分析,实现图像测量任务集,达到对端子图像目标各个维度的测量目的。最后,将图像测量模块整合到软件系统中,并且集成进用户登录管理、加密狗管理、数据库管理和报告管理,达到符合商业化落地标准的工业软件系统。实验测试结果显示,本系统有利于减轻人工肉眼检查的负担,为线束端子品质检查提高了精准度和效率。

对称边界搜索的虹膜中心定位

提出一种对称边界虹膜中心搜索算法,利用像素搜索计算简单、时间消耗少、定位准确的优点,解决眉毛及上眼睑厚重导致定位点上移的问题。使用人脸特征检测实现眼睛区域的粗定位,通过在线肤色纹理及边缘特征确定眼睛的准确角点,在眼睛局部区域使用投影函数检测眼睛的中心点,以中心点为起始点,使用对称边界搜索检测虹膜区域的边界,实现虹膜中心点的定位。测试实验结果表明,使用本文的方法能够快速准确实现虹膜中心点和边界点的定位,准确率在94%以上。

基于视觉注意机制的红外弱小目标检测

为了提升基于人类视觉系统检测方法的检测率、检测速度和场景适应能力,构建了一个多场景红外弱小目标数据集,提出了一种基于视觉注意机制的红外弱小目标检测算法。从自底向上的机制出发,提出多尺度灰度-方差估计,快速计算显著图并估计出最优目标尺寸,使用基于加速分割测试特征的角点检测算法快速提取候选目标,并引入非极大值抑制去除冗余。从自顶向下的机制出发,结合生物侧抑制理论与余弦相似度,提出了软竞争模糊自适应共振网络,并设计一个特征集对目标进行描述。最后,使用网络训练所得模型完成对候选目标的识别。实验结果表明:与5种代表性基于人类视觉系统的方法相比,本文方法具有更高的检测概率和更快的检测速度,且在不同场景的性能更具稳定性。