Partition-Time Masking:一种唇语识别数据增强方法

提出了一种唇语识别数据增强方法Partition-Time Masking。该方法直接作用于输入数据,通过将输入划分为多个子序列再分别进行Mask操作最后再将各子序列按序拼接,使得模型能对部分帧缺失的输入具有更强的鲁棒性,从而增强泛化能力。实验前根据划分的子序列数目与掩码值来源不同而设计了5种增强策略,并与唇语识别研究中最重要的数据增强方法Time Masking进行了对比实验。实验在LRW数据集和LRW1000数据集上进行,实验结果表明Partition-Time Masking方法对模型性能提升的效果要优于Time Masking方法,其中子序列数目为3、掩码值选择各子序列平均帧时为最优策略,该策略使得目前最佳的唇语识别模型DC-TCN的性能从89.6%提高到90.0%。

基于纹影成像技术的可视化口罩密合性检测装置的设计与应用

口罩佩戴不当造成的泄漏会显著降低口罩的有效性。现有的口罩密合性测试结果仅判断佩戴口罩过程中是否存在气体泄漏,但无法精确指出气流泄露部位,也不能实时调整口罩佩戴方式。为此,利用纹影成像技术设计口罩密合性检测装置。该技术利用气流对光波的扰动,将肉眼看不到的气流变化转化为可见的图像,从而实现气流的可视化。利用口罩密合性检测装置可观测不同口罩、不同佩戴个体下的口罩气流泄露情况,同时测量泄露气流的纹影面积。使用该装置测试头模或真人佩戴口罩时的密合性,结果显示:头模佩戴医用外科口罩时泄露气流的纹影最明显;不同个体佩戴同类口罩时泄露气流也存在纹影差异。采用医用外科口罩对装置有效性进行验证,数据显示正确佩戴口罩时口罩边缘气流泄漏率为36.83%。

帝视观察用内窥镜辅助喉罩置入的临床效果

目的探讨帝视观察用内窥镜引导喉罩置入的效果,为临床麻醉气道管理提供依据。方法选择2022年3月至2024年3月在揭阳市人民医院行喉罩置入全身麻醉患者60例,采用随机数字表将纳入研究患者分为观察组和对照组,每组30例。观察组使用帝视观察用内窥镜辅助喉罩置入,对照组使用传统徒手喉罩置入法。记录两组患者喉罩置入成功总时间(喉罩进入口腔到判定喉罩置入成功)、喉罩首次置入成功率、气道峰压、口咽漏气压以及喉罩置入损伤并发症发生情况,包括麻醉恢复室拔除喉罩后喉罩表面有无血迹、术后24 h内咽痛发生率。结果与对照组比较,观察组喉罩置入成功总时间明显缩短(P<0.001),喉罩首次置入成功率明显升高(P<0.05),两组喉罩型号比较差异无统计学意义(P>0.05);与对照组比较,观察组气道峰压明显降低(P<0.001),口咽漏气压明显升高(P<0.001);两组喉罩表面有血迹、术后24 h内咽痛发生率比较差异无统计学意义(P>0.05)。结论帝视观察用内窥镜引导喉罩置入,可以提高喉罩首次置入成功率,缩短喉罩置入成功总时间,降低气道峰压,升高口咽漏气压,有较高安全性,值得推广。

基于视觉惯性的动态环境下SLAM方法

针对传统视觉惯性SLAM在动态环境下则会出现鲁棒性差的问题,提出一种可用于室内的动态环境的视觉惯性SLAM方法.结合室内动态物体的特点,提出了一种基于先验假设的语义信息方法,利用Mask R-CNN现实潜在动态对象识别.为解决语义分割网络短时间内分割图片有限的问题,融合光流估计对未分割图像进行分割预测.最后,通过动态特征点过滤算法实现动态特征点与静态特征点的分离.在基于OpenLORIS数据集进行实验表明,该方法在高动态环境下能够有效提高SLAM系统的定位精度及鲁棒性.

SaCo可视喉罩在全身麻醉宫腔镜手术中的应用效果

目的探讨SaCo可视喉罩在全身麻醉宫腔镜手术中的应用效果。方法选取汕头市中心医院2022年1月至2023年6月择期行全身麻醉宫腔镜手术患者80例为研究对象,依照随机数表法分为气管插管组与SaCo可视喉罩组,每组各40例。比较两组患者麻醉诱导前(T_(0))、麻醉诱导即刻(T_(1))、气管/喉罩置入30 s(T_(2))、气管/喉罩置入成功5 min(T_(3))心率(HR)、平均动脉压(MAP);比较人工气道建立时间、苯磺酸顺罗库溴铵用量、麻醉复苏室(PACU)停留时间、PACU停留第12 min的改良Aldrete评分及并发症。结果SaCo可视喉罩组患者T_(2)~T_(3)的MAP、HR均低于气管插管组,差异有统计学意义(P<0.05)。SaCo可视喉罩组患者T_(2)~T_(3)的MAP、HR与T_(0)比较,差异无统计学意义(P>0.05),而气管插管组患者T_(2)~T_(3)的MAP、HR均高于T_(0),差异有统计学意义(P<0.05)。SaCo可视喉罩组患者人工气道建立时间短于气管插管组;PACU停留时间短于气管插管组;苯磺酸顺罗库溴铵用量低于气管插管组;PACU停留第12 min的改良Aldrete评分高于气管插管组,差异均有统计学意义(P<0.05)。SaCo可视喉罩组发生并发症例数低于气管插管组,差异有统计学意义(P<0.05)。结论与气管插管相比,SaCo可视喉罩在全身麻醉宫腔镜手术应用,具有人工气道建立时间短、血流动力学平稳、PACU停留时间短、肌松药物使用量低、苏醒质量高、并发症低优势。

基于状态-动作联合掩码的自监督学习算法

视觉强化学习以原始图像作为输入,面临着观测空间维度高、冗余信息多、采样效率低等挑战。现有研究大多通过构建一个自监督辅助任务来获取高维观测中的有效表征,然而这类方法仅关注状态特征,却忽略了动作空间中丰富的语义信息。针对这一问题,提出一种基于状态-动作联合掩码的自监督学习算法,通过对状态和动作进行联合掩码重构,从而学习到真正与任务相关的表征信息,提高采样效率。此外,为提高模型的鲁棒性,引入测试时自适应方法,在环境变化时冻结强化学习策略网络,仅对状态-动作联合掩码模块进行少量更新,利用自监督信号帮助智能体快速适应新环境。实验结果表明,该方法相比现有算法,在DMControl环境上的平均回报奖励提升了4.5%,在DMControl-GB环境上的平均回报奖励提升了20.2%,有效提升了模型的性能。

毛南族傩面具信息视觉化设计研究

傩面具历史悠久,文化内涵丰富,是毛南族传统文化的重要组成部分。然而,由于受限于传播渠道和语言交流问题,许多人对傩面具存在误解或了解不足。本研究运用视觉化设计方法,深入挖掘毛南族傩面具的历史、形态和纹样寓意,通过设计呈现和传达这一独特文化的价值和精髓。本文用信息视觉化设计展现傩面具的种类、制作工艺、制作流程、冠帽纹样及面部特征等信息,提取其元素应用于包装设计实践中,以期帮助更多的人了解和认识毛南族的文化传统,推动毛南族傩面具的传承与发展。

基于光视觉信息自适应聚合的船舶自主避碰决策

船舶航行环境复杂多变,多模态视觉相机采集的多源视觉信息融合过程繁杂,特征提取不够精细,为此研究光视觉信息自适应聚合的船舶自主避碰决策方法。利用Kinect相机采集多源图像,通过自适应聚合增强环境感知。结合MaskRCNN与ResNet-101,精确提取图像信息中的目标特征,经RPN生成候选区域。特征向量进入FCN与分类回归分支,识别目标并定位,转换坐标后获取运动态势。依据碰撞风险计算和船舶操纵经验,智能输出避碰指令。实验结果表明,该方法在复杂航行环境下展现出良好的避碰决策性能,光视觉信息聚合后,交并比、F1 score分别为92.7%、94.2%。

结合IMask R-CNN的绳驱机械臂视觉抓取方法研究

绳驱超冗余机械臂具有灵活性强、工作空间大等特点,在航天活动中可替代宇航员进行各种航空作业。以空间飞行器在轨维修为研究背景,模拟其实验环境,设计了一套基于RGB-D的可移动绳驱超冗余机械臂定位抓取系统。首先改进了Mask R-CNN算法,在保证检测精度的同时降低模型尺寸,通过Intel RealSense D435i采集图像输入到目标检测模型得到目标的类别和位置信息,进一步利用自适应末端位置更新算法递推机械臂的正逆运动学模型,并结合轨迹规划完成目标的三维空间定位和抓取。实验结果表明,改进后的Mask R-CNN算法能在保证精度的情况下有效地降低模型尺寸,抓取系统的逆运动学求解速度快,具有较好的定位精度,能够有效地完成飞行器抓取的任务。

文化基因图谱建构的南丰傩面具图式再设计研究

目的以文化基因理论为基础,解读南丰傩面具所蕴含的文化基因中符合文化识别的因子,根据受众对因子的感知重要度,提出以符号为单位识别的文化基因表达方式。方法为量化评价傩面具的文化,通过提取南丰傩面具文化基因,运用AHP将定性和定量研究法相结合,构建文化基因谱系图——评价模型树。结果根据南丰傩面具文化基因图谱得出符号权重,通过拟态环境理论进行客观环境、信息选择、媒介加工、拟态环境四个层次分析具备品牌识别的符号,得出实质性的文化基因表达方式。结论从文化基因角度出发,以定性与定量研究相结合,有利于促进信息环境的形成,为南丰傩文化的传播增强文化认同感。

佩戴口罩使用视频终端对眼表的短期影响

目的研究佩戴口罩使用视频终端(VDT)对干眼相关指标的短期影响。方法前瞻性病例对照研究。选取苏北人民医院眼科研究生志愿者15例(30只眼),于2021年4—5月在苏北人民医院眼科门诊受检。受检者在佩戴医用外科口罩状态下观看电脑视频1 h,再于第2 d(24 h后)在无口罩状态下观看电脑视频1 h。所有受检者在观看视频前后分别进行快速干眼评估问卷调查(SPEED)、干眼综合分析仪、眼前节相干光层析成像术(AS⁃OCT)、Pentacam眼前节分析仪及裂隙灯显微镜检查,分析佩戴口罩和无口罩观看电脑视频前后各眼表相关指标的变化情况及两者之间的差异。结果佩戴口罩和无口罩观看视频后SPEED问卷评分、表面变异指数(ISV)及结膜充血评分均较观看视频前增加(均P<0.05),泪河高度(TMH)、下泪新月高度(LTMH)、下泪新月深度(LTMD)及下泪新月面积(LTMA)均较观看视频前降低(均P<0.05);佩戴口罩观看视频后非侵入首次泪膜破裂时间(NIBUTf)较观看视频前缩短、睫状充血较观看视频前增加(均P<0.001);佩戴口罩观看视频后睫状充血比无口罩观看视频后严重(P=0.002)。结论佩戴口罩使用VDT会引起眼部不适、降低泪膜稳定性及减少泪液分泌量;佩戴口罩较无佩戴口罩状态使用VDT后短时间会使干眼炎症指标加重。

基于K210的视觉识别技术研究

文章首先深入分析了K210的视觉识别模块、超声波模块、人脸识别模块以及人脸口罩识别模块的功能和应用;随后提出了一种创新方案,即利用视觉识别模块进行车牌检测,并结合超声波模块测距技术来识别车型,从而实现对车辆的高效管理;接着探讨了如何利用人脸识别技术开发一套考勤系统,旨在解决课堂上因点名而浪费时间的问题,提升教学效率;最后展望了K210视觉识别技术在公共卫生领域的应用前景,为突发公共卫生事件时解决商场、医院等公共场所人们不佩戴口罩的问题提供了新的解决方案。

Visual Minteq软件模拟研究硫酸铝鞣液中铝形态

运用Visual Minteq软件模拟研究了硫酸铝鞣液中铝的离子形态随p H变化,并考察了常用有机蒙囿剂甲酸盐、草酸盐、柠檬酸盐对鞣液中铝存在形态的影响。结果表明,在鞣制p H范围内,硫酸铝鞣液中30%左右的铝以带负电荷的络离子形态存在,多核铝络离子的比例较低(10%)。体系添加有机蒙囿剂可增加单核铝络离子的形态种类,改变体系铝形态的电荷分布,增加沉淀p H,并在p H升高时促进多核铝络离子的形成,其中甲酸效果最显著。

基于改进Mask RCNN和SVR的无接触梭子蟹体质量预测研究

提出了一个改进Mask RCNN目标检测算法用以对养殖梭子蟹进行视觉特征测量.通过在养殖区域采集梭子蟹图像,用上位机识别梭子蟹旋转角度以及甲长和甲宽方向,对输出的Mask进行模板修补,提高模板内区域的置信度.通过图像-实景对应关系换算梭子蟹的真实尺寸,并估算其投影面积、甲宽与甲长,结果准确率高于85%.同时,对视觉算法得到的梭子蟹尺寸特征与其体质量进行拟合,引入k-means聚类,实现双模型支持向量回归机(SVR)预测结构.通过差分进化算法对SVR适应度函数进行寻优,设计了随迭代次数、寻优效果同步变化的缩放因子,以及适者更易生存策略的交叉概率因子,以验证改进算法的寻优能力.测试时,对新传入的数据首先进行归一化处理,然后判断所归属的聚类中心,再传至相应的SVR模型进行预测.测试结果相对误差小于18%.

可视喉罩与可视喉镜用于困难气管插管的比较

目的比较可视喉罩和可视喉镜用于困难气管插管患者的效果。方法选择气管插管全麻手术患者90例,男27例,女63例,年龄18~64岁,BMI<30 kg/m^(2),ASAⅠ或Ⅱ级,根据术前简化气道风险指数(SARI)筛选困难气管插管患者(SARI评分≥3分)。采用随机数字表法将患者分为两组:可视喉罩组(S组)和可视喉镜组(C组),每组45例。S组使用可视喉罩引导气管插管,C组使用可视喉镜完成气管插管。记录声门暴露分级、声门暴露时间、气管插管时间、总插管时间、插管成功例数,插管前、插管即刻、插管后3 min和拔管前、拔管即刻、拔管后3 min的HR和MAP、术后插管并发症(声音嘶哑、咽喉痛)的发生情况。结果与C组比较,S组声门暴露时间[S组(18.2±7.6)s vs C组(14.1±2.8)s]明显延长(P<0.05),S组插管即刻和拔管即刻HR明显减慢,MAP明显降低(P<0.05)。两组声门暴露分级、气管插管时间、总插管时间、插管成功率和术后插管并发症发生率差异无统计学意义。结论在困难气管插管的患者中,使用可视喉罩与可视喉镜均能快速有效地完成气管插管,与可视喉镜比较,使用可视喉罩声门暴露时间延长,插管与拔管即刻血流动力学波动幅度较小。

不同视觉掩蔽范式下网球运动员知觉预判差异研究

目的:综合使用时间、空间和时空结合三种视觉掩蔽范式,探究影响不同水平网球运动员接发球知觉预判的关键运动信息及其特点规律。方法:按照性别、运动水平匹配实验参与者,设置专家和新手组。依据持球状态(有/无球)、掩蔽部位(手臂、手腕球拍)和时段(准备动作至击球前80ms、击球前80ms至击球后80ms、击球后80ms至挥拍结束)分别制作时间、空间和时空掩蔽实验材料共22段。使用E-Prime软件按掩蔽类型编制视频,每类随机呈现3次共计66试次,并记录反应时和正确作答率进行分析。结果:(1)掩蔽手腕球拍对接发球知觉预判影响最为显著;(2)手腕球拍信息在第二、三时段预判时较为重要,专家在主信息检索上少于新手,次要信息检索上多于新手;时间掩蔽对运动员认知路径和预判信息产生影响;(3)不同时间、空间、时空结合掩蔽范式下,专家、新手接发球知觉预判存在机制差异。结论:专家组知觉预判认知路径稳定、清晰;新手存在预判滞后性。

动态环境下基于Mask R-CNN的ORB-SLAM研究

随着智能时代的到来,视觉机器人在自然场景中会遇到行人位姿变化、障碍物遮挡等复杂环境,使特征点误匹配。文章先对Mask R-CNN算法应用于动态环境下的SLAM中进行研究。通过深度神经网络优化SLAM视觉前端,使得神经网络能够对动态物体进行检测并能在很大程度上识别动态特征点,减少了特征点的误匹配,提高了相机位姿估计的准确性。最后与ORB-SLAM2进行仿真对比,结果表明,该文算法和ORB-SLAM2算法相比精度提高了96%以上,能够明显的提高SLAM算法匹配的正确率。

可视喉罩的临床应用进展

喉罩是气道管理的重要工具,既可以作为声门上通气工具维持通气也可以在处理困难气道时联合可视软镜引导气管插管,并且随着双管喉罩的出现,扩展应用到院前急救,紧急气道处理等许多领域,然而其置入过程依旧盲探,存在移位、声门对位不佳、损伤等诸多风险。可视喉罩在原有喉罩通气基础上增加了可视功能,可观察到喉罩置入,喉罩留置及引导气管插管过程,并且减少了可视软镜等设备的需求,便于术中气道管理,本文从可视喉罩的分类及结构特点,临床应用情况对常用的可视喉罩进行阐述,为临床应用提供参考。

基于熵掩蔽的DCT域恰可察觉失真模型

为提高离散余弦变换(discrete cosine transform,DCT)域恰可察觉失真(just noticeable distortion,JND)模型阈值精度并避免跨域操作,将熵掩蔽效应引入DCT域JND模型。首先,从自由能理论和贝叶斯推理出发,设计基于DCT域纹理能量相似性的自回归模型模拟视觉感知过程中的自发预测行为;其次,探索视觉感知与预测残差的映射关系得到块级无序度,并将熵掩蔽效应建模为关于无序度的JND阈值调节因子;最后,结合空间对比敏感度函数、亮度自适应掩蔽以及对比度掩蔽,提出基于熵掩蔽的DCT域JND模型。与现有DCT域JND模型相比,所提模型所有运算均在DCT域执行,更高效简洁。主观、客观实验结果表明,所提模型在感知质量相同或更好的情况下,噪声污染图的平均峰值信噪比(peak signal-to-noise ratio,PSNR)值比其他4个JND对比模型低2.04 dB,更符合人眼视觉系统的感知特性。

基于视频和文本的机器人技能指令生成方法研究

由于视觉单模态转译技能方法容易出现错误,针对该问题,设计一种结合视觉和文本的多模态视频转译技能方法。该方法包含两个模块,第一个模块通过使用I3D网络、Mask R-CNN模型和XGBoost分类器识别视频中的动作和物体,并组合生成视觉机器人指令。第二个模块使用BERT-GRU模型从文本语料库中进行机器指令的学习,再将模块一的机器人指令输入到BERT-GRU模型上进行测试,最终生成修正过的机器人指令给机器人执行。通过在MPII Cooking 2数据集上进行实验,证明了框架性能相比于只有视频单模态情况具有较大的提升。