On Lemon Defect Recognition with Visual Feature Extraction and Transfers Learning

Applying machine learning to lemon defect recognition can improve the efficiency of lemon quality detection. This paper proposes a deep learning-based classification method with visual feature extraction and transfer learning to recognize defect lemons (i.e., green and mold defects). First, the data enhancement and brightness compensation techniques are used for data prepossessing. The visual feature extraction is used to quantify the defects and determine the feature variables as the bandit basis for classification. Then we construct a convolutional neural network with an embedded Visual Geometry Group 16 based (VGG16-based) network using transfer learning. The proposed model is compared with many benchmark models such as K-nearest Neighbor (KNN) and Support Vector Machine (SVM). Results show that the proposed model achieves the highest accuracy (95.44%) in the testing data set. The research provides a new solution for lemon defect recognition.

Discerning Weld Seam Pro les from Strong Arc Background for the Robotic Automated Welding Process via Visual Attention Features

In the robotic welding process with thick steel plates,laser vision sensors are widely used to profile the weld seam to implement automatic seam tracking.The weld seam profile extraction(WSPE)result is a crucial step for identifying the feature points of the extracted profile to guide the welding torch in real time.The visual information processing system may collapse when interference data points in the image survive during the phase of feature point identification,which results in low tracking accuracy and poor welding quality.This paper presents a visual attention featurebased method to extract the weld seam profile(WSP)from the strong arc background using clustering results.First,a binary image is obtained through the preprocessing stage.Second,all data points with a gray value 255 are clustered with the nearest neighborhood clustering algorithm.Third,a strategy is developed to discern one cluster belonging to the WSP from the appointed candidate clusters in each loop,and a scheme is proposed to extract the entire WSP using visual continuity.Compared with the previous methods the proposed method in this paper can extract more useful details of the WSP and has better stability in terms of removing the interference data.Considerable WSPE tests with butt joints and T-joints show the anti-interference ability of the proposed method,which contributes to smoothing the welding process and shows its practical value in robotic automated welding with thick steel plates.

Video Concept Detection Based on Multiple Features and Classifiers Fusion

The rapid growth of multimedia content necessitates powerful technologies to filter, classify, index and retrieve video documents more efficiently. However, the essential bottleneck of image and video analysis is the problem of semantic gap that low level features extracted by computers always fail to coincide with high-level concepts interpreted by humans. In this paper, we present a generic scheme for the detection video semantic concepts based on multiple visual features machine learning. Various global and local low-level visual features are systelrtically investigated, and kernelbased learning method equips the concept detection system to explore the potential of these features. Then we combine the different features and sub-systen on both classifier-level and kernel-level fusion that contribute to a more robust system Our proposed system is tested on the TRECVID dataset. The resulted Mean Average Precision （MAP） score is rmch better than the benchmark perforrmnce, which proves that our concepts detection engine develops a generic model and perforrrs well on both object and scene type concepts.

A weighted block cooperative sparse representation algorithm based on visual saliency dictionary

Unconstrained face images are interfered by many factors such as illumination,posture,expression,occlusion,age,accessories and so on,resulting in the randomness of the noise pollution implied in the original samples.In order to improve the sample quality,a weighted block cooperative sparse representation algorithm is proposed based on visual saliency dictionary.First,the algorithm uses the biological visual attention mechanism to quickly and accurately obtain the face salient target and constructs the visual salient dictionary.Then,a block cooperation framework is presented to perform sparse coding for different local structures of human face,and the weighted regular term is introduced in the sparse representation process to enhance the identification of information hidden in the coding coefficients.Finally,by synthesising the sparse representation results of all visual salient block dictionaries,the global coding residual is obtained and the class label is given.The experimental results on four databases,that is,AR,extended Yale B,LFW and PubFig,indicate that the combination of visual saliency dictionary,block cooperative sparse representation and weighted constraint coding can effectively enhance the accuracy of sparse representation of the samples to be tested and improve the performance of unconstrained face recognition.

Improved Blending Attention Mechanism in Visual Question Answering

Visual question answering(VQA)has attracted more and more attention in computer vision and natural language processing.Scholars are committed to studying how to better integrate image features and text features to achieve better results in VQA tasks.Analysis of all features may cause information redundancy and heavy computational burden.Attention mechanism is a wise way to solve this problem.However,using single attention mechanism may cause incomplete concern of features.This paper improves the attention mechanism method and proposes a hybrid attention mechanism that combines the spatial attention mechanism method and the channel attention mechanism method.In the case that the attention mechanism will cause the loss of the original features,a small portion of image features were added as compensation.For the attention mechanism of text features,a selfattention mechanism was introduced,and the internal structural features of sentences were strengthened to improve the overall model.The results show that attention mechanism and feature compensation add 6.1%accuracy to multimodal low-rank bilinear pooling network.

基于单激光束信息的掘锚装备视觉定位方法研究

煤矿井下掘锚装备智能化是改善行业采掘失衡问题的关键,而掘锚装备的精确定位是实现其智能化的前提。与其他传统定位方法相比,基于视觉的位姿测量方法以其无接触、无累计误差的优势在煤矿井下得到了初步的应用。针对目前煤矿井下掘进工作面掘锚装备视觉定位方法存在的合作标靶结构复杂、标定繁琐的问题,结合掘进工作面原有激光指向仪特征,提出一种基于单激光束信息的掘锚装备视觉定位方法。该方法通过分析激光指向仪光斑及光束图像特征,提出了一种基于二维反正切函数拟合的激光光斑中心提取方法和基于Hough直线检测的激光束中心线提取方法,构建了基于点线特征的双目视觉位姿解算模型,得出了掘锚装备在巷道中的实时位姿。最后,为了验证提出的特征提取方法和视觉定位方法的可行性和准确性,在实验室模拟掘进工作面工况环境搭建平台进行了试验。结果表明:基于矿用激光指向仪信息的掘锚装备视觉定位方法具有较高的位姿测量精度。在50 m的测试范围内,机身位置在巷道坐标系下沿X轴、Y轴和Z轴的平均测量误差分别为25.44、58.64、31.08 mm,其最大误差分别为55.16、127.39、63.57 mm;机身姿态在巷道坐标系下的俯仰角、偏航角和横滚角的平均测量误差分别为0.22°、0.22°、0.41°,其最大误差分别为0.29°、0.37°、0.58°。满足煤矿井下巷道施工的定位精度要求。

基于点线特征融合的实时视惯SLAM算法

为了在光照不足和低纹理场景中实现移动机器人的高精度实时定位和建图,提出了一种基于视觉点线特征以及IMU特征融合的实时SLAM算法。首先通过跳跃路由策略和自适应阈值策略改进了EDlines算法,提高了线特征提取的质量,从而提高了特征跟踪的有效性。然后将视觉惯性特征紧耦合建立约束,通过滑动窗口和边缘化模型进行非线性优化,实现了高精度高实时性的状态估计。实验证明,所提算法在线特征提取的有效性方面优于传统的线段提取算法,同时SLAM系统的定位精度和鲁棒性均得到有效提升。

利用可交谈多头共注意力机制的视觉问答

视觉问答可以对图像信息和自然语言问题这两种不同模态的信息进行分析处理并预测答案,是一项跨模态学习任务.当前注意力机制因为其良好的关键信息提取效果被广泛地用以捕捉视觉图像、文本和两种模态间的关系.但是,传统的注意力机制容易忽略图像和文本的自相关信息,而且不能较好的利用图像和文本的信息差异性.因此,在本文中,我们提出了可交谈的多头共注意力网络框架来处理注意力机制的上述问题.首先,本文提出了可交谈多头注意力机制来捕捉不同注意力头之间隐藏的关系,得到增强的注意力信息.本文设计了前后不同的交谈策略去处理归一化前后注意力头之间的信息,在引入先验信息的同时减少了过拟合的风险.本文提出了交谈自注意力单元和交谈引导注意力单元,并使用编码器-解码器方式有效地组合它们来丰富视觉和文本表征.该框架针对自注意力层增加了位置编码,弥补了交谈自注意力无法捕获位置的问题,此框架使用不同的注意力策略去分别得到图像和文本向量,并使用新的多模态融合模块来更好的融合图像和文本信息,降低了对单个信息的依赖性.该模型在VQA-v2数据集上和多个知名算法进行比较,数值仿真实验表明提出的算法具有明显的优越性.

基于多分支和重参数化的孪生网络跟踪算法

针对孪生网络对尺度变化目标特征表达能力不足的问题,本文使用不同尺寸的卷积、池化分支和剪枝操作构成多分支结构,以提高特征的鲁棒性并保证孪生网络的平移不变性。针对多分支结构带来参数量过多的问题,本文在跟踪阶段将多分支结构重参数化为单一的卷积,有效减少跟踪阶段时间成本。实验结果表明:本文提出的算法相比于SiamFC,在OTB100数据集上,其精度、成功率和跟踪速度分别提高了5.1%、3%、30FPS,在UAV123和Temple-Color-128数据集上跟踪精度和成功率均有所提高。

一种基于目标检测的动态环境下视觉定位系统

传统的基于同时定位与建图模型的视觉定位方法需要满足目标点静止假设,但大多数小型机器人的实际应用场景为动态,这限制了现有视觉定位算法在小型机器人上的使用。为此,文中使用YOLOv5卷积神经网络对环境中的动态目标进行检测,然后剔除分布在图中的移动特征点,进而改进位姿估计准确性的动态消除方法,并将此方法集成于ORBSLAM2视觉定位系统。改进方案在TUM公共动态数据集上的测试结果表明,基于YOLOv5的检测方法能够快速、准确地识别场景中的动态目标,并显著降低动态环境下位姿估计的绝对误差和相对漂移,是一种有效的动态场景视觉定位方案。

基于跨模态引导和对齐的多模态预训练方法

现有的视觉语言多模态预训练方法仅在图像和文本的全局语义上进行特征对齐,对模态间细粒度特征交互的探索不足.针对这一问题,本文提出了一种基于跨模态引导和对齐的多模态预训练方法.该方法在模态特征提取阶段,采用基于视觉序列压缩的双流特征提取网络,在视觉编码器中联合图像和文本信息逐层引导视觉序列压缩,缓解与文本无关的冗余视觉信息对模态间细粒度交互的干扰;在模态特征对齐阶段,对图像和文本特征进行细粒度关系推理,实现视觉标记与文本标记的局部特征对齐,增强对模态间细粒度对齐关系的理解.实验结果表明,本文方法能够更好地对齐视觉文本的细粒度特征,在图文检索任务中,微调后的图像检索和文本检索的平均召回率分别达到了86.4%和94.88%,且零样本图文检索的整体指标相较于经典图文检索算法CLIP(Contrastive Language-Image Pre-training)提升了5.36%,在视觉问答等分类任务中,准确率也优于目前主流多模态预训练方法.

一种基于改进ORB特征匹配的无人机视觉导航方法

为了解决在全球导航卫星系统(Global Navigation Satellite System)拒止情况下无人机导航能力缺失等问题,提出了一种基于改进快速提取旋转描述子(Oriented FAST and Rotated Brief,ORB)图像特征匹配的无人机视觉导航方法。首先,为了实现无人机的绝对定位,提出了一种特征图像基准数据库构建方法;其次,为提取图像数据集的特征点,采用了一种结合尺度不变特征变换(Scale Invariant Feature Transform,SIFT)的尺度空间优化ORB特征提取算法;最后,为了将图像特征与图像基准数据库快速匹配并提高其匹配精度,提出了一种改进ORB特征匹配算法——ORB+GMS+PROSAC算法。通过在ArcGIS中分割图像构建基准数据库并进行实验分析,结果表明,基于ORB+GMS+PROSAC特征匹配算法性能显著提升,其中匹配准确率上升5.05%,匹配时间减少41.61%,明显优于其他传统特征匹配算法。

非线性时空正则化的相关滤波目标跟踪算法

针对目标跟踪过程中跟踪模型容易漂移,以及对于多样性形态变化的目标不能进行鲁棒跟踪的问题,结合生物视觉感知规律提出了非线性时空正则化的相关滤波目标跟踪算法。在目标函数中提出贴近人类视觉感知幂定律的非线性滤波更新的时间正则项,相比于时空正则相关滤波器(spatial-temporal regularized correlation filters,STRCF)中固定的时间正则项,非线性滤波更新的时间正则项可以根据跟踪的时间变化进行自适应更新,同时采用交替乘子法降低算法复杂度。提取非线性的梯度方向直方图(histogram of oriented gradient,HOG)特征,使用符合生物映射的对数极坐标进行尺度适应。根据最大响应值与平均峰值相关能量的关系进行遮挡异常检测,降低模型漂移的机率,增强算法的抗遮挡能力。实验结果表明,该算法在OTB2015数据集上的精确率和成功率分别达到89.8%和83.3%,该算法相比于STRCF在精确率上提升了2.5%,在成功率上提升了3.2%,在OTB2013与OTB2015数据集上的11种属性的分类对比中,该算法在旋转、低分辨率、背景杂乱、光照变化等因素干扰下的目标跟踪中具有较高的精确率和较强的鲁棒性。

基于改进CNN-SVM的井下钻头磨损状态评估研究

现有钻头磨损评估方法中,存在人工特征提取过程可能无法完全提取正确分类所需的信号动态特征,及需要对各个统计量进行大量计算等问题。为此,提出了一种新的基于改进卷积神经网络支持向量机(CNN-SVM)的钻头磨损程度评估算法。该算法将采集的近钻头原始振动数据导入CNN-Softmax模型,通过训练好的CNN模型从近钻头数据中提取主要的特征参数,将提取的稀疏特征向量输入SVM并进行故障分类,利用遗传算法实现SVM参数的优化选择,最后应用t分布随机邻域法近邻嵌入,使其故障特征学习过程可视化,以评估其特征提取能力。采用该算法对钻头磨损的现场试验数据进行了分析。分析结果表明:基于改进CNN-SVM的井下钻头磨损状态评估算法准确率高达98.33%。所得结论可为实现钻头磨损状态的进一步监测提供理论支撑。

并行特征提取和渐进特征融合的计算机主板装配缺陷检测

针对计算机主板装配缺陷检测中的元器件位置分布复杂、缺陷目标不显著及多尺度等问题,本文提出了一种并行特征提取和互交叉渐进特征融合的端到端的缺陷检测算法。首先,结合部分卷积和视觉Transformer提出了一种并行残差特征提取网络,利用部分卷积的低计算复杂度的优势提取局部特征,同时利用视觉Transformer的长距离建模能力扩大模型的感受野,增强网络的特征提取能力。其次,引入注意力机制和特征渐进融合机制,提出了一种多尺度注意力互交叉的渐进特征融合网络,增强检测模型的特征融合能力。在公开数据集上的实验结果表明,该算法的平均精度均值(mAP)达到了94.63%,相较于基线模型YOLOv5提升了4.62%,并优于其他几种先进模型,检测速度达到了25 FPS。实现了较好的检测精度与速度的平衡,为实际工业环境下计算机主板表面装配缺陷检测自动化和智能化的实现提供了一种快速、有效的方法。

舰船多方位视觉图像特征深度提取系统设计

基于视觉图像处理的特征提取和图像识别方案是对雷达和AIS的有效补充,有效识别其他船舶、礁石等可以有效保障舰船航行安全。本文提出一种基于CNN和拉普拉斯金字塔图像融合的视觉图像特征深度提取系统,设计了系统的基本结构,并分析了系统中各模块的基本功能,提出了基于CNN的特征深度提取方案,对船舶和浮标目标特征进行提取,使用拉普拉斯金字塔融合将不同舰船上获取的图像进行深度融合。本文建立的多方位视觉图像特征深度提取系统可以有效获取多种目标特征,并可以有效提高特征表示的丰富性和准确性。

基于点线特征融合的视觉惯性里程计方法研究

相机和惯性测量单元组成的基于图像点特征的视觉惯性里程计(Visual Inertial Odometry,VIO),广泛应用于移动机器人定位领域,但会面临点特征退化的问题,使其定位精度受到很大影响。因此,本文提出一种基于点线特征融合的VIO方法,并在EuRoC数据集上进行实验。结果表明:该方法不仅定位精度最优,而且线特征提取的时间较低。

一种基于多模态特征提取的医学视觉问答方法

随着深度学习在医疗领域的快速发展,医学视觉问答(Med-VQA)吸引了研究人员的广泛关注.现有的Med-VQA方法大都使用权重参数共享的同一特征提取网络对多模态医学影像进行特征提取,在一定程度上忽略了不同模态医学影像的差异性特征,导致对特定模态特征提取时引入其它模态的噪声特征,使得模型难以关注到不同模态医学影像中的关键特征.针对上述问题,本文提出一种基于多模态特征提取的医学视觉问答方法.首先,对医学影像进行模态识别,根据模态标签指导输入参数不共享的特征提取网络以获得不同模态影像的差异性特征;然后,设计了一种面向Med-VQA的卷积降噪模块以降低医学影像不同模态特征的噪声信息;最后,采用空间与通道注意力模块进一步增强不同模态差异性特征的关注度.在Med-VQA公共数据集Slake上得到的实验结果表明,本文提出方法能有效提高Med-VQA的准确率.

基于模式识别的加氢裂化装置可视化模型

为了实时监控加氢裂化过程装置的运行状态,实现生产过程的优化,提出了一种基于模式识别的加氢裂化装置可视化模型。首先,使用聚类方法对加氢裂化装置的历史数据进行生产过程工况划分,并针对不同工况,基于主成分分析算法分别构建可视化模型,获得评估生产过程的有效工具;然后,根据2个重要指标划分模型区域,便于对新样本进行指标评估;最后,使用路径规划算法寻找到达最优生产模式的迁移路径。仿真结果表明,所提模型能有效根据工况与性能指标划分区域,并针对低效的生产状态得到生产过程变量的调节方法,保持生产过程产品的高收率。

基于复杂网络对舌、面诊图像特征提取及分割分类文献的可视化研究

目的对舌、面诊图像特征提取及分割分类研究的相关文章进行总结分析,探究该领域的研究热点及发展前沿趋势,为今后的舌、面诊图像处理相关研究提供思路。方法以中国知网为数据来源,根据排纳标准和检索策略,最终纳入文献439篇,最后采用Gephi绘图软件对相关文献的作者、研究机构以及关键词进行共词网络可视化分析。结果结合年发文量可知整体发文量较少,但总体趋势呈平稳上升;研究团队主要以李福凤、张新峰、许家佗、王忆勤和王泓午等的团队为代表;研究机构多为地区性医工交叉的合作形式。结论研究热点趋势向深度学习的图像处理方向发展,同时跨地区跨机构之间的团队合作有待加强,进一步推动多学科交叉融合及中医望诊(舌、面诊)智能客观定量化发展。