基于多实例学习及阈值伪标签提取的CT影像颅内出血分割

颅内出血由颅内血管破裂引起,出血体积对治疗决策和预后分析具有重要的临床意义,而基于CT影像的血肿分割是体积测量的基础。全监督方法依赖于人工勾画的标签,十分耗时和繁琐,现有弱监督分割方法的鲁棒性差,容易受伪影干扰。为此,本研究提出了基于多实例学习的弱监督颅内出血分割网络MIL-ICH,由双分支结构组成。首先,由多实例学习解码器生成热图定位出血区域;然后,在热图基础上使用CT值阈值和像素自适应优化模块提取并优化伪标签,训练分割解码器;最后,两个分支同时训练,提高训练效率并且利用多分支协同作用进一步提升分割性能。在来自RSNA颅内出血数据集的200例CT扫描上的测试结果表明,MIL-ICH网络的Dice相似性系数和体积相似度分别达到了0.822和0.896,本网络测量的出血量与实际出血量的相关性优于临床常用的多田公式估测法。所提出的方法能够提高颅内出血弱监督分割性能,有助于为临床提供出血体积测量和预后评价的依据。

基于在线多实例学习的跟踪研究

介绍一种基于在线多实例学习的目标跟踪方法,在线多实例学习在目标跟踪中的应用是采用基于多实例学习的自适应表观模型,解决了训练样本中存在的模糊歧义问题,探讨了处理训练正包中正样本和负样本的问题,指出了今后多实例学习目标跟踪的研究方向.

基于HOG及在线多实例学习的目标跟踪算法

传统的基于色彩直方图或空间色彩直方图的跟踪算法在跟踪目标出现尺度变化的复杂条件下,因无法显著区分颜色相近的目标和背景,不能得到准确跟踪结果。提出基于HOG及在线多实例学习的目标跟踪算法。此算法采用HOG特征值提取方式,结合在线多实例学习技术,对目标远离场景、平移、旋转、遮挡等情况进行跟踪。实验结果表明,该算法能够对各种复杂情况下的动态目标进行有效跟踪,具有良好的鲁棒性和准确性。

采用在线多实例学习的超像素跟踪

采用矩形框表示目标会引入背景干扰,导致跟踪性能下降,故利用多实例学习的特点对背景干扰建模,提出了一种采用在线多实例学习的超像素跟踪算法。在训练阶段,以超像素作为实例,根据位置将这些超像素分为具有明确标签的多个实例包,进而将跟踪转换为多实例学习问题。然后,在所提算法中实现了在线多实例学习,通过求实例包的似然函数最大化,从弱分类器池中选择K个最优的弱分类器组合为强分类器,在下一帧的检测阶段,利用学习的强分类器生成目标置信图。最后,采用粒子滤波方法从置信图中估计目标状态,在2.6 GHz主频的笔记本电脑上,所提算法的跟踪速率可达15 frame/s。在多个视频序列上的对比实验表明,该算法对复杂背景、目标高速运动、遮挡等具有更好的鲁棒性和精度,且跟踪精度和成功率的典型值分别达到了91%和90%,比原始超像素跟踪算法分别高出了21%和26%。

基于运动模型分解的多实例学习跟踪

多实例学习跟踪算法在目标物经历较大姿势变化后,容易导致目标物跟踪漂移。针对这个问题,提出将粒子滤波与多实例学习模型相结合,利用多运动模型约束与K-means聚类构建分类器来在线检测与跟踪目标。特征模型的构建基于稀疏随机矩阵,使得图像采样得到的低维特征能保持来自图像的多尺度信息。多实例学习算法用来采样正负样本集合,并使用在线增强技术来构建强分类器。大量的实验结果表明,提出的算法在光照变化、遮挡、以及形变的变化下都能准确跟踪目标,并具有很高的实时性。

基于多实例学习的医疗图像识别研究进展

近年来,利用有监督学习进行医疗图像的自动识别应用越来越广泛,但是在该领域中无法忽视的问题是专业医疗图像的精细标注的获取成本非常巨大。因此,多实例学习由于其将单个图像的多个实例视为一个包,在学习过程中只需要包的标签,而不需要精确地针对每个实例的标签的特性,为解决医疗图像识别缺乏精准标注的问题提供了解决方案。特别是随着近十年来深度学习的飞速发展,大量基于神经网络的多实例学习方法被提出,使得多实例学习领域焕发了新的生机。

一种新颖的多实例学习算法与应用

多实例学习(MIL)作为一种半监督学习形式,其中训练数据标签上只有不完整的知识。具体而言,标签被分配在这些包上,包中实例的标签未知。在MIL算法中,如果包中至少有一个实例为正,则包被标记为正;如果包中的所有实例均为负,则包标记为负。MIL算法的目标是通过学习一个分类函数,预测测试数据中包或实例的标签。同时,MIL的性质使其可应用于多种应用,从药品活动预测到文本或多媒体信息检索。对多样化密度算法的缺陷进行了改进,提出了一种新颖的多实例学习算法。最后,在图像分类/检索问题数据集-Corel数据库上,将提出的算法与其他算法,进行了性能对比评估。

基于多实例学习算法的课程结果预测

教学过程中的各种变化,给利益相关者带来了诸多挑战,不利于学员了解不同教学方法及其在各种教学环境中的表现。基于此,笔者创建了适用于多实例算法的教育数据集,以预测学员在课程中的学习结果。实验采用多实例学习算法进行,最后发现简单MI方法非常有效。

用于组织病理图像分类的双层多实例学习模型

目的 分析组织病理学全玻片图像(whole slide images,WSIs)是病理学诊断的金标准。WSIs具有千兆像素,且通常缺乏像素级标注。弱监督多实例学习是分析WSIs的主流方法,其关键是怎样从大量实例中精确识别出触发类别预测的关键实例。以前的WSIs分析方法主要是在独立同分布假设下设计的,忽略了实例间的相关性和肿瘤的异质性。针对上述问题,提出一种新的双层多实例学习模型。方法 具体地,提出的模型由自适应特征挖掘器和双路交叉检测模块级联构成。首先,第1层的自适应特征挖掘器检索包中的区分性特征,为后续的实例特征聚合生成可靠的内部查询;然后,第2层的双路交叉检测模块通过建模内部查询与实例间的相关性,聚合包中所有实例生成最终的包级表示。此外,在特征提取部分中引入了自监督对比学习方法SimCLR以生成高质量的实例特征。结果在两个公共可用的数据集CAMELYON-16和TCGA(the cancer genome atlas)肺癌上评估了提出的模型,对比分析6种经典的多实例学习模型,结果显示本文模型的性能最优。在准确率方面,所提方法在CAMELYON-16和TCGA肺癌两个数据集上分别达到了95.35%和91.87%,较对比方法中最优的分别高出2.33%和0.96%。结论 提出的模型可以较好地挖掘组织病理学图像的内部特征信息,显著提升检测精度,表明其在病理学诊断应用中的有效性,并能够准确定位病变区域,在病理辅助诊断场景下有较高的应用价值。

壁画图像分类中的分组多实例学习方法

目的针对壁画图像具有较大类内差异以及具有较强背景噪音的特点,提出一种分组多实例学习的策略,实现对不同年代风格的壁画图像分类。方法将样本空间划分为不同的子空间,每一个子空间中的所有训练样本训练分类器模型,测试阶段根据测试样本落到的子空间来选择不同的分类模型对测试样本进行分类。在各个子空间训练分类器时,将每一幅壁画图像样本看做多个实例的组成,采用多实例学习的方式来训练分类器。训练过程中,引入隐变量用于标识每一个实例,隐变量的存在使得分类器的优化问题不是一个凸问题,无法用梯度下降法去直接求解,采用迭代的方式训练Latent SVM作为每一个子空间的分类器。结果实验结果表明本文方法在壁画图像的分类上与传统方法相比提高了平均5%的精度。结论本文分组多实例学习的策略在壁画分类问题中能够较大程度地解决图像的类内差异以及背景噪音对分类结果造成的影响。

基于HOG与多实例在线学习的目标跟踪算法

为实现在局部遮挡、光线变化等复杂背景下的目标跟踪,提出一种基于梯度方向直方图(HOG)与多实例在线学习的目标跟踪算法。利用已标定目标图像的HOG特征空间,结合局部二值模式(LBP)描述方法获取特征向量,构建初始随机蕨检测算子,采用随机多尺度采样方法跟踪每一帧的目标位置和尺寸,并基于多实例在线学习框架,通过检测到的目标样本以及附近的背景样本在线更新检测算子。将该算法与Online Boosting Tracker,MILTracker等在线学习目标跟踪算法在多个标准视频序列中进行比较,实验结果表明,该算法在局部遮挡和光照变化的环境下具有较好的跟踪稳定性,但在抗目标旋转方面有待优化。

基于多实例运动学特征学习的动态手势识别研究

在动态手势特征提取和识别方面,利用运动学模式解决动态手势识别问题,在光流场基础上计算出散度模式,旋度模式,对称模式,反对称模式,梯度张量第二、第三主不变模式,应变张量第二、第三主不变模式以及自旋转张量第三主不变模式;进一步提出一种基于多实例学习的方法,将每一个动态手势的所有运动主模式构成一个动态手势词袋,将未知类型动态手势的运动主模式与词袋空间中对应运动主模式进行相似度计算,利用最近邻方法对手势进行识别。实验结果表明:基于多实例运动学主模式学习的动态手势识别方法取得了较高的识别率。

基于加权多实例学习的压缩感知目标跟踪

为了处理运动目标跟踪中的遮挡、光照变化以及背景杂乱等问题,提出了一种基于加权多实例学习的压缩感知目标跟踪方法。在提取图像块类Haar特征的基础上,采用随机投影方法对高维特征进行压缩,结合加权多实例学习策略,在boosting学习框架下训练分类器,根据分类器最大响应值得到跟踪目标图像块。使用矩形框手动标定第一帧图像的目标,对后续帧采样的正负实例的类哈尔特征进行压缩,通过这些样本特征训练分类器,得到跟踪结果。实验结果表明,所提算法具有较高的跟踪精度、实时性和鲁棒性,对所选的四个具有挑战性的视频序列,跟踪成功率都能超过89%,帧率也超过26f/s。

一种新颖的多实例集成学习算法

分析了多实例学习(MIL)在复杂数据目标(图像,基因)等方面的广泛应用,针对大多数已存在的MIL算法仅能处理小样本或中等规模样本的问题,为了处理MIL中的大规模问题,提出了一种高效可扩展的MIL集成学习算法——B2VMI(Bag to Vector Multi-instance)。该集成学习算法利用低计算成本的映射方法,将传统的MIL包映射成新的特征向量表示,以此方式获得包级信息。在多个多实例数据集上的实验表明,B2VMI具有可扩展等优秀性能,该算法不仅能够取得同当前先进的MIL集成学习算法可比较的精确度,而且具有比其他MIL集成学习算法快5倍的效率。

基于眼心关联的先天性心脏病围手术期转归多实例预测

目的:构建先天性心脏病(先心病)围手术期转归多实例预测模型,提高先心病预后评估的精确性。方法:基于先心病患者眼底彩照图像,引入多实例学习算法,结合长短注意力Transformer结构处理多图像实例特征序列,构建基于眼心关联的先心病围手术期转归多实例预测模型。结果:该模型有效规避了深度学习模型限制输入图像尺寸所导致的细节丢失问题,在测试集中对围手术期复合不良结局预测的准确率为0.78,AUC为0.82,优于CANet、DLI、ResNet50、InceptionV3等目前常用模型;处理每张图片耗时0.104 s,与上述模型相当。结论:基于眼心关联的先心病围手术期转归预测模型可以有效提升模型的图像细节捕捉能力,提高先心病预后评估的效能,同时拓展了人工智能模型的临床适用范围。

基于三元中心引导的弱监督视频异常检测

针对监控视频异常的复杂多样性和短时持续性,引入弱监督视频异常检测方法,旨在仅使用视频级别的标签进行异常检测,并提出了基于变分自编码器(VAE)与长短期记忆(LSTM)网络的异常回归网络VLARNet作为异常检测框架,以捕获时序数据中的时间依赖关系、去除冗余信息,保留数据的关键信息。该框架将异常检测视为回归问题,为学习检测特征,设计了异常分数回归的三元中心损失(TCLASR),与动态多实例学习损失(DMIL)相结合以进一步提高特征的区分能力。DMIL能够扩大异常实例与正常实例之间的类间距离,但同时也扩大了类内距离,而TCLASR可使来自同类的实例与类中心的距离更接近,与不同类中心的距离更远。对VLARNet在ShanghaiTech与CUHK Avenue数据集上进行了综合实验。实验结果表明,VLARNet能够有效利用视频数据的各种信息,在两个数据集上获得的受试者工作特征曲线下面积(AUC)分别为94.64%和93.00%,明显优于对比算法。

基于深度学习的房产价值视觉评估

由于全球化趋势,房产投资不再局限于某个地区,越来越多的人开始进行海外房产投资,但由于出行问题以及对当地市场的不熟悉,造成了对房产价值的认知偏差。为了克服以上缺点,提出了一个多实例深度排序与回归(MDRR)网络,用于对房屋进行可视化评估,其目的是从房屋的照片和文字描述(如卧室数量)来预测房屋的价值。该网络使用弱监督数据进行训练,不需要密集的人工标注。同时还设计了一组人类启发式方法,通过对解决方案空间施加限制来提升深层特征,通过实验表明,提出的方法能够较为准确的评估房产价值。

基于高效多示例学习的目标跟踪

基于多示例学习(MIL)的跟踪算法能在很大程度上缓解漂移问题。然而,该算法的运行效率相对较低,精度也有待提高,这是由于MIL算法采用的强分类器更新策略效率不高,以及分类器更新速度与目标外观变化速度不一致引起的。为此提出一种新的强分类器更新策略,以大幅提升MIL算法的运行效率;同时提出一种动态更新分类器学习率的机制,使更新后的分类器更符合目标的外观,提高跟踪算法的精度。通过实验将该算法和MIL算法以及基于加权多示例学习的跟踪算法(WMIL)进行对比,实验结果表明,所提出算法的运行效率和跟踪精度都是三者中最好的,在背景中没有与被跟踪目标外观相似的干扰物体存在时有较好的跟踪优势。

基于随机局部均值Hash特征的在线学习目标跟踪

在局部遮挡,光线变化,以及复杂背景环境下进行有效稳定的目标跟踪一直是一个长期困扰研究者的复杂问题。提出一种基于随机局部均值Hash特征的在线学习目标跟踪算法,算法的创新点为基于泊松概率分布的目标模型建立及其在线更新。算法首先利用已标定实际位置的目标图像来初始化目标模型及构建初始分类器池,由此求出下一帧的检测算子,同时基于多实例在线学习方法,利用检测到的目标样本(正样本)以及附近的背景样本(负样本)在线更新目标模型,求出新的检测算子用于后续帧的目标检测及跟踪。提出的算法与现有基于检测学习的Online Boosting Tracker,Semi Tracker,Beyond Semi Tracker,Context Tracker和MILTracker跟踪算法在给定的四个标准视频序列中进行了跟踪性能比较。实验结果表明,在各种复杂环境下,该算法具备良好的综合跟踪性能,尤其在抗局部遮挡方面尤为突出。在抗目标旋转方面,该算法仍有待优化。

面向医学文本的实体关系抽取研究综述

实体抽取和关系抽取作为信息抽取的重要子任务,近些年众多学者利用多种技术在该领域开展了深入研究。将这些技术应用于医学领域,抽取非结构化和半结构化的医学文本构建医学知识图谱,可服务于下游子任务。从医学领域实体关系抽取的相关概念出发,从不同角度对深度学习模型进行分类;进而依据数据集的构建方式,对监督学习和远程监督的多实例学习模型进行分析和讨论;最后展望了面向医学文本的实体关系抽取的未来研究方向。