BiUNet:基于双层路由注意力的轻量化医学分割网络

针对视觉Transformer骨干提取网络计算开销大,模型训练缓慢的问题,同时为了进一步提升Transformer结构在医学图像领域的分割性能,提出一种名为BiUNet的新型轻量级U型架构的医学图像分割网络。将输入医学图像整切成若干图像块后,送入一种基于双层路由动态稀疏注意力机制的BiFormer转换器中,通过组合下采样和特定块数的BiFormer模块,构建多级金字塔结构实现特征提取。随后通过组合上采样和卷积模块,相应构建多级金字塔结构进行特征解码,进而实现像素级语义分割。该模型在3个医学数据集上依次取得了90.2%, 93.7%和85.6%的mIoU值以及5.55 G的Flops和28.10 M的参数量。结果表明,BiUNet能够以轻量化的效果有效提升医学图像分割的精度。

基于Bi-LSTM与状态约束的心音分割算法

心音分割是进行准确心音分类的前提。针对心音分割,提出一种基于双向长短时记忆网络(Bi-LSTM)与状态约束的算法。该文通过网格法确定Bi-LSTM网络中的最佳参数,并训练出心音状态识别模型;统计Bi-LSTM预测的心音状态持续时间,并计算自相关参数;利用自相关参数和心音固有状态转移规则对预测的心音状态进行约束处理。使用五折交叉验证法在PhysioNet/CinC 2016数据集上进行测试,该算法与同类算法相比,整体性能更佳。

基于BiLSTM-CRF的中文分词和词性标注联合方法

针对中文分词、词性标注等序列标注任务,提出结合双向长短时记忆模型、条件随机场模型和马尔可夫族模型或树形概率构建的中文分词和词性标注联合方法。隐马尔可夫词性标注方法忽略了词本身到词性的发射概率。在基于马尔可夫族模型或树形概率的词性标注中,当前词的词性不但与前面词的词性有关,而且与当前词本身有关。使用联合方法有助于使用词性标注信息实现分词,有机地将两者结合起来有利于消除歧义和提高分词、词性标注任务的准确率。实验结果表明:本文使用的中文分词和词性标注联合方法相比于通常的双向长短时记忆模型−条件随机场分词模型能够大幅度提高分词的准确率,并且相比于传统的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率。

基于BERT-BiLSTM-CRF的中文分词和词性标注联合方法

针对中文分词、词性标注等序列标注任务,本文提出了结合BERT语言模型、BiLSTM(双向长短时记忆模型)、CRF(条件随机场模型)和马尔可夫族模型(MFM)或树形概率(TLP)构建的中文分词和词性标注联合方法.隐马尔可夫(HMM)词性标注方法忽略了词本身到词性的发射概率,而在利用树形概率或马尔可夫族统计模型的词性标记中,一个词的词性不仅和该词前一个词的词性关联,且与该词自身关联.使用联合方法有助于使用词性信息帮助分词,将两者紧密结合能够帮助消除歧义和改进分词、词性标记的性能.实验结果表明本文使用的中文分词和词性标注联合方法与普通的BiLSTM-CRF分词算法相比,可以明显提升分词性能,而且相比于通常的隐马尔可夫词性标注方法能够大幅度提高词性标注的准确率.

融合改进Transformer的车辆部件检测方法

为有效解决车辆部件检测中模型由于特征提取不充分以及候选框未能充分利用导致的错检、漏检等问题,提出了融合改进Transformer的车辆部件检测方法。首先将多头自注意力和双层路由注意力结合,提出了关键区域多头自注意力(KR-MHSA);然后将基线模型(Mask R-CNN)中ResNet的最后一层与KR-MHSA进行残差融合,提升了模型的基础特征提取能力;最后通过改进的Swin Transformer对模型生成的候选框进行特征学习,使模型更好地理解不同候选框之间的差异和相似性。实验在构建的59类车辆部件数据集上进行,对比实验结果证明,本文模型在检测和分割效果上均优于其他先进实例分割模型。相较于基线模型,检测准确率提高了4.47%,分割准确率提高了4.4%,有效地解决了车辆部件检测中特征提取不足和候选框未充分利用导致的错检、漏检和实例分割精度较低的问题,使保险公司能够更准确、更高效地更换损坏的部件,提高索赔效率。

基于轻量化NDFEDet-SOLOv2的遥感图像建筑物提取方法

目的在地籍测绘和灾害管理等领域中,建筑物轮廓和位置的自动提取是至关重要的一环。为了解决高分辨率遥感图像建筑物因环境因素导致分割精度不准确等问题,提出了一种改进的轻量化SOLOv2实例分割模型——NDFEDet-SOLOv2。方法该模型选用双向特征金字塔网络(BiFPN)特征融合方式的轻量级EfficientDet网络,其中将骨干网络部分的EfficientNet升级为EfficientNetv2,EfficientNetv2中的三层MBConv模块SE注意力更换为含有DropBlock正则化的轻量级标准化注意力机制(NAM),构成NAD-MBConv模块。BiFPN特征融合部分,向其尾端各特征层并入双水平路由注意视觉变压器(BiFormer),形成双向水平路由注意特征金字塔网络结构(Bi-FPN-Former),从而聚焦微小建筑物轮廓信息,以实现更高层次的特征融合。结果NDFEDet-SOLOv2模型相较于传统轻量级SOLOv2实例分割算法,平均精度mAP、mAP 50和mAP 75分别提高了3.9%、3.7%和2.5%,检测帧率(FPS)提高了2.7帧/s。结论轻量化NDFEDet-SOLOv2实例分割算模型消除了建筑物边角的图像畸变,在地理环境空间不均等复杂情况下也能准确提取出遥感图像建筑物的基本轮廓,从而为城市布局更新和建筑变化检测提供理论参考。

基于改进3D U-Net模型的肺结节分割方法研究

由于肺部CT图像的特征信息复杂度较高,经典3D U-Net网络在肺结节分割方面准确率较低,存在误分割等问题。基于此,提出一种基于改进3D U-Net的网络模型。通过将加入了密集块的3D U-Net网络和双向特征网络(Bi-FPN)融合,提高了模型分割精度。同时采用深度监督训练机制,进一步提高了网络性能。在公开数据集LUNA-16上对模型进行比较实验和评估,结果显示,改进后的3D U-Net网络,Dice相似系数较原模型提高4%,分割精度为93.9%,敏感度为94.3%,证明该模型在肺结节分割精度及准确率方面具有一定的应用价值。

基于BiLSTM-CRF的中医文言文文献分词模型研究

由于中医文献内容繁杂数目庞大、专业术语词汇较多,且包含使用文言文、古人口语等多样的书写方式,使用通用领域的分词器进行分词的效果较差。为了解决这一问题,构建了基于BiLSTM-CRF的模型对中医领域的文献尤其是文言文文献进行分词,并在中医领域文献上对比了BiLSTM-CRF模型、BiLSTM模型及主流通用中文分词器jieba、Ansj的分词结果。结果表明基于Bi-LSTM-CRF模型的分词取得了更优秀的分类性能和鲁棒性。

石龙尾(Limnophila sessiliflora BI.)的组织培养与快速繁殖技术研究

以石龙尾（Limnophila sessiliflora BI．）沉水枝带节茎段为外植体进行离体培养，研究外植体灭菌方法以及培养基中不同生长调节剂的浓度对其增殖、生根的影响。结果表明：以0．1％的HgCl2为灭菌剂，采用4min＋4min、间歇4h的间歇灭菌法，可以获得成活的无菌外植体15％；在1／2MS＋6．BA2．0mg·L^-1＋NAA 0．1～0．2mg·L^-1的增殖培养基上培养35d，试管苗的增殖系数可达30．8以上；在1／2MS＋6-BA 0．3mg·L^-1＋NAA 0．5mg·L^-1的生根培养基上培养28d后，可获得具3～5个侧枝的生根苗，平均每株生根数4．8条；炼苗后移植成活率100％。

基于BI-LSTM-CRF模型的中文分词法

递归神经网络能够很好地处理序列标记问题,已被广泛应用到自然语言处理(NLP)任务中。提出了一种基于长短期记忆(LSTM)神经网络改进的双向长短期记忆条件随机场(BI-LSTM-CRF)模型,不仅保留了LSTM能够利用上下文信息的特性,同时能够通过CRF层考虑输出标签之间前后的依赖关系。利用该分词模型,通过加入预训练的字嵌入向量,以及使用不同词位标注集在Bakeoff2005数据集上进行的分词实验,结果表明:BI-LSTM-CRF模型比LSTM和双向LSTM模型具有更好的分词性能,同时具有很好地泛化能力;相比四词位,采用六词位标注集的神经网络模型能够取得更好的分词性能。

基于Bi-LSTM的医学文本分词模型

中文分词(Chinese Word Segmentation,CWS)是自然语言处理(Natural Language Processing,NLP)中一项重要的基础任务。由于不同领域中文词汇的特殊性以及缺乏相关领域的标记数据,面向特定领域的分词任务是近年来中文分词研究面临的挑战之一。因此,提出了一种基于双向长短时记忆网络(Bidirectional Long Short-Term Memory,Bi-LSTM)的分词模型,其中分别使用了大规模的中文通用语料以及少量中文医学语料训练模型来构建这种全新的分词模型。该模型在仅使用少量中文医学领域标记数据的情况下,在该领域的分词任务上获得了较好的分词效果,实验结果中的最优F1值为95.54%,相比单独使用中文医学语料训练的分词模型,有比较明显的提升。

基于双重聚合和自合并网络的小样本图像语义分割

小样本图像语义分割是一种非常具有挑战性的任务,它试图使用几个带标签的样本来分割新类对象。主流方法常会存在特征鉴别性不高和原型偏差等问题。为缓解这些问题,本文提出一种基于双重聚合和自合并网络的小样本图像语义分割方法,能够充分挖掘特征相似性并减小原型偏差。首先,提出一个特征-掩码双重聚合模块,在支持特征和查询特征之间构建覆盖所有空间位置的密集相似关系,为特征聚合和掩码聚合提供全局语义信息。具体来说,通过对特征相似矩阵进行特征和掩码双重聚合,可以为查询图像获取具有引导信息的增强特征和初始掩码。然后,提出自合并解码器,通过合并基于初始掩码的自原型和已知的支持原型来减小原型偏差,并通过融合增强特征与合并原型向解码器传递丰富的类别语义信息。最后,利用基类预测信息进一步优化来自解码器的预测结果。本文方法在数据集PASCAL-5i上的mIoU在1-shot和5-shot情况下分别取得了68.3%和71.5%,在数据集COCO-20i上的mIoU在1-shot和5-shot情况下分别取得了46.5%和51.4%,优于主流方法的分割性能,能够更准确地分割出新类的目标区域。

混合特征匹配结合Viterbi数据关联的目标跟踪算法

传统跟踪算法在视频分辨率低、帧图像模糊或噪声较多时跟踪效果较差。针对此情况,提出一种混合特征匹配结合Viterbi数据关联的目标跟踪算法。首先,采用直方图反向投影技术对双局部阈值图像中的目标边缘进行有效分割,克服了低对比度问题;然后,将邻域特征、区域特征、运动方向特征和直方图特征作为目标表征特征,建立混合特征代价函数;最后,采用Viterbi数据关联计算代价总和,求得最相似目标。实验结果表明,在帧图像模糊或噪声较多的情况下,目标跟踪稳定且有效,单目标跟踪准确率为0.89,多目标跟踪精度达0.975,召回率达0.920,优于其他几种同类跟踪算法。

结合多尺度注意力机制和双向门控循环网络的视频摘要模型

任务中全局注意力在长距离视频序列上注意力值分布的方差较大,生成关键帧的重要性分数偏差较大,且时间序列节点边界值缺乏长程依赖导致的片段语义连贯性较差等问题,通过改进注意力模块,采用分段局部自注意力和全局自注意力机制相结合来获取局部和全局视频序列关键特征,降低注意力值的方差。同时通过并行地引入双向门控循环网络(bidirectional recurrent neural network,BiGRU),二者的输出分别输入到改进的分类回归模块后再将结果进行加性融合,最后利用非极大值抑制(non-maximum suppression,NMS)和核时序分割方法(kernel temporal segmentation,KTS)筛选片段并分割为高质量代表性镜头,通过背包组合优化算法生成最终摘要,从而提出一种结合多尺度注意力机制和双向门控循环网络的视频摘要模型(local and global attentions combine with the BiGRU,LG-RU)。该模型在TvSum和SumMe的标准和增强数据集上进行了对比试验,结果表明该模型取得了更高的F-score,证实了该视频摘要模型保持高准确率的同时可鲁棒地对视频完成摘要。

具有窗口结构Bi⁃LSTM网络的心电图QRS波检测方法

心电监测已经成为临床诊断和健康监测的重要手段.作为心电分析的基础,心电图QRS波的自动检测备受关注.但是,由于动态心电数据体量大、有噪声,目前很多方法在动态心电图QRS波的检测任务中往往表现不佳,在实际应用场景下实际准确率不到80%.针对此问题提出具有窗口结构Bi⁃LSTM(Bidirectional Long Short⁃Term Memory)网络的心电图QRS波检测方法.通过增大采样窗口,在双向的LSTM结构中添加卷积层,给模型赋予了特征提取的能力,经过样本训练就能获得可以预测的模型.卷积Bi⁃LSTM模型可以自动学习和标注心电图中QRS波的位置,解决正样本稀疏和噪音干扰的问题.实验表明,具有窗口结构Bi⁃LSTM网络的心电图QRS波检测方法在适当增大取样窗口时,可以提高预测准确度并加快收敛速度.

融合attention机制的BI-LSTM-CRF中文分词模型

中文的词语不同于英文单词,没有空格作为自然分界符,因此,为了使机器能够识别中文的词语需要进行分词操作。深度学习在中文分词任务上的研究与应用已经有了一些突破性成果,本文在已有工作的基础上,提出融合Bi-LSTM-CRF模型与attention机制的方法,并且引入去噪机制对字向量表示进行过滤,此外为改进单向LSTM对后文依赖性不足的缺点引入了贡献率?对BI-LSTM的输出权重矩阵进行调节,以提升分词效果。使用改进后的模型对一些公开数据集进行了实验。实验结果表明,改进的attention-BI-LSTM-CRF模型以及训练方法可以有效地解决中文自然语言处理中的分词、词性标注等问题,并较以前的模型有更优秀的性能。

基于Bi-LSTM-CRF算法的气象预警信息质控系统的实现

本文采用双向长短期记忆网络条件随机场(Bi-LSTM-CRF)算法,通过双向循环神经网络(Bi-LSTM)对已有的合法预警信息文本数据集和开放域中文分析公开数据集进行训练;采用CRF序列标注法有效地结合了预警前后的标签信息对分词进行序列标注;使用该算法建立的气象预警信息质控系统已应用在安徽省突发事件预警信息发布系统,在实际应用的过程中充分证明基于神经网络的气象预警信息质控系统能直接有效地对新的预警信息中可能含有的敏感字(词)、错别字等进行智能监测,以帮助监测人员进行气象预警判断,从而可以对发布的气象预警信息起到质量把关的作用。

基于BI-LSTM-CRF模型的维吾尔语分词研究

在充分研究维吾尔语言形态特征的基础上,制定相应的分词规则并手工标注原始语料,建成原始语料库;针对传统机器学习分词方法过度依赖背景知识和特征选取的问题,提出了一种基于长短期记忆(LSTM)神经网络改进的双向长短时记忆条件随机场(BI-LSTM-CRF)网络模型来进行维吾尔语分词,其能够有效地使用过去和未来的输入特征.利用该分词模型与基于传统机器学习方法的条件随机场(CRF)模型对比,实验结果表明,使用BI-LSTM-CRF模型分词性能有明显提高,且具有良好的泛化能力.

基于BI-GRU-CRF模型的中文分词法

循环神经网络作为一种处理时序数据的有效模型,已在序列标注问题上得到了广泛应用。为解决序列标注中典型的中文分词任务,基于门限循环单元(Gated Recurrent Unit,GRU)神经网络,提出了一种改进的双向门限循环单元条件随机场(BI-GRU-CRF)模型,该模型不仅可以通过双向门限循环单元有效利用双向上下文信息,而且可以通过条件随机场层联合考虑相邻标签间的相关性,得到全局最优的标记序列结果。在常用的中文分词测评集(PKU、MSRA)以及由构建的军事领域分词语料上,分别采用四词位及六词位标注法进行了实验,结果表明BI-GRU-CRF模型具有良好的分词性能,且六词位标注法可以改进分词效果。

平均家庭户规模的模拟与预测—基于改进的Bi-logistic方法

平均家庭户规模是分析社会经济问题的重要指标,但现有的模拟和预测方法存在数据要求高、无法直接关联人口事件等缺陷。针对这些问题提出通过人口数量和家庭数量两个指标模拟和预测平均家庭户规模的方法,通过分段Bi-logistic曲线拟合,将人口流动与平均家庭户规模变化直接关联起来。模型准确性检验显示,10年期的模拟误差可以控制在5%以内,20年期的模拟误差可以控制在10%以内。该方法显著地降低了对数据的要求,能够在简单数据要求的基础上模拟和预测平均家庭户规模变化过程,对于缺乏动态家庭数据的发展中国家和小区域的家庭动态变化研究有积极意义。