基于关系归纳偏置的睡眠分期综述

睡眠障碍严重影响人类健康和生活,将睡眠阶段准确分类是检测和治疗睡眠障碍的关键。近年来,基于深度学习的方法超越了传统机器学习方法及人类专家。然而,深度学习的内部结构复杂,需要对计算机及医学领域熟悉的专家进行设计。旨在分析现有基于深度学习的睡眠分期模型中的关系归纳偏置,探索睡眠分期模型设计基本原则。对平移不变性、时间不变性和分层处理等关系归纳偏置进行分析。首先按照模型中是否包含具有平移不变性的卷积层和具有时间不变性的循环层将其分为三类:卷积神经网络框架、循环神经网络框架和混合神经网络框架。然后按照模型中对帧、片段和序列的分层处理方式进行了更加细致的分类。接着分析模型中包含不同关系归纳偏置对睡眠分期的性能影响,提出了设计睡眠分期模型需要引入与任务相匹配的关系归纳偏置。最后讨论了基于深度学习睡眠分期方法的优越性与局限性,以及未来可能需要使用更加高级的关系归纳偏置对知识进行更加抽象的表达并与其他人工智能技术相结合。

分支合并对决策树归纳学习的影响

传统的决策树构建方法,由于其选择扩展属性时的归纳偏置,导致属性值较多的属性总会被优先选择,从而导致树的规模过大,并且泛化能力下降,因此需对其进行简化.剪枝是简化的一种,分为预剪枝和后剪枝.该文主要针对预剪枝中的分支合并进行研究.文中研究了分支合并对决策树归纳学习的影响;具体讨论了在决策树的产生过程中,选择适当的分支合并策略对决策树进行分钟合并处理后,能否增强树的可理解性,减少树的复杂程度以及提高树的泛化精度;基于信息增益,分析了分支合并后决策树的复杂程度,设计实现了一种基于正例比的分支合并算法SSID和一种基于最大增益补偿的分支合并算法MCID.实验结果显示:SSID和MCID所得到的决策树在可理解性和泛化精度方面均明显优于See5.

基于改进Vision Transformer网络的农作物病害识别方法

基于DCNN模型的农作物病害识别方法在实验室环境下识别准确率高,但面对噪声时缺少鲁棒性.为了兼顾农作物病害识别的精度和鲁棒性,本文在标准ViT模型基础上加入增强分块序列化和掩码多头注意力,解决标准ViT模型缺乏局部归纳偏置和视觉特征序列的自注意力过于关注自身的问题.实验结果表明,本文的EPEMMSA-ViT模型对比标准ViT模型可以更高效的从零学习;当添加预训练权重训练网络时,EPEMMSA-ViT模型在数据增强的PlantVillage番茄子集上能够得到99.63%的分类准确率;在添加椒盐噪声的测试数据集上,对比ResNet50、DenseNet121、MobileNet和ConvNeXt的分类准确率分别提升了6.08%、9.78%、29.78%和12.41%;在添加均值模糊的测试数据集上,对比ResNet50、DenseNet121、MobileNet和ConvNeXt的分类准确率分别提升了18.92%、31.11%、20.37%和19.58%.

基于DDPG算法的末制导律设计研究

末制导律设计是拦截系统中的关键技术,常用的比例制导律及其变型在目标大机动时性能下降,且受到导航比的影响.提出基于DDPG算法的末制导律设计方法,通过对拦截问题的环境状态和动作(控制量)进行设计,实现了从仿真环境交互数据中学习回报最优的制导律;与传统方法相比,该无模型方法更具灵活性;针对强化学习方法动作集假设偏置弱带来训练效率低的问题,进一步提出将导航比作为决策优化参数,加速了训练过程并实现动态调整比例制导律中的导航比.对比实验表明,两种强化学习末制导律设计方法获得了优于比例制导律及其变型的拦截效果,展现出良好的研究前景和潜在的应用价值.

元强化学习综述

元强化学习是指自动从一组相关任务中学习强化学习所需归纳偏置的相关理论和方法,对于提高强化学习算法在困难场景下的样本效率和泛化能力具有重要用途。本文提出一种新的元强化学习框架,指出设计和分析一个元强化学习算法需要同时考虑学习经验(相关任务)、归纳偏置及学习目标3个独立因素及这3个因素之间的依赖关系。在此基础上对该领域的研究现状进行了分析和总结,特别对近年来元强化学习若干文献进行了分析和归类,并详细阐述了几种代表性算法的原理及各自特点。本文还对元强化学习常用的实验环境和性能评价方法进行了介绍,对该领域的不足和未来的发展方向进行了讨论和分析。

基于RT-Unet的医学图像分割算法

近年来,由于Transformer能够有效地捕获全局上下文信息,在机器视觉领域展现了巨大的应用潜力。然而,它只能获取单尺度的上下文信息,对于细节信息的提取仍然存在一定的局限性。针对此类问题,提出了RT-Unet算法。该算法在RESwin Transformer模块中引入内在的局部归纳偏置,并在位置嵌入与编码模块使用4个连续的卷积层。将卷积与Transformer有效地组合在一起,既可以获得丰富的多尺度特征,又可以关注局部细节信息与远程依赖关系。另外,改用GELU激活函数增加算法的非线性因素,避免训练时出现梯度消失问题。实验采用Synapse腹部多器官分割数据集,结果表明RT-Unet的性能优于ViT,V-Net,U-Net,Swin-Unet和TU-Net等算法,并取得了DSC为79.08%,HD为23.43 mm的分割结果。

基于紧凑型Vision transformer的细粒度视觉分类

Vision transformer(ViT)已广泛应用于细粒度视觉分类中,针对其中存在的大数据量需求和高计算复杂度的问题,提出一种紧凑型Vi T模型.首先,使用多层卷积块生成模型输入,保留更多底层信息和归纳偏置,减少对数据量的依赖;然后,使用序列池化技术取消分类令牌的使用,减少计算复杂度;最后,使用部位选择模块和混合损失函数,进一步提升模型在细粒度视觉分类中的表现.所提出算法在公共数据集CUB-200-2011、Butterfly200、Stanford Dogs、Stanford Cars和NABirds中均进行了实验验证,在只使用少量的数据和计算资源条件下,分别获得了88.9%、87.4%、89.0%、93.4%和88.0%的准确率,训练时间平均比常用的Vi T-B_16模型下降了73.8%,同时比TransFG模型下降了93.9%,并且训练过程中的参数量只有这两种模型的1/4左右.实验结果充分表明,所提出的模型较之其他主流的方法在数据量需求和计算复杂度方面具有明显的优越性,可广泛应用于工业过程控制、设备微小故障检测与诊断中.