基于深度架构网络的矮新星自动分类研究

矮新星是一类特殊而稀少的半相接双星。发现更多的矮新星对于深入研究物质转移理论、理解密近双星演化过程意义深远。利用深度学习技术提取天体光谱特征并进而分类是天文数据处理领域的研究热点。传统的自编码器是仅包含一个隐层的经典神经网络模型,编码能力有限,数据表征学习能力不足。模块化拓宽神经网络的深度能够驱使网络继承地学习到天体光谱的特征,通过对底层特征的逐渐抽象学习获得高层特征,进而提高光谱的分类准确率。以自编码器为基础构建了由输入层、若干隐藏层和输出层组成的基于多层感知器架构的深度前馈堆栈式自编码器网络,用于处理海量的光谱数据集,挖掘隐藏在光谱内部具有区分度的深度结构特征,实现对矮新星光谱的准确分类。鉴于深度架构网络的参数设置会严重影响所构建网络的性能,将网络参数的优化分为逐层训练和反向传播两个过程。预处理后的光谱数据先由输入层进入网络,再经自编码器算法和权值共享实现对网络参数的逐层训练。反向传播阶段将初始样本数据再次输入网络,以逐层训练所得的权值对网络初始化,再把网络各层的局部优化训练结果融合起来,根据所设置的输出误差代价函数调整网络参数。反复地逐层训练和反向传播,直到获得全局最优的网络参数。最后由末隐层作为重构层搭建支持向量机分类器,实现对矮新星的特征提取与分类。网络参数优化过程中利用均值网络思想使网络隐层单元输出按照dropout系数衰减,并由反向传播算法微调整个网络,从而防止发生深度过拟合现象,减少因隐层神经元间的相互节制而学习到重复的数据表征,提高网络的泛化能力。该网络分布式的多层次架构能够提供有效的数据抽象和表征学习能力,其特征检测层可从无标注数据中隐式地学习到深度结构特征,有效刻画光谱数据的非线性和随机波动性,避免了光谱特征的显式提取,体现出较强的数据拟合和泛化能力。不同层之间的权值共享能够减少冗余信息的干扰,有效化解传统多层次架构网络易陷入权值局部最小化的风险。实验表明,该深度架构网络在矮新星分类任务中能达到95.81%的准确率,超过了经典的LM-BP网络。

基于M形深度架构的非结构化道路可行驶区域推荐模型

针对边界模糊、路况多变的非结构化道路,为满足智能汽车在正常、应急等复杂行驶工况下对可行驶区域的视觉检测需求,提出一种在M形深度架构下融合多尺度交互策略和双重注意力机制的可行驶区域推荐模型,能够在复杂驾驶场景中精细分割出非结构化道路的强推荐、弱推荐、不推荐行驶区域。首先,在编码器-解码器的骨架基础上,构建倒金字塔式的多尺度分层输入和分层输出结构,以有效融合非结构化道路的浅层形态学特征与深层语义信息,并平衡模型在不同尺度上的预测偏倚,提升复杂驾驶场景下对多尺度与变尺度目标的分割精度;其次,构建集成通道注意力和空间注意力的跳跃连接结构,使模型在实现编码特征与解码特征高效传递的同时,聚焦于学习与道路可行驶性相关的重要特征,进一步强化模型对非结构化道路的检测性能。通过多种途径构建包含城郊、乡村、园区等真实场景的非结构化道路驾驶数据集。试验结果表明:得益于M形深度架构对多尺度交互策略和双注意力机制的融合,提出的模型在多种真实驾驶场景下均能较好地实现强推荐行驶区域、弱推荐行驶区域、不推荐行驶区域和背景区域的精细分割,平均交并比达到92.46%,平均检测速度达到22.7帧·s^(-1);与现有其他主流模型相比,提出的模型兼顾了分割精度和时间效率,在非结构化道路可行驶区域检测任务上有明显优势。

渐进式深度集成架构搜索算法研究

深度神经网络已在各个领域取得巨大成功.然而,深度学习模型并不只包含深度神经网络.近年来,以深度森林为代表的深度集成学习模型,凭借着无需反向传播训练、计算开销更小、模型复杂度支持自适应确定以及表数据建模任务性能优异等特点,引起了学界和业界的广泛关注,并且取得了良好的应用效果.深度森林为探索DNN(Deep Neural Network)之外的深度学习模型打开了另一扇门.然而,现有的深度集成模型主要以深度森林为主,深度集成架构较为单一,基学习器的数量与集成方式较为固定,需要探索除深度森林之外的深度集成学习模型架构.另外,实际应用中,很难存在一种深度集成学习模型架构能够在不同数据集上均取得优异性能,尤其是对于数据特征差异较大的表格型数据集.因此,也需要一种高效的数据自适应的深度集成学习架构设计方法.为此,本文从搜索空间和搜索算法两个层面,研究提出了一种高效的基于代理模型的渐进式深度集成架构搜索方法PMPAS(Proxy Model-based Progressive Architecture Search).首先,通过归纳分析已有深度集成学习模型的特点,给出了深度集成架构的形式化定义.其次,研究提出了两种全新的深度集成架构搜索空间,即基于完全并行的搜索空间和基于有向无环图的搜索空间.然后,在上述两种搜索空间的基础上,研究提出了基于代理模型的渐进式搜索方法与算法,实现从简单到复杂逐步地在搜索空间中进行探索,并采用代理模型作为指导,降低模型评估开销.最后,本文从时间复杂度和空间复杂度两个方面对搜索算法进行分析.在分类、回归等公开的表格型数据集上的大量实验结果表明,通过PMPAS算法搜索得到的深度集成架构,其性能不仅优于已有的集成学习模型、深度学习模型以及以深度森林为代表的深度集成学习模型,而且优于已有的自动化模型选择算法.随着时间预算的不断增加,性能优势更为明显.PMPAS开源地址为:https://github.com/PasaLab/PMPAS.

黄河流域水文深度学习架构设计与应用

为了推动我国水文工作智能化,提高水文工作效率,以黄河流域为例提出黄河流域水文深度学习架构,将黄河作为一个综合的非线性复杂动力学系统,应用深度学习技术实现对黄河流域的建模及数据的深度挖掘;利用深度卷积神经网络和深度循环神经网络模型,将深度学习技术应用于黄河流域的图像识别处理、水文预报和水资源公报等水文工作;利用深度学习算法优化黄河流域调水调沙、防洪减灾和综合治理等工作;研发黄河治理深度学习架构软件,用于黄河流域的水文工作、综合治理;阐述当下以及未来深度学习技术在水文工作中的应用,利用深度学习挖掘有用数据,辅助水文工作人员工作,创造更大价值。

基于核心素养发展的深度学习架构与评价机制研究

目前,通信工程专业在学习内容上缺少专业间的交叉融合,缺乏完整的、系统化的学科体系和知识结构,课程间联系不紧密,学生无法在专业课程中找到自己感兴趣的内容,不利于学生自主学习;在评价机制上,现有的评价体系以终结性考试为主,这不利于学生发现自身问题、树立正确的学习态度,不利于培养学生自主学习能力和解决问题能力。因此,基于核心素养发展的深度学习架构与评价机制是非常必要的。通过搭建专业间学习内容之间的桥梁和平台,在教学过程中充分调动学生自主学习的积极性和主动性。在评价机制上建立起过程性评价和终结性评价相结合的评价体系,能够客观公正地反映学生在整个课程体系中的学习效果。

面向农村公路高分遥感影像道路提取的卷积神经网络架构

为了提升农村地区高分遥感影像路网识别精度,研究提出了一种高分遥感影像农村公路路网提取卷积神经网络跳跃链接“全局关注模块”(Block of Focusing Globe,BFG)架构。BFG架构在跳跃链接阶段对下采样特征图进行卷积操作,并将该操作卷积核尺寸与下采样次数相关联,最终与原特征图进行维度拼接后再输出至对应上采样环节,从而为原特征图叠加更为丰富的全局信息与上下文信息。通过对比实验对算法性能进行评价,发现未使用BFG模块的典型U-Net结构,其交并比为使用后的97.74%;Res-U-Net的交并比为使用BFG模块U-Net的55.11%;BFG模块能有效降低高分遥感影像中路侧地表类型变化对路面识别产生的干扰,使提取路面保持边缘清晰、连续,且能够在路面被林木或阴影短暂遮蔽时正确识别并提取道路路面信息。以上结果表明,新建BFG模块架构具有较好的实用性。

干线动态协调控制的深度Q网络方法

为有效降低城市交通干线的车均延误与停车次数,将深度Q网络引入干线协调控制,给出了一种干线动态协调控制的DDDQN(Dueling Double Deep Q Network)方法。该方法结合双重深度Q网络与基于竞争架构深度Q网络,并将干线作为整体处理,通过深度神经网络挖掘干线各交叉口协调控制的相关性,基于Q学习进行交通信号控制决策。通过仿真实验,在近饱和流量和干线存在初始排队的情况下,将DDDQN方法与现有绿波方法,以及经典深度Q网络、双重深度Q网络、基于竞争架构深度Q网络的干线协调控制算法进行对比,实验结果表明基于DDDQN的干线动态协调控制算法性能优于其他四种方法。

群体行为识别深度学习方法研究综述

群体行为识别是计算机视觉领域应用广泛且亟待解决的重要研究问题。伴随着深度神经网络的发展,群体行为识别与理解的宽度与深度也在不断扩展。通过调研近十年来群体行为识别的研究文献,确定了目前群体行为识别研究的问题定义;指出了群体行为识别研究现存的问题与挑战;在深度学习网络架构下,描述了从早期仅仅对群体行为进行分类识别,到如今更加侧重于对行为群体中活动细节理解的群体行为识别算法的发展历程;重点介绍了以卷积神经网络CNN/3DCNN、双流网络Two-Stream Network、循环神经网络RNN/LSTM和Transformer等网络架构为基础的,主流群体行为识别算法的核心网络架构和主要研究思路,对各算法在常用公共数据集上的识别效果进行了对比;对标注了群体行为类型和个体行为类别等多级标签的常用的群体行为数据集进行了梳理和对比。期望通过客观的对各种算法优缺点的讨论分析,引发读者提出群体行为识别研究的新思路或新问题。最后,对群体行为分析的未来发展进行了展望,期待能够启发新的研究方向。

耦合关系自学习的人脸年龄估计研究

在目前已提出多种人脸年龄估计(age estimation,AE)潜在关系挖掘的工作,绝大多数工作仅局限于挖掘单一层面的潜在关系,极少考虑多层面耦合关系的挖掘。因此,本文提出一种耦合关系自学习的AE模型CRSAE,以此挖掘输入特征关系、输出编码关系以及输入输出关系3种耦合关系,提高AE模型的泛化能力。首先对投影矩阵的行列协方差矩阵建模,构建输入特征关系与输出编码关系正则项。其次,本文通过引入一个结构矩阵,发掘输入输出关系。随后,为有效求解CRSAE模型,本文构建一种交替优化方法。鉴于面部特征具有高度非线性的特征,本文在所提出模型的基础上引入深度架构进一步提升模型的泛化能力。最后,通过在多个人脸图像数据集上的年龄评估实验,验证了所提模型的有效性和性能优越性。

多尺度空间金字塔池化PCANet的行人检测

针对非理想条件下行人检测的性能和效率问题,提出多尺度空间金字塔PCANet。将空间金字塔作为网络的特征池化层,通过分层池化特征的方式获得图像的显著性特征,并将底层特征和高层特征级联以获得样本的多尺度特征的向量表示,输入SVM分类器。在INRIA和NICTA数据库中,与HOG、CNN等算法进行行人检测对比实验,结果表明,该算法有更高的正确检测率、更低的漏检率和误检率。

网络化控制系统的安全威胁分析与防护设计

针对网络化控制系统在策略和程序、产品设计与开发、项目应用配置等方面的脆弱性,本文对系统中典型的安全威胁进行了分析,主要包括了态势感知、网络攻击以及工控系统的定向攻击。以内建安全为核心,本文还通过控制内核自主可控、嵌入式平台可信增强、容错架构和系统自愈等关键技术构建了一套网络化控制系统深度安全体系架构,从而提高系统生命周期的安全性、可靠性以及可用性。本文最后还介绍了Achil es通信健壮性认证和ISASecure安全认证两类工业控制系统产品安全认证体系。