CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力。

课程学习指导下的半监督目标检测框架

为了提高伪标签的质量,解决半监督目标检测(SSOD)中的确认偏差问题,并针对现有算法中忽视无标注数据复杂性导致错误伪标签的难点,提出一种课程学习(CL)指导下的SSOD框架,该框架主要由ICSD(IoUConfidence-Standard-Deviation)难度测量器和BP(Batch-Package)训练调度器这2个模块组成。其中,ICSD难度测量器综合考虑了伪边界框之间的交并比(IoU)、置信度、类别标签等信息,并引入C_IOU(Checkpoint_IOU)方法评估无标注数据的可靠性;BP训练调度器设计2种高效调度策略,分别从Batch和Package角度出发,优先选择可靠性指标高的无标记数据,实现以CL的方式充分利用整个无标记数据集。在Pascal VOC和MS-COCO数据集上的广泛对比实验结果表明,所提框架不仅适用于现有的SSOD算法,而且检测精度和稳定性都得到显著提升。

基于多层级注意力机制和动态阈值的远程监督关系抽取

远程监督关系抽取面临着数据质量的问题,即生成的数据集存在多类噪声,包括噪声词、噪声句和噪声包。现有研究主要集中在噪声句方面,忽略了其他噪声的影响,无法彻底消除噪声。为此,提出一种基于多层级注意力机制和动态阈值的远程监督关系抽取模型(MADT)。该模型首先采用预训练语言模型获取实体对语义表示,再通过双向门控循环单元和自注意力机制获得蕴涵关键词信息的语义特征,然后结合句子深层上下文表示依次处理三种噪声问题。此外,还提出一种动态阈值方法进一步剔除噪声句,增强正例句对包表示的贡献,并采用基于语义相似性的注意力机制降低噪声包的影响。在NYT10d和NYT10m数据集上的实验表明,MADT模型能够解决远程监督关系抽取中各个层面的噪声,有效提升关系的抽取性能。

基于互信息解决多标签文本分类中的长尾问题

针对当前解决多标签文本分类中长尾问题的方法多以破坏原本数据分布为代价,在真实数据上的泛化性能下降,无法有效地缓解样本的长尾分布的问题,提出了基于互信息解决长尾问题的多标签文本分类方法(MLTC-LD)。首先,创建关于标签样本的关系矩阵,计算标签样本间的依赖关系;其次,考虑标签样本间关系程度的强弱构造邻居选择器,将拥有强关系的邻居信息作为主要语义特征并作为先验信息;最后,通过图注意力神经网络将先验信息引入分类器,实现了借助分布头部数据丰富类的知识来提高尾部数据贫乏类性能的目标。在三个不同的数据集上将MLTC-LD与八个基线模型进行了广泛的比较分析。实验结果表明,MLTC-LD与最优的HGLRN相比精确度分别提高了3.5%、0.3%、1.5%,证明了该方法的有效性。

多视野精细分析下的弱监督目标定位算法

针对多尺度目标定位精度较差,难以捕获完整目标边界的问题,设计一种多视野精细分析模块并融入通道与空间注意力机制抑制背景噪声的干扰,获取多尺度目标的高分辨率特征。利用随机特征选取模块获取特征图随机位置的组合,聚合多个位置图获取最具辨别性的位置及其它位置的信息,融合浅层生成的类激活图与聚合类激活图获取细粒度位置信息,捕获完整的目标边界。与现有的弱监督定位方法相比,在解决多尺度目标定位效果差和局部最优问题上具有一定的优势。

煤矿安全隐患信息自动分类方法

人工分类方式难以满足海量煤矿安全隐患信息的分类要求,而基于概率统计的文本自动分类方法分类准确率较低。针对上述问题,提出了一种基于Word2vec和卷积神经网络的煤矿安全隐患信息自动分类方法。首先对隐患信息进行分词、去停用词等预处理,然后应用Word2vec来表征词之间的语义相似性关系,最后利用卷积神经网络提取隐患信息的局部上下文高层特征,并使用Softmax分类器实现隐患信息的自动分类。实验结果表明,该方法实现了端到端的自动分类,可有效提升分类的准确性和全面性。

结合剪枝与流合并的卷积神经网络加速压缩方法

深度卷积神经网络因规模庞大、计算复杂而限制了其在实时要求高和资源受限环境下的应用,因此有必要对卷积神经网络现有的结构进行优化压缩和加速。为了解决这一问题,提出了一种结合剪枝、流合并的混合压缩方法。该方法通过不同角度去压缩模型,进一步降低了参数冗余和结构冗余所带来的内存消耗和时间消耗。首先,从模型的内部将每层中冗余的参数剪去;然后,从模型的结构上将非必要的层与重要的层进行流合并;最后,通过重新训练来恢复模型的精度。在MNIST数据集上的实验结果表明,提出的混合压缩方法在不降低模型精度前提下,将LeNet-5压缩到原来的1/20,运行速度提升了8倍。

太原地区科学数据共享平台设计与实现

为了整合太原地区分散的科学数据资源,运用软件架构和Web Service技术,设计了太原地区科学数据共享平台,该平台包括门户层、共享业务层、核心服务层、资源管理层和网络平台层。数据中心采用"数据超市"理念进行功能组织;分中心基于Web Services技术,采用分布式数据管理的模式进行设计。两者的业务逻辑基于元数据的生命周期被串联成一个有机的整体。原型系统利用J2EE开发,实现跨平台部署。应用实践表明这种平台构架模式非常适于构建区域科学数据共享平台。

软件构件的ATE表示及其聚类方法

提出一种自动标签提取(ATE)构件表示方法,并设计基于ATE的模糊聚类方法。ATE表示能够包含比刻面分类更多的有效信息,并克服构件刻面分类可能产生的主观因素影响。模糊聚类使构件摆脱传统聚类的硬划分模式,可分别隶属于不同的簇,对构件检索提供更好的支持。在原型构件库中的对比实验证明该方法的可行性与有效性。

基于学习主动中心轮廓模型的场景文本检测

在场景文本检测领域,存在由于文本尺寸波动较大导致的小文本漏检、大文本欠检测和多尺度文本边界检测错误的情况。针对上述问题,提出一种基于学习主动中心轮廓模型的场景文本检测网络。在残差网络ResNet的基础上构建多尺度特征权重融合模型,对输入的场景文本图片进行多尺度特征提取和权重融合,并计算出最终的特征融合图,适应场景文本长宽比变化较大的情况。在此基础上,将融合后的特征图输入到学习主动中心轮廓模型预测文本框的中心点和边界,该模型为场景文本检测提供丰富先验知识,以解决多尺度文本检测框包含过多背景或部分包围文本造成的边界检测错误问题。在MSRA-TD500、IC13、IC15和IC17MLT数据集上的实验结果表明,该网络能够提高多尺度场景文本检测的准确率,其中在MSRA-TD50数据集上F-measure为0.83,相较于MSR方法提升1%,在IC13数据集上F-measure为0.91,相较于PixelLink网络提升2%,在IC15数据集上F-measure值为0.87,相较于PSENet网络提升1%,在IC17MLT数据集上F-measure值为0.74,相较于TridentNet网络提升1%。

基于无监督集成聚类的开放关系抽取方法

开放关系抽取(Open Relation Extraction, OpenRE)旨在从开放域语料库中抽取关系事实。大多数OpenRE方法通常局限于无监督方法提取命名实体之间的关系模式,然后将语义等价的模式聚类成一个关系簇,但由于缺少监督信息且聚类精度较低,影响了最终的关系抽取效果。为了进一步提高聚类性能,该文提出一种无监督集成聚类框架(Unsupervised Ensemble Clustering, UEC),它将无监督集成学习与基于信息度量的多步聚类算法相结合自主创建高质量伪标签,并以此作为监督信息改进关系特征的学习,从而引导聚类过程,获得更好的标签质量,最后通过多次迭代聚类发现文本中的关系类型。在FewRel和NYT-FB数据集上的实验结果表明,该文方法优于其他主流的基线OpenRE模型,F_(1)值分别达到了65.2%和67.1%。

基于多特征LSTM-Self-Attention文本情感分类

针对自然语言处理情感分析领域中情感分类的问题,提出了一种基于多特征LSTM-Self-Attention的文本情感分类方法。方法以词向量和词性向量为输入,利用LSTM网络模型提取文本的序列特征,并通过在模型中引入自注意力机制(self-attention),从序列特征中提取出句子的语法和语义特征,减少了任务的复杂度。上述方法避免了传统循环神经网络存在的梯度消失和梯度爆炸的问题,极大缩短单词长距离依赖特征之间的距离,提高了分类效果。最后使用中文电影评论数据集进行实验验证,结果表明该方法特征提取能力更强,使得情感分类的准确率提升了1.74%。

基于RDB-YOLOv4的煤矿井下有遮挡行人检测

针对煤矿井下数字化人员检测过程中行人易被大型设备遮挡而导致的误检、漏检等问题,提出了一种基于RDB-YOLOv4网络的煤矿井下有遮挡行人检测方法。该算法以YOLOv4为基础网络架构,在CSPDarknet-53特征提取网络中加入了残差密集块(residual dense block,RDB),对不同层次的特征实现跨层传递和融合,连续的连接保证了低级和高级特征信息的存储和记忆,使得完整有效的局部特征能准确预测被遮挡行人的信息。对比当前主流目标检测算法和遮挡处理检测算法,该算法在PASCAL VOC 2007公开数据集和煤矿井下行人数据集下有效提升了测试的平均精度(average precision,AP),相比YOLOv4在两组不同数据集测试的平均精度分别提升了2.74个百分点和3.5个百分点(IoU=0.5)。

NDIS程序设计和虚拟专用网客户端的实现

简要介绍了Windows平台下NDIS和NDIS中间层驱动程序的基本特点,着重介绍了NDIS中间层数据包管理以及它的设计方法。最后给出了基于NDIS中间层驱动程序的虚拟专用网(VPN)客户端的实现。

结合噪声网络的强化学习远程监督关系抽取

针对目前远程监督关系抽取任务中存在的错误标注问题,提出使用强化学习策略设计噪声指示器,通过与由关系分类器和噪声数据组成的环境相交互,动态识别每个关系类别的假正例与假负例,并为其重新分配正确的关系标签,从而将噪声数据转换成有用的训练样本,有利于提高远程监督关系抽取模型的性能;另外,在训练过程中,通过在策略网络权重上添加噪声,平衡策略网络的探索和利用问题,从而增强噪声指示器的探索能力,使噪声指示器更准确地选择出能够正确表达实体-关系的句子。在Freebase对齐NYT公共数据集上的实验结果表明,提出的方法可以显著提高远程监督关系抽取模型的性能,表明模型拥有识别并纠正噪声数据标签的能力,可以更好地学习关系特征。

结合Graph-FPN与稳健优化的开放世界目标检测

开放世界目标检测(OWOD)要求检测图像中所有已知和未知的目标类别,同时模型必须逐步学习新的类别以自适应更新知识。针对ORE方法存在的未知目标召回率低以及增量学习的灾难性遗忘等问题,提出一种基于图特征金字塔的稳健优化开放世界目标检测方法(GARO-ORE)。首先,利用Graph-FPN中的超像素图像结构以及上下文层和层次层的分层设计,获取丰富的语义信息并帮助模型准确定位未知目标;之后,利用稳健优化方法对不确定性综合考量,提出了基于平坦极小值的基类学习策略,极大限度地保证模型在学习新类别的同时避免遗忘先前学习到的类别知识;最后,采用基于知识迁移的新增类别权值初始化方法提高模型对新类别的适应性。在OWOD数据集上的实验结果表明,GARO-ORE在未知类别召回率上取得较优的检测结果,在10+10、15+5、19+1三种增量目标检测(iOD)任务中,其mAP指标分别提升了1.38、1.42和1.44个百分点。可以看出,GARO-ORE能够较好地提高未知目标检测的召回率,并且在有效缓解旧任务灾难性遗忘问题的同时促进后续任务的学习。

基于BERT-DeepCAN-CRF的中文命名实体识别方法

命名实体识别作为实现自然语言理解的关键步骤被广泛研究。传统机器算法需要大量特征工程而且领域自适应能力弱,准确率低。针对该问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)模型和深度卷积注意力网络DeepCAN(Deep Convolutional Attention Network)进行中文实体识别。该模型首先通过BERT预训练语言模型得到字的动态嵌入表示;然后,将得到的向量序列输入DeepCAN来获取序列化文本的上下文抽象特征;最后,通过CRF(Conditional Random Field)进行命名实体标注。实验表明,该模型在SIGHAN2006数据集上能够达到93.37%F1值,对比当前在该数据集上最好的实验结果提高了2.73%。

基于ILF-YOLOv3的人员在岗状态检测算法研究

为了解决员工在岗状态的实时监测和管理问题,提出了一种改进YOLOv3的目标检测算法,ILF-YOLOv3(Improve Loss and Feature-YOLOv3).首先,使用二分交叉熵损失函数和添加制衡权重参数的方式对YOLOv3算法的损失函数进行改进;然后,增加了模型多尺度特征检测模块的特征融合密度;最后,针对采样数据集单一性的问题,采用生成式对抗网络对其进行定向增强。实验结果表明,改进后的算法在自制的StaffSData-Strong数据集上mAP值提高了7.9%,召回率提高了14%.

基于Peer-to-Peer模型的增强OAI框架

近年来,解决数字资源共享问题的技术和标准成为研究热点。介绍了OAI协议的特色、优势和弱点,提出了一种基于Peer-to-Peer网络的支持分布式搜索的OAI框架。该框架增强了DataProvider搜索能力,保证了高可靠性和负载平衡。

基于层次结构感知的细粒度实体分类方法

针对现有细粒度实体分类(FGET)任务的工作多着眼于如何更好地编码实体和上下文的语义信息,而忽略了标签层次结构中标签之间的依赖关系及其本身的语义信息的问题,提出了一种基于层次结构感知的细粒度实体分类(HAFGET)方法。首先,利用基于图卷积网络(GCN)的层次结构编码器对不同层级标签之间的依赖关系进行建模,提出了基于层次结构感知的细粒度实体分类多标签注意力(HAFGET-MLA)模型和基于层次结构感知的细粒度实体分类实体特征传播(HAFGET-MFP)模型;然后,利用HAFGET-MLA模型和HAFGET-MFP模型对实体上下文特征进行层次结构感知和分类,前者通过层次编码器学习层次结构感知标签嵌入,并与实体特征通过注意力融合后进行标签分类,后者则直接将实体特征输入到层次结构编码器更新特征表示后进行分类。在FIGER、OntoNotes和KNET三个公开数据集上的实验结果表明,与基线模型相比,HAFGET-MLA模型和HAFGET-MFP模型的准确率和宏平均F1值均提升了2%以上,验证了所提方法能够有效提升分类效果。