持续学习的研究进展与趋势

随着深度学习技术的发展与应用,特别是资源受限场景和数据安全场景对序列任务和数据进行快速学习需求的增多,持续学习逐渐成为机器学习领域关注的一个新热点.不同于人类所具备的持续学习和迁移知识的能力,现有深度学习模型在序列学习过程中容易遭受灾难性遗忘的问题.因此,如何在动态、非平稳的序列任务及流式数据中不断学习新知识、同时保留旧知识是持续学习研究的核心.首先,通过对近年来持续学习国内外相关工作的调研与总结,将持续学习方法分为基于回放、基于约束、基于结构三大类,并对这3类方法做进一步的细分.具体而言,根据所使用的样本来源将基于回放的方法细分为采样回放、生成回放、伪样本回放3类;根据训练约束的来源将基于约束的方法细分为参数约束、梯度约束、数据约束3类;根据对于模型结构的使用方式将基于结构的方法细分为参数隔离、模型拓展2类.通过对比相关工作的创新点,对各类方法的优缺点进行总结.其次,对国内外研究现状进行分析.最后,针对持续学习与其他领域相结合的未来发展方向进行展望.

基于约束的局部-全局LWF链图结构学习算法

LWF链图结构学习旨在发现链图中所有节点的父节点、子节点、邻居节点以及配偶节点.然而,目前最新的LWF链图结构学习算法是基于Growing-Shrinking(GS)思想得到节点的局部结构(即节点的马尔科夫毯)来学习全局网络结构,该类算法的条件独立测试是以整个马尔科夫毯为条件集的,为了保证条件独立测试的可靠性,算法要求样本数量是马尔科夫毯大小的指数级,从而使得算法的数据效率较差.针对该问题,本文提出了一种基于约束的局部-全局LWF链图结构学习算法.该算法通过迭代的学习邻接集和配偶集来降低对数据样本量的要求;与此同时,在学习邻接集时采用后向策略保障了条件独立测试的正确性.算法的基本思想如下:首先学习网络中每个节点的马尔科夫毯,将节点马尔科夫毯学习拆分为学习邻接集和学习配偶集;然后利用节点的马尔科夫毯信息恢复网络骨架,根据链图复合体有向边的特点,利用条件独立测试确定网络复合体有向边,从而恢复链图结构.理论分析证明了该算法的正确性,在仿真数据集和标准数据集上的实验测试验证了算法的有效性.

基于OBE的数据科学与大数据技术专业建设与实践

为解决我国大数据时代面临的人才短缺问题,通过增设数据科学与大数据技术本科专业,培养大量高素质大数据人才,推动大数据产业的深层次内涵发展。由于数据科学与大数据技术专业尚处于建设初期,专业建设面临诸多难题。为此,尝试将OBE理念引入数据科学与大数据技术专业建设中,结合地方、高校特色构建OBE学习成果评价、培养目标、课程体系、师资队伍和实践平台“五位一体”的专业建设模式。实践表明,该模式取得了良好的应用成效,对大数据人才培养模式革新具有积极的示范作用。

一种面向图像修复的局部优化生成模型

图像修复在照片的编辑、去除等方面有着广泛地应用。针对现有深度学习图像修复模型因受卷积算子感受野局限性的影响,导致修复结果存在结构扭曲或纹理模糊的问题,提出一种局部优化生成模型LesT-GAN,该模型由生成器和鉴别器两部分组成。其中,生成器部分由局部增强滑动窗口Transformer模块构成,该模块将深度卷积的平移不变性、局部性优势与Transformer的全局信息建模能力相结合,既能够覆盖较大范围的感受野又能实现局部细节的优化。鉴别器部分是一种基于掩码指导和补丁的相对平均鉴别器,通过估计给定的真实图像比生成图像更真实的平均概率,模拟缺失区域边界周围的像素传播,使生成器训练时能够直接借助真实图像生成更清晰的局部纹理。在Places2,CelebA-HQ和PairsStreet的3种数据集上,与其他先进的图像修复方法进行对比实验,LesT-GAN在L_(1)和FID评价指标方面分别有10.8%和41.36%的提升。实验结果表明,LesT-GAN在多个场景中有更好的修复效果,同时能很好地泛化到比训练时分辨率更高分辨率的图像中。

基于实例加权和双分类器的稳定学习算法

稳定学习的目标是利用单一的训练数据构造一个鲁棒的预测模型,使其可以对任意与训练数据具有相似分布的测试数据进行精准的分类.为了在未知分布的测试数据上实现精准预测,已有的稳定学习算法致力于去除特征与类标签之间的虚假相关关系.然而,这些算法只能削弱特征与类标签之间部分虚假相关关系并不能完全消除虚假相关关系;此外,这些算法在构建预测模型时可能导致过拟合问题.为此,提出一种基于实例加权和双分类器的稳定学习算法,所提算法通过联合优化实例权重和双分类器来学习一个鲁棒的预测模型.具体而言,所提算法从全局角度平衡混杂因子对实例进行加权来去除特征与类标签之间的虚假相关关系,从而更好地评估每个特征对分类的作用.为了完全消除数据中部分不相关特征与类标签之间的虚假相关关系以及弱化不相关特征对实例加权过程的干扰,所提算法在实例加权之前先进行特征选择筛除部分不相关特征.为了进一步提高模型的泛化能力,所提算法在训练预测模型时构建两个分类器,通过最小化两个分类器的参数差异来学习一个较优的分类界面.在合成数据集和真实数据集上的实验结果表明了所提方法的有效性.

基于自适应正则化的无偏场景图生成方法

场景图生成旨在给定一张图片,通过目标检测模块得到实体和实体间关系的视觉三元组形式,即主语、关系和宾语,构建语义结构化表示。场景图可应用于图像检索和视觉问答等下游任务。然而,由于数据集中的实体间关系呈长尾分布,因此现有模型在预测关系时更偏向于粗粒度的头部关系。这样的场景图无法对下游任务起到辅助性作用。以往工作普遍采用再平衡策略,如重采样和重加权的方法,来解决长尾问题。但模型反复学习尾部关系样本,易出现过拟合现象。为了解决上述问题,文中提出了一种自适应正则化无偏场景图生成方法。具体来说,该方法通过设计一个基于先验关系频率的正则项,自适应地调整模型全连接分类器权重,从而实现对模型的平衡预测。所提方法在场景图VG(Visual Genome)数据集上进行了实验,实验结果表明,该方法不仅能防止模型过拟合,也能缓解关系长尾分布问题对场景图生成的负面影响,且最先进的场景图生成方法在结合所提方法后能更有效地改善无偏场景图生成的性能。

基于信息熵的决策表约简

从信息论的角度,对决策表中属性重要性的大小进行度量,并在此基础上,提出了一种基于互信息大小的知识约简算法,实例表明能够有效得到决策表的近似最小约简。

基于邻域模型的K-means初始聚类中心选择算法

传统的K-means算法由于其方法简单,在模式识别和机器学习中被广泛讨论和应用。但由于K-means算法随机选择初始聚类中心,而初始聚类中心的选择对最终的聚类结果有着直接的影响,因此算法不能保证得到一个唯一的聚类结果。利用邻域模型中对象邻域的上下近似,定义了对象邻域耦合度和分离度的概念,给出了对象在初始聚类中心选择中的重要性,提出了一种初始聚类中心的选择算法。另外,分析了邻域模型中三种范数对聚类精度的影响,并和随机选择初始聚类中心、CCIA选择初始聚类中心算法进行了比较,实验结果表明,该算法是有效的。

基于SQL语言的粗糙数据查询

查询在数据库中十分重要,而SQL是检索数据的一种强有力的工具。本文提出一种RRDB的粗糙查询方法,它扩展了标准SQL语言。实例表明了这种方法具有较好的应用前景。

基于短语模式的文本情感分类研究

文本倾向识别的研究在诸多领域有着广阔的发展前景,短语模式的文本情感分类是问答系统、信息安全、网上调查等研究的基础。本文从语言学角度出发,首先,分析词典中对词语义定义的特点,采用"情感倾向定义"权重优先的计算方法获得短语中各词的语义倾向度,然后分析短语中各词组合方式的特点,提出中心词概念来对各词的倾向性进行计算来识别短语的倾向性和倾向强度。实验表明,本文的方法对短语的倾向分类识别效果较好,可为更大粒度的文本倾向识别打好基础,具有一定的实用价值。

基于新的距离度量的K-Modes聚类算法

传统的K-Modes聚类算法采用简单的0-1匹配差异方法来计算同一分类属性下两个属性值之间的距离,没有充分考虑其相似性.对此,基于粗糙集理论,提出了一种新的距离度量.该距离度量在度量同一分类属性下两个属性值之间的差异时,克服了简单0-1匹配差异法的不足,既考虑了它们本身的异同,又考虑了其他相关分类属性对它们的区分性.并将提出的距离度量应用于传统K-Modes聚类算法中.通过与基于其他距离度量的K-Modes聚类算法进行实验比较,结果表明新的距离度量是更加有效的.

一种基于颜色矩和多尺度纹理特征的彩色图像检索方法

特征提取是基于内容的图像检索的关键步骤,仅基于一种特征的方法只能表达图像的部分属性。由于对图像内容的描述比较片面,缺乏足够的分辨能力,在图像有较大变化的场合常不能取得理想的检索效果。提出了一种基于图像颜色和纹理的图像检索方法,颜色特征采用颜色矩,纹理特征采用小波多尺度高频子带的方差特征。采用组合特征进行图像检索,选择MPEG推荐的ANMRR方法对两种特征间的权值分配进行分析。实验表明,该方法具有很好的检索性能。

基于粗糙集的改进K-Modes聚类算法

传统的K-Modes算法采用简单匹配的方法来计算对象之间的距离,并没有充分考虑同一属性下的两个不同值之间的相似性。基于粗糙集中的上、下近似,提出了一种新的距离度量,并重新定义了类中心,对传统K-Modes算法进行了改进。与其他改进K-Modes算法进行了比较,实验结果表明,基于粗糙集的改进K-Modes算法有效地提高了聚类精度。

融合多因素的兴趣点协同推荐方法研究

兴趣点(Point-of-Interest,POI)推荐是为用户推荐可能感兴趣的地理位置的一项任务,是基于位置社交网络(Location-Based Social Networks,LBSN)服务中的重要研究内容。针对目前POI推荐准确率较低、推荐结果缺乏个性化、情感倾向因素融入差等问题,在综合分析兴趣点的地理位置、分类偏好、流行度、社交与情感倾向等相关影响因素的基础上,提出了融合多因素的兴趣点协同推荐模型(GCSR)。首先,根据POI地理位置数据计算地理相关分数;其次,根据用户的类别偏好,结合POI流行度定义分类偏好分数;然后,根据社交关系计算用户之间的社交关系强度,通过挖掘评论文本计算用户的情感倾向分数,并将二者与协同过滤推荐技术有效结合,从而得到社交情感分数;最后,将地理相关分数、分类偏好分数与社交情感分数有效融合,向用户推荐Top-N兴趣点。在Foursquare真实签到数据集上进行的多组对比实验显示,与基线模型中最好的JRA相比,GCSR模型能够获得更好的推荐效果,准确率和召回率平均提高了1.7%和0.6%。

面向中文客户评论的产品属性抽取方法研究

针对现有的中文客户评论产品属性识别方法存在的不足,通过采用词法分析、句法分析、同义词词林等多项技术和资源,挖掘真实语料中蕴藏的语言知识,提出了一种基于模板的产品属性识别方法。该方法对评论语料进行词法、句法分析和人工标注,从标注结果中综合分析和归纳评论句的全局语言规则,提取属性词和评价词之间的词性和依存关系序列,借助同义词词林构建产品属性模板,使用属性模板识别产品属性。对比实验结果表明了提出方法的有效性。

基于分类型矩阵对象数据的MD fuzzy k-modes聚类算法

传统的聚类算法一般是对单值属性数据进行聚类.但在许多实际应用中,每个对象通常被多个特征向量所描述.例如,顾客在购物时可能同时购买多个产品.由多个特征向量描述的对象称为矩阵对象,由矩阵对象构成的数据集称为矩阵对象数据集.目前,针对矩阵对象数据聚类算法的研究相对较少,还有很多问题有待解决.利用fuzzy k-modes算法的聚类过程,提出一种基于矩阵对象数据的matrix-object data fuzzy k-modes(MD fuzzy k-modes)聚类算法.该算法结合模糊集的概念引入模糊因子β,重新定义了矩阵对象间的相异性度量,并给出类中心的启发式更新算法.最后,在5个真实数据集上验证了MD fuzzy k-modes算法的有效性,并分析了模糊因子β与隶属度w之间的关系.大数据时代,利用MD fuzzy k-modes算法对多条记录进行聚类,能更易发现顾客的消费偏好,从而做出更有针对性的推荐.

面向大数据的海云数据系统关键技术研究

由于数据产生成本的急速下降,人类社会产生的数据不仅以指数级别增长,而且数据的结构变得日趋复杂,使得传统的数据分析技术遇到了极大的挑战。如何对大量复杂数据进行分析和挖掘,从中提取有价值的知识用于决策,已经成为产业界和学术界的广泛关注问题,在一些国家已上升到国家战略层面。本文介绍了大数据的基本概念、特征和面临的科学问题,总结了中国科学院战略性先导科技专项"面向感知中国的新一代信息技术研究"中"海云数据系统关键技术研究与系统研制"课题的一些先期成果,为开发大数据管理、分析和挖掘系统提供一些参考依据。

基于新的相异度量的模糊K-Modes聚类算法

传统的模糊K-Modes聚类算法采用简单匹配方法度量对象与Mode之间的相异程度,没有充分考虑Mode对类的代表程度,容易造成信息的丢失,弱化了类内的相似性。针对上述问题,通过对象对类的隶属度反映Mode对类的代表程度,提出一种新的相异度量,并将它应用于传统的模糊K-Modes聚类算法。与传统的K-Modes和模糊K-Modes聚类算法相比,该相异度量是有效的。

面向短文本分析的分布式表示模型

短文本的分布式表示已经成为文本数据挖掘的一项重要任务.然而,直接应用分布式表示模型Paragraph Vector尚有不足,其根本原因是其在训练过程中并没有利用到语料库级别的信息,从而不能有效改善短文本中语境信息不足的情况.鉴于此,提出了一种面向短文本分析的分布式表示模型——词对主题句向量模型(biterm topic paragraph vector,BTPV),该模型通过将词对主题模型(biterm topic model,BTM)得出的主题信息融入Paragraph Vector中,不仅使得模型训练过程中利用到了全局语料库的信息,而且还利用BTM显性的主题表示完善了Paragraph Vector隐性的空间向量.实验采用爬取到的热门新闻评论作为数据集,并选用K-Means聚类算法对各模型的短文本表示效果进行比较.实验结果表明,基于BTPV模型的分布式表示较常见的分布式向量化模型word2vec和Paragraph Vector来说能取得更好的短文本聚类效果,从而显现出该模型面向短文本分析的优势.

基于谱聚类的二分网络社区发现算法

二分网络是一类特殊的网络,在探索网络深层结构上具有重要作用。针对二分网络社区划分方法仍存在划分精度不高的问题,应用标准化谱聚类,提出了二分网络社区发现算法——谱聚类交互算法(SPCI)。首先,根据二分网络中两类节点之间的连边关系,构建相似性矩阵;然后,利用谱聚类算法将其中一类节点聚类;最后,利用交互度指标实现二分网络的社区划分。在人工数据和真实数据上的验证表明,SPCI不仅拥有比资源分布矩阵算法、边集聚系数算法和联合谱聚类算法更高的准确性和模块度,而且可以较为准确地确定社区划分个数。