避免近期偏好的自学习掩码分区增量学习

遗忘是人工神经网络在增量学习中的最大问题,被称为“灾难性遗忘”.而人类可以持续地获取新知识,并能保存大部分经常用到的旧知识.人类的这种能持续“增量学习”而很少遗忘是与人脑具有分区学习结构和记忆回放能力相关的.为模拟人脑的这种结构和能力,提出一种“避免近期偏好的自学习掩码分区增量学习方法”简称ASPIL.它包含“区域隔离”和“区域集成”两阶段,二者交替迭代实现持续的增量学习.首先,提出“BN稀疏区域隔离”方法,将新的学习过程与现有知识隔离,避免干扰现有知识;对于“区域集成”,提出自学习掩码(SLM)和双分支融合(GBF)方法.其中SLM准确提取新知识,并提高网络对新知识的适应性,而GBF将新旧知识融合,以达到建立统一的、高精度的认知的目的;训练时,为确保进一步兼顾旧知识,避免对新知识的偏好,提出间隔损失正则项来避免“近期偏好”问题.为评估以上所提出方法的效用,在增量学习标准数据集CIFAR-100和miniImageNet上系统地进行消融实验,并与最新的一系列知名方法进行比较.实验结果表明,所提方法提高了人工神经网络的记忆能力,与最新知名方法相比识别率平均提升5.27%以上.

情绪效价和动机强度对社会分享型提取诱发遗忘的影响

在互动提取过程中,说话者选择性地提取目标信息,会导致听者对非目标信息的遗忘,这被称为社会分享型提取诱发遗忘。本研究基于情绪、动机与记忆之间的密切联系,探索在互动提取范式中,情绪效价与情绪动机维度对社会分享型提取诱发遗忘的影响。实验1通过操纵情绪效价与项目类型,考察情绪效价对社会分享型提取诱发遗忘的影响;实验2通过操纵积极情绪效价下的动机维度与项目类型,考察积极情绪动机维度对社会分享型提取诱发遗忘的影响。结果发现,在积极情绪(和中性情绪)条件下会产生社会分享型提取诱发遗忘,消极情绪条件下则不会;且高趋近动机积极情绪条件下的社会分享型提取诱发遗忘效应量大于低趋近动机积极情绪。以上结果为了解情绪效价及相应的动机维度对社会分享型提取诱发遗忘的影响提供了实证依据,在社会互动任务中检验了情绪与动机影响记忆表现的关键作用。

融合遗忘机制的多模态知识追踪模型

知识追踪是构建自适应教育系统的核心和关键,常被用以捕获学生的知识状态、预测学生的未来表现。以往的知识追踪模型仅根据结构信息对问题、技能进行建模,无法利用问题、技能的多模态信息构造其相互依赖关系。同时,关于学生的记忆水平仅以时间做量化,未考虑不同模态对记忆水平的影响。因此,提出了融合遗忘机制的多模态知识追踪模型。首先,对问题、技能节点,以图文匹配作为训练任务优化单模态嵌入,并通过计算多模态融合后节点间的相似度,获得问题和技能的关联权重从而计算生成问题节点的嵌入。其次,通过长短期记忆网络获取带有遗忘因素的学生知识状态,并将其融入学生的答题记录中生成学生节点的嵌入。最后,根据学生的答题次数和不同模态的有效记忆率计算学生和问题间的关联强度,通过图注意力网络进行信息传播,预测学生对不同问题的答题情况。在两个真实课堂自采数据集上进行了对比实验和消融实验,结果表明所提方法比其他基于图的知识追踪模型具有更好的预测精度,且针对多模态和遗忘机制的设计能有效提升原始模型的预测效果。同时,通过对一个具体案例的可视化分析,进一步说明了所提方法的实际应用效果。

急性运动对负性情绪信息有意遗忘的影响

目的:探究急性运动是否可作为一种干预手段作用于大学生负性情绪信息的有意遗忘,以及情绪材料的性质和时间耦合对这一过程的影响。方法:将102名大学本科女生随机分为编码前运动组、编码后运动组和对照组,以10 min中等强度持续运动为运动干预方式,采用项目法有意遗忘范式,以低唤醒负性词、高唤醒负性词和中性词为记忆材料,比较不同组别被试在自由回忆正确数、再认的辨别力指数d’及相对应的有意遗忘效应值上的差异。结果:编码前运动组在再认任务中的有意遗忘效应值显著高于对照组,主要体现在编码前运动组忘记指令词语d’显著低于对照组,编码后运动组的自由回忆正确数呈现出低于编码前运动组和对照组的趋势。结论:编码前运动通过提升个体对信息的抑制控制能力促进有意遗忘的执行,编码后运动则通过干扰记忆巩固过程降低整体回忆表现。提示急性运动可提升个体主动抑制负性情绪信息记忆编码的能力,而在经历负性情绪事件后进行的急性运动能够帮助个体更快遗忘相关负性信息。

最小二乘算法优化及其在锂离子电池参数辨识中的应用

传统最小二乘法(LS)用于锂离子电池模型在线参数辨识精度低,通过带遗忘因子递推最小二乘算法能够有效地提高辨识精度,但固定的遗忘因子影响模型动态特性。遗忘因子的自适应处理能提高算法对动态系统的参数辨识能力,而目前的自适应方法容易忽略模型参数的稳定性,同时方法待定系数范围较大且难以确认。为了得到高精度且稳定性良好的模型参数,该文设计了一种精度和稳定性兼优且更简单的自适应遗忘因子递推最小二乘(AFFRLS)改进方法,并与其他AFFRLS、可变遗忘因子递推最小二乘(VFFRLS)进行仿真对比分析。结果表明,改进的AFFRLS能够在模型精度和参数稳定性取得更好的平衡,且对不同的在线工况具有良好的适用性。

不均衡小样本下多特征优化选择的生命体触电故障识别方法

针对现有的剩余电流保护装置无法有效识别触电事故的问题,该文提出了一种不均衡小样本下多特征优化选择的生命体触电故障识别方法。首先通过变分自编码器(VAE)对实验收集到的生命体触电小样本数据进行增殖以实现正负样本均衡;然后在时域上提取能够反映波形动态变化特性的23个特征量,并利用高斯核Fisher判别分析(GKFDA)与最大信息系数(MIC)法从中选择最优表达特征组;最后,提出基于遗忘因子的在线顺序极限学习机(FOS-ELM)算法实现生命体触电行为的鉴别。实验结果表明,所提方法利用不均衡小样本触电数据集就可以训练出一个优秀的分类模型,诊断准确率可达98.75%,诊断时间仅为1.33 ms。其优良的性能结合在线增量式学习分类器设计,使得模型具备新知识学习能力,具有极好的工程应用前景。

基于CSI和FO-MKELM的室内定位方法

针对Wi-Fi指纹定位精度低、维护繁琐、训练成本大的问题,提出一种基于信道状态信息(CSI)和改进多元核函数极限学习机(FO-MKELM)的室内定位方法。首先在预处理阶段对CSI幅值差和重构相位信息进行融合,以减少环境噪声的影响;其次,在离线训练阶段,采用分段式量子粒子群算法(QPSO)为模型寻找最优参数,以提高定位精度和泛化性能;然后,为抑制环境改变对定位性能的影响,引入在线增量学习和遗忘机制,添加部分新增数据进行增量学习持续更新定位模型,并设置数据有效期遗忘过旧数据减少不良影响;最终,在在线预测阶段,将模型输出与标签库进行匹配获得更为准确的坐标。在空旷楼道和复杂实验室两种不同的环境下进行实验验证,该算法相比其他定位方法在定位精度和长期稳定性上都有所提升。

基于变遗忘因子的改进卡尔曼滤波锂电池荷电状态估算研究

目的 为了解决锂电池在不同放电阶段和噪声干扰下荷电状态(SOC)估算结果发散问题,方法 通过分析锂电池机理特性,查找影响估算结果的因素和原因。选取适当的数学模型并得到开路电压特性-荷电状态(OCV-SOC)试验曲线后,针对传统算法估算误差波动较大的问题,提出变遗忘因子递推最小二乘(VFF-RLS)与自适应平方根无迹卡尔曼滤波(ASRUKF)算法联合估算SOC。结果 以动态应力测试(DST)为例,遗忘因子最小二乘(FFRLS)算法的开路电压初期误差最大值为0.02 V,稳定后端电压误差为0.004~0.010 V,误差收敛时间约45 s;UKF算法的SOC估算初期最大误差为0.03,在400 s左右逐渐收敛到理论值附近,稳定后的波动误差为0.83%;VFF-RLS算法在相同的条件下,开路电压实验初期误差最大值为0.04 V,稳定后端电压误差为0.003~0.007 V,误差收敛时间约10 s;ASRUKF的SOC估算初期最大误差为0.1,随着算法迭代,200 s内收敛到理论值附近,稳定后最大波动误差0.413%。结论 为了保证算法适用的普遍性,在不同初值下观察算法的收敛性,结果表明,在复杂的试验工况下,与传统算法比较,改进算法的参数辨识速度明显加快,精度提高,在估算SOC阶段,波动范围明显变小;在实际值误差较大的情况下,依然能够迅速收敛,证明本文方法的改进切实可行,可用于实际电池研究。

基于改进AFFRLS-AUKF的锂电池SOC估计

准确估计锂电池荷电状态(SOC)是保障电池管理系统安全稳定运行的重要前提之一。为了提高锂离子电池SOC估计精度,提出一种改进自适应遗忘因子最小二乘法(AFFRLS)与自适应无迹卡尔曼滤波算法(AUKF)联合估计锂离子电池SOC的估计方法。利用改进AFFRLS对已建立的二阶RC等效电路模型进行参数辨识,再结合AUKF估计锂离子电池SOC。通过动态应力测试(DST)工况和城市道路循环(UDDS)工况验证得到联合估计方法的平均绝对误差为0.44%,均方根误差为0.61%,表明改进的AFFRLS-AUKF方法可提高参数辨识及电池SOC估计的准确性和鲁棒性。

基于主体遗忘行为的产学研协同创新最优网络结构

探究产学研协同创新中的知识扩散最优网络结构对提升创新效率具有重要意义。现有关知识扩散过程中的遗忘机制大多被视为指数衰减,且主要关注企业之间的知识扩散,鲜有学者将主体知识遗忘行为纳入产学研协同创新最优网络结构的研究中。本文在现有知识交互模型上加入了遗忘系数,基于仿真方法,探究了主体遗忘行为对产学研协同创新绩效的影响及不同条件下产学研协同创新绩效提升的最优网络结构。结果表明:主体遗忘行为降低了整体绩效,弱化了个体之间的知识差异;在不同的主体知识遗忘率下,最优知识网络结构是不同的。据此,从平均路径长和集聚度视角提出了优化网络结构提升协同创新绩效的建议。

基于改进初值带遗忘因子的递推最小二乘法的锂电池参数辨识

锂电池荷电状态(state of charge,SOC)的准确估计依赖于精确的锂电池模型参数。在采用带遗忘因子的递推最小二乘法(forgetting factor recursive least square,FFRLS)对锂电池等效电路模型进行参数辨识时,迭代初始值选取不当会造成辨识精度低、收敛速度慢的问题。为此,将电路分析法与FFRLS相结合,提出基于改进初值带遗忘因子的递推最小二乘法(improved initial value-FFRLS,IIV-FFRLS)。首先,通过离线辨识得到各荷电状态点对应的等效电路模型参数并进行多项式拟合;然后,利用初始开路电压(open circuit voltage,OCV)和OCV-SOC曲线获得初始SOC,代入参数拟合函数得到初始参数;最后,将初始参数带入递推公式得到IIV-FFRLS迭代初始值。对4种锂电池工况进行参数辨识,结果表明:与传统方法相比,IIV-FFRLS的平均相对误差、收敛时间分别减小58%、23%以上;IIV-FFRLS具有更高的辨识精度与更快的收敛速度。

船舶拥堵水域通行能力预测技术

针对船舶交通流量大、水域繁忙情况下,通行能力预测难度过高的问题,提出船舶拥堵水域通行能力预测技术。利用船舶坐标位置以及航行速度,确定船舶状态,建立船舶航行队列模型。依据船舶领域模型确定船舶航行对应的椭圆形区域,作为船舶拥堵水域的领域。确定船舶领域内,影响航道容量的相关因素。设置船舶密度、船舶航行速度等水域通行能力影响指标,作为长短时记忆网络的输入。长短时记忆网络通过遗忘门、输入门以及输出门3个门控单元,选择保留或遗忘输入的数据,输出船舶拥堵水域通行能力预测结果。实验结果表明,该技术能够有效预测船舶拥堵水域通行能力,提高航道利用率,保障水域交通安全性。

基于改进UKF的自动落布车位姿估计

自动落布车位姿估计的准确性是影响其在纺织车间内同时定位与地图构建(simultaneous localization and mapping,SLAM)的关键因素。在进行自动落布车位姿估计时,遇到观测噪声异常变化或噪声协方差与算法不匹配等情况时,无迹卡尔曼滤波(unscented Kalman filter,UKF)难以准确估计小车的位置和姿态。针对此问题,将误差序列协方差估计与遗忘因子同时引入UKF进行改进,提出了一种改进的自适应UKF自动落布车位姿估计算法。通过误差序列协方差估计对观测噪声协方差矩阵R进行调整,引入遗忘因子对R进行自适应更新,进而得到自动落布车位姿的最优估计。实验结果表明,在高斯噪声环境下,改进的UKF算法比其他算法具有更好的鲁棒性和估计精度。改进后的UKF位姿估计算法代入Cartographer算法后建图误差值减小,表明此算法能够在室内复杂环境下达到更加精确的位姿估计。

永磁同步电机多参数辨识研究

针对表贴式永磁同步电机(surface permanent magnet synchronous motor, SPMSM)在运行过程中参数时变问题,采用带遗忘因子的递推最小二乘法(forgetting factor recursive least squares, FFRLS)在线辨识永磁磁链ψ_f、定子电阻R_s和电感L_s。对SPMSM数学模型进行分析,结合空间矢量脉宽调制技术,实现矢量控制;分析不同参数发生变化对电机控制性能的影响,并建立矢量控制策略下FFRLS参数辨识和递推最小二乘法(recursive least squares, RLS)辨识的系统仿真模型,进行对比仿真分析。仿真结果表明,该算法能较好地进行辨识,辨识快速收敛,辨识精度高。

基于“形神合一”探讨轻度认知障碍患者认知与步行的交互关系

形与神俱、神主形从,形神合一才能维持正常的生命活动及功能表现。由于形具而神生,形弱而神衰,而步态障碍是轻度认知障碍(Mild Cognitive Impairment,MCI)独立的危险因素,可想其步态弱者必气血受损,精津不足,继而导致认知功能下降及痴呆的发生。脑主神明,神乃形之主,神主宰着脏腑功能活动和气血津液精的运行,神伤即MCI大脑皮层等结构网络完整性的破坏而形疲,导致步态障碍。基于形神合一理论探讨MCI患者认知与步行的交互关系,强调“形、神”同调,为MCI的诊疗提供理论依据。

基于等效电路模型和数据驱动模型融合的SOC和SOH联合估计方法

针对电池SOC与SOH估计结果相互影响,单独估计准确度不高的问题,该文提出了一种基于等效电路模型和数据驱动模型融合的SOC和SOH联合估计方法。通过构建考虑老化和SOC的电池二阶RC等效电路模型,采用带遗忘因子的递推最小二乘法,在不同SOC和SOH的情况下,对电池的参数进行在线辨识,实现电池参数在线辨识与电池SOC和SOH估计的耦合。以锂离子电池自SOC=20%到恒流充电阶段结束所需时间为输入,电池SOH值为输出,训练GPR模型,实现电池SOH估计。将输出的SOH估计值与电池的额定容量相乘,得到电池的实际容量,更新二阶RC状态空间方程,采用扩展卡尔曼滤波算法对电池进行SOC估计,实现电池SOH估计和SOC估计之间的联合。采用牛津大学电池退化数据集和NASA随机使用电池数据集进行算法验证,结果表明,所提联合估计方法能够在电池的生命周期内较准确地跟随锂离子电池SOC和SOH的真实值。

基于多行为特征嵌入记忆网络的知识追踪模型

【目的】为了充分利用交互记录中的学习和遗忘特征,提出了一种基于多行为特征嵌入记忆网络的知识追踪模型(MFKT).该模型考虑了学习过程中的学习和遗忘两种行为。【方法】首先,从交互记录中提取学习和遗忘两大特征,然后将提取到的学习特征通过标量交叉方式嵌入记忆网络,同时将遗忘特征通过向量组合的方式嵌入,用于增强其对于学生答题序列的学习能力。此外,还考虑到了不同学生回答完成后的知识增长差异,在原先记忆网络的基础上增加了一个知识增长层,用于计算学生答题得到的知识增长。【结果】通过在公开数据集上的实验表明,MFKT更加符合学生的真实学习规律,能够实现对学生知识状态更加精准的追踪。

水平张量重力梯度仪垂向运动误差实时补偿方法

为减小垂向运动对水平张量重力梯度测量的影响,提出了一种水平张量重力梯度仪垂向运动误差实时补偿方法。首先,分析了载体垂向运动引起重力梯度动态测量误差的机理,建立了综合安装误差角的回归方程;其次,在递推公式中引入遗忘因子,提高状态估计的跟踪速度;再次,针对量测量易受载体运动干扰的问题,通过Sage-Husa自适应滤波的方法实时适应不同量级的动态干扰,对综合安装误差角进行实时估计;最后,利用得到的综合安装误差角估计结果,实现重力梯度垂向运动测量误差的实时补偿。船载实验数据处理结果表明,与传统补偿方法相比,所提方法可将重力梯度内符合精度由30E@1km提高至15E@1km。

持续学习的研究进展与趋势

随着深度学习技术的发展与应用,特别是资源受限场景和数据安全场景对序列任务和数据进行快速学习需求的增多,持续学习逐渐成为机器学习领域关注的一个新热点.不同于人类所具备的持续学习和迁移知识的能力,现有深度学习模型在序列学习过程中容易遭受灾难性遗忘的问题.因此,如何在动态、非平稳的序列任务及流式数据中不断学习新知识、同时保留旧知识是持续学习研究的核心.首先,通过对近年来持续学习国内外相关工作的调研与总结,将持续学习方法分为基于回放、基于约束、基于结构三大类,并对这3类方法做进一步的细分.具体而言,根据所使用的样本来源将基于回放的方法细分为采样回放、生成回放、伪样本回放3类;根据训练约束的来源将基于约束的方法细分为参数约束、梯度约束、数据约束3类;根据对于模型结构的使用方式将基于结构的方法细分为参数隔离、模型拓展2类.通过对比相关工作的创新点,对各类方法的优缺点进行总结.其次,对国内外研究现状进行分析.最后,针对持续学习与其他领域相结合的未来发展方向进行展望.

记忆与遗忘垂直空间隐喻的心理现实性及映射关系

通过4个实验探究记忆、遗忘与垂直空间之间的隐喻关系。实验1采用迫选法发现记忆、遗忘概念与垂直方位存在隐喻联结。在实验2中,对随机呈现在上方或下方的单字识记发现上方字回忆量优于下方字。实验3、实验4采用有意遗忘范式分别在编码和提取阶段启动垂直方位和记忘属性发现,材料呈现方位更易影响记忆结果,而材料的遗忘属性更易影响不同方位的按键速度。结果表明,记忆与遗忘的垂直空间隐喻具有心理现实性,具体为:“上”表征记忆,“下”表征遗忘,其映射方式是双向的、不平衡的。