基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%~4%的准确率。

基于氧化物基电解质栅控晶体管突触的关联学习

电解质栅控晶体管(Electrolyte-gated transistors,EGTs)的沟道电导连续可调特性使其在构建神经形态计算系统中具有巨大应用潜力。本工作以非晶态Nb_(2)O_(5)作为沟道材料,Li_(x)SiO_(2)作为栅电解质材料,制备了一种具备低沟道电导(~120 nS)的EGT器件。该器件利用Li+嵌入/脱出Nb_(2)O_(5)晶格导致的沟道电导连续可逆变化,模拟了神经突触的短程可塑性(Short-term plasticity,STP)、长程可塑性(Long-term plasticity,LTP)以及STP向LTP的转变等功能。基于这种EGT突触特性,本工作设计了关联学习电路,实现了突触权重的负反馈调节,并模拟了“巴普洛夫的狗”经典条件反射行为。这些结果展现出EGT作为神经突触器件的巨大潜力,为实现神经形态计算硬件提供了器件参考。

关联学习:关联关系挖掘新视角

关联关系挖掘与发现是大数据挖掘与分析的重要基础,现有的关联关系挖掘方法多是对数据进行统计分析,对未知数据缺少关联判别作用.尝试从学习的角度进行关联关系挖掘,给出了关联学习的形式化定义和相关概念,并根据关联学习定义构建学习数据集.具体地构建了2类关联图像数据集(two class associated image data sets,TAID),利用卷积神经网络提取关联特征,然后分别用softmax函数和K近邻算法判别关联关系,基于此提出3种关联关系判别器:关联图像卷积神经网络判别器(associated image convolutional neural network discriminator,AICNN)、关联图像LeNet判别器(associated image LeNet discriminator,AILeNet)和关联图像K近邻判别器(associated image K-nearest neighbor discriminator,AIKNN).3种关联判别器在TAID数据集上进行测试,AICNN在64×64像素90000个训练样本上的判别精度达0.8217,AILeNet在256×256像素22500个训练样本上的判别精度达0.8456,AIKNN在256×256像素22500个训练样本上的判别精度达到0.8664.这3种关联判别器有效地证明了学习角度挖掘关联关系的可行性.

基于普职融通的教育与学生未来发展的有效衔接——美国加利福尼亚州高中关联学习模式探究

多样化发展是当前高中教育发展的趋势和主题。而我国普通高中教育存在以"升学"为单一导向的倾向,不利于实现培养全面发展创新性人才的功能。美国加利福尼亚州高中关联学习(Linked Learning)教育教学模式的实施取得了一定的成效,其面向全体学生,高中教师、高等教育工作者、雇主、社区领导等共同参与和协作,学校、社区、行业及企事业单位通力配合,学生自主选择和专业人员指导相结合,旨在实现升学、就业、工作胜任以及指导学生正确选择学习目标和规划职业生涯相结合的教育目标,以实现学生的全面、自由发展。这种教育教学模式对于我国高中教育多样化发展的质量评价机制、学制改革以及课程与教学设计有一定的借鉴价值。

条件性的关联学习和消退过程的性别差异

采用事件相关电位技术和条件性关联学习模型相结合的方法,考察在负性背景下男女性对一般事件的关联学习和消退是否存在差异。结果表明:在关联学习阶段,男性较女性表现出P2潜伏期缩短和N2波幅增大,而女性比男性表现出更大的P3波幅。在消退阶段,女性较男性出现更小的P2波幅和更大的P3/LPP波幅。这说明女性可能慢于男性探索到条件刺激和非条件刺激之间的关联,并且保持时间更久;男性在相对早期对消退产生更大的反应,女性则在相对晚期对消退投入更多的资源及努力。

语言石化与理性关联学习

语言石化现象在二语习得领域中受到普遍重视,人们从认知、神经生物学、社会语言学等角度探讨石化产生的原因。本文从连接主义出发,用理性关联学习理论分析母语习得和二语习得,揭示石化现象产生的原因,并提出采用干预选择性注意和提高突显性的方式,预防和解决石化问题。

基于Memetic算法和关联学习的社会网络聚类分析

针对社会网络系统中的社会属性知识没有被充分挖掘,网络结构优化算法学习能力弱的问题,提出了一种Memetic关联学习算法(MRLA)。研究了新算法的基本原理和各个算子,实现了社会属性信息的有效利用。新算法充分结合基于Memetic计算的准确性和基于社会关联学习的快速性,以3个真实社会网络数据集作为测试集,实验结果表明MRLA算法能够有效实现社会网络的聚类分析。

目标关联学习的端到端多目标检测与跟踪联合方法

在目前的多目标跟踪方法中,基于tracking-by-detection框架的跟踪方法因其较高的准确性而成为目前最主流的跟踪方法。该类方法通常采用独立的目标检测、特征提取和跟踪方法实现多目标跟踪,但这种多阶段的目标检测与跟踪方法效率低,不适合实时的应用场景。针对上述问题,提出了一种基于目标关联学习的端到端目标检测与跟踪方法,通过使用单一网络同时实现目标检测与层间特征融合的可区分特征提取,并采用目标关联网络学习目标间的特征关联性,端到端地实现多目标跟踪结果。实验结果表明:在MOT17数据集上,该方法的多目标跟踪综合准确度指标MOTA达到65.2,整体的预测速度达到9帧/s,比现有先进的多目标跟踪算法在速度和精度上都有明显提升,是一个可满足实际应用的高效目标检测和跟踪方法。

理性关联学习中的非理性现象——从连接主义角度探讨语言石化现象

在自然主义的阵营中,连接主义是强调用神经学和神经生物学解释包括语言习得在内的普遍认知的一个理论范式。本文通过连接主义关联学习理论对母语习得和二语习得中的理性学习和非理性现象的分析,揭示石化现象产生的原因,并提出采用干预选择性注意和提高突显性的方式,预防和解决石化问题。

基于高阶模式间关系的跨模态关联学习

针对多模态数据查询和基于模式之间低阶关系的查询方法存在的局限性,提出一种基于高阶模式之间关系的跨模态关联学习模型。在超网络的基础上,构建一种具有层次结构的分层超网络模型,由超网络数目等于模式数目的模式层和代表几种模式之间关系的集成层构成;经过训练的分层超网络就可以通过跨模态关联推理生成对于给定多模态查询的文本术语和视觉词关键字,实现多模态查询。基于大量带有图像文章的实验结果表明,提出模型可以提高生成关键字的相似性,生成文本术语,成功检索出具有小部分信息的文章。

基于记忆关联学习的小样本高光谱图像分类方法

高光谱图像(HSI)分类是遥感领域的基础应用之一。该任务旨在根据部分带类别标签的像素样本训练分类器,预测图像中剩余像素对应的类别标签。在实际应用中,由于人工标记样本成本过高,只能获得少量带标签的样本。针对少量样本无法准确描述数据分布从而导致训练过程过拟合的问题,提出一种基于记忆关联学习的小样本高光谱图像分类方法。考虑到无标签样本中包含大量与数据分布相关的信息,构建基于有标签样本记忆模块,并根据样本间的特征关联,利用不断更新的记忆模块学习无标签样本的潜在类别分布,构建无监督分类模型,并与传统的有监督分类模型进行联合学习。在多个高光谱图像分类数据集上的实验结果表明,所提方法能有效提升小样本高光谱图像分类的准确性。

体育赞助品牌效益的关联学习理论

基于国外相关文献梳理,论述体育赛事与赞助商的利益关联、体育赞助与品牌资产的关系,进而提出体育赞助品牌效益的关联学习理论。认为:"关联权"是体育赞助的核心产品;体育赞助关联学习包括评价性适应和前瞻性学习;体育赞助关联学习的影响因素包括关联线索显著性、学习效率参数、关联价值与预测价值。据此提出对体育赛事管理实践的启示。

基于知识社区与探究(KCI)、共享知识库的课程设计——关联学习的实证研究与应用分析

网络时代的学习,走向联通,而贯彻这一学习理念的重要举措之一,就是设计与关联学习相契合的在线课程。基于这一设计理念,以cMOOCs实践形态为个案构建的线课程设计框架模型,结合了关联主义学习特点,充分体现了知识社区与探究(Knowledge Community and Inquiry,KCI)模型的相关思路与方法。该教学法实践的结果表明:可动态生成基于共享知识库的关联学习课程生态,体现了学习者的知识创造、网络连接等关联学习的典型特征,并且基于群体知识创造动态生成的共享知识库,具有认知复杂性和认知科学性等特点,学习者的学习满意度较高。因此,该设计框架模型,可望为关联学习以及在线开放课程的开发,提供新思路。

关联学习社区知识生产过程的系统动力学建模及仿真分析

研究从系统动力学视角对关联学习社区知识生产的动态过程及其演化规律进行了建模与仿真分析。结果发现,关联学习社区中的知识共享、汇聚、整合以及创造各阶段共同构成了知识生产的系统过程,其中,知识共享阶段主要受到学习者知识位势和知识需求缺口的影响;知识汇聚阶段受到共享知识量、知识互补程度和知识契合度的影响;知识整合阶段受到汇聚知识量、专业知识和知识存量的影响;而知识创造阶段则受共享知识量和整合知识量的影响。此外,知识共享、知识汇聚、知识整合以及知识创造呈现出了动态协同的演化特性。在实际应用层面,研究提出了基于学习者、教师、资源和环境的教学干预策略以促进关联学习社区知识生产的有效发生。

重关联学习 促整体建构——“承前、研中、启后”的数学课堂融通教学

在数学课堂教学中,做好"承前""研中""启后",使学生能主动对所学知识进行联接、转换、同化、顺应,学会从一个知识点类推到几个知识点,让知识串成线、连成面、结成体。注重关联学习,促进整体建构,让思维走向深入,让课堂走向深远,让学习真正发生。

基于工人-工序关联学习率的批量加工周期研究

目的:批量零件加工周期的计算和优化常忽视人的因素,为此提出基于工人-工序关联学习率的批量加工周期研究。方法:首先,提出了工人-工序关联学习率以更贴近实际工况;然后,在考虑关联学习率的前提下,分析了在人工作业系统中生产线作业-零件平行移动模式下的批量零件加工周期的相关问题;最后,通过计算给出了考虑关联学习率的批量加工周期的计算公式、优化模型和在一定情况下的简化优化模型。结果:通过算例分析,验证了所提出模型的有效性,以及零件批量和学习率对加工周期的影响。结论:零件批量对加工周期优化存在影响,同时不同零件批量下学习率对加工周期的影响程度不同。

初中生几何关联学习的导引设计——以“平行四边形及其性质”为例

如何对教学内容进行整体分析,帮助初中生建立能体现数学学科本质和结构化的数学知识体系,进而使得学生在数学学习过程中形成科学的思维习惯,发展核心素养,这是教学实践中需要思考和解决的难题.教师通过几何关联学习设计教学活动,引领学生不断思考,探索几何知识之间的内在逻辑关系.

图像复原中自注意力和卷积的动态关联学习

目的 卷积神经网络(convolutional neural network, CNN)和自注意力(self-attention, SA)在多媒体应用领域已经取得了巨大的成功。然而,鲜有研究人员能够在图像修复任务中有效地协调这两种架构。针对这两种架构各自的优缺点,提出了一种关联学习的方式以综合利用两种方法的优点并抑制各自的不足,实现高质高效的图像修复。方法 本文结合CNN和SA两种架构的优势,尤其是在特定的局部上下文和全局结构表示中充分利用CNN的局部感知和平移不变性,以及SA的全局聚合能力。此外,图像的降质分布揭示了图像空间中退化的位置和程度。受此启发,本文在背景修复中引入退化先验,并据此提出一种动态关联学习的图像修复方法。核心是一个新的多输入注意力模块,将降质扰动的消除和背景修复关联起来。通过结合深度可分离卷积,利用CNN和SA两种架构的优势实现高效率和高质量图像修复。结果 在Test1200数据集中进行了消融实验以验证算法各个部分的有效性,实验结果证明CNN和SA的融合可以有效提升模型的表达能力;同时,降质扰动的消除和背景修复关联学习可以有效提升整体的修复效果。本文方法在3个图像修复任务的合成和真实数据上与其他10余种方法进行了比较,提出的方法取得了显著的提升。在图像去雨任务上,本文提出的ELF(image deeraining meets association learning and Transformer)方法在合成数据集Test1200上,相比于MPRNet(multi-stage progressive image restoration network),PSNR(peak signal-to-noise ratio)值提高了0.9 dB;在水下图像增强任务上,ELF在R90数据集上超过Ucolor方法 4.15 dB;在低照度图像增强任务上,相对于LLFlow(flow-based low-light image enhancement)算法,ELF获得了1.09 dB的提升。结论 本文方法在效果和性能上具有优势,在常见的图像去雨、低照度图像增强和水下图像修复等任务上优于代表性的方法。

支架式教学:关联性学习的生长点--以初中鲁迅作品学习任务群教学为例

以统编版初中语文教材中鲁迅作品学习任务群教学为例,通过各种学习任务群的群文教学,采用支架式教学法,搭建背景支架、情感支架、对话支架、升格支架等,实现学生的关联学习,促进知识的联结、贯通,以支架式教学作为关联性学习的有效生长点,探索深度学习的有效方式与策略,提升学生的语文素养。

生理性别和生理周期对条件性关联学习和条件性消退的影响:事件相关电位研究

研究显示条件性关联学习和条件性消退存在周期相关差异。近年来,学者们采用事件相关电位技术分析关联学习和消退的情况。本研究旨在用事件相关电位技术和条件性关联学习模型相结合的方法,考察生理性别和女性生理周期对条件性关联学习和条件性消退的影响。实验分为两个阶段:条件性关联学习阶段和消退阶段。在条件性关联学习阶段,在可预测情境下,条件刺激后100%匹配负性或中性图片;在不可预测情境下,条件刺激之后20%匹配负性或中性图片。在消退阶段,只出现条件性刺激,从不出现图片。结果显示,在条件性关联学习阶段,黄体期女性较男性表现增大的P2波幅,经期女性也较男性表现更大的P2波幅。在消退阶段,黄体期女性较男性体现更大的P2波幅,而男性和经期女性的P2波幅没有显著差异。以上结果表明女性生理周期影响条件性关联学习和条件性消退的性别差异,提示黄体期女性较男性对条件性关联学习和条件性消退投入了更多的注意资源,习得更强的条件刺激和非条件刺激之间的联结,且消退得更慢,这可能是女性月经前焦虑障碍的原因之一。