基于样本动态权重的课程式半监督学习方法

本文针对半监督场景中极度匮乏的监督信号导致的标签传播困难、模型训练严重受噪声干扰等问题展开研究。伪标签化带来的噪声和低数据利用率导致的确认偏差,会随着自训练过程造成错误累积,进而形成不可逆偏差,损害性能。本文提出基于样本动态权重的课程式半监督学习方法,旨在通过非离散的课程设计,鼓励模型由简单至困难地利用样本,逐步构建分类面,进而缓解伪标签化过程中的噪声产生,增强模型泛化能力。从类内角度,提供弱监督信号的高置信度伪标签被混合用于构建特征原型,估计样本的学习难度。从类间角度,标签嵌入被用于评估类间语义相关度,课程式地减弱训练前期对语义相关类别间的辨别。在通用的半监督学习基准数据集上进行了广泛的实验和分析,证明了方法的有效性。

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。

蓄能器对连续压机钢带张紧液压系统的影响研究

为给蓄能器在连续压机钢带张紧液压系统中的应用提供理论参考,利用AMESim仿真软件分析蓄能器主要参数对液压系统稳定性的影响。结果表明,蓄能器能够有效减小连续压机钢带张紧液压系统的压力冲击,适当的预充气压力和连接管路直径,可以保证液压系统的快速响应和稳定。现场测试数据证明,在蓄能器预充气压力为16 MPa、连接管路直径为20 mm的条件下,钢带张紧液压系统的压力值稳定,运行可靠,有效地保证了人造板连续压机的稳定生产。

基于对比学习增强句子语义的事件检测方法

事件检测旨在识别文本中提到的事件及其类型。基于触发词的事件检测方法需要额外的人工成本标注事件触发词。本文从无触发词的文本语义提取出发,提出了一种基于对比学习增强句子语义的事件检测方法。该方法首先在事件检测数据集上通过自监督学习对预训练的语言模型基于转换器的双向编码表示器(BERT)调优,提高语言模型的领域适应性。然后利用掩码(mask)操作和丢弃(dropout)操作构建自监督对比样例,增加监督对比样例,实现了自监督对比和监督对比2种句子语义增强的方法。此外在训练过程中自动调整对比损失和事件分类的交叉熵损失的权重,以降低人工调参的成本,同时提高模型收敛速度。在自动内容抽取(ACE)2005中英文语料上的实验结果表明,本文方法比先前无触发词事件检测方法取得更好的结果,与利用预训练BERT模型微调的事件检测方法相比也具有优势。