基于Dropout正则化的汉语框架语义角色识别

汉语框架语义角色识别是汉语框架语义分析的重要任务之一。该文基于汉语词语、词性等特征的分布式表示,使用一种多特征融合的神经网络结构来构建汉语框架语义角色识别模型。鉴于可用的训练语料规模有限,该文采用了Dropout正则化技术来改进神经网络的训练过程。实验结果表明,Dropout正则化的加入有效地缓解了模型的过拟合现象,使得模型的F值有了近7%的提高。该文进一步优化了学习率以及分布式表示的初始值,最终的汉语框架语义角色识别的F值达到70.54%,较原有的最优结果提升2%左右。

一种卷积神经网络的稀疏性Dropout正则化方法

Dropout是卷积神经网络中经典的正则化方法,能有效防止过拟合现象的产生.基于Dropout的卷积神经网络在训练时以完全随机的方式删除部分节点,产生的局部网络缺少对不同样本的区分性.针对上述问题,提出一种稀疏性Dropout正则化方法,该方法在训练时对节点引入稀疏性限制,根据激活值的大小选择节点被删除的概率,使网络以更高的概率删除激活值较低的节点,以保留更多激活值较高的节点,增强模型的特征提取能力.测试时恢复所有被删除的节点并保留训练时的参数,达到组合多个局部网络的目的.在公开数据集上的实验结果表明,将稀疏性与Dropout相结合的方法相较于传统方法具有更好的泛化能力.

基于dropout正则化的半监督域自适应方法

针对机器学习中训练样本和测试样本概率分布不一致的问题,提出了一种基于dropout正则化的半监督域自适应方法来实现将神经网络的特征表示从标签丰富的源域转移到无标签的目标域。此方法从半监督学习的角度出发,在源域数据中添加少量带标签的目标域数据,使得神经网络在学习到源域数据特征分布的同时也能学习到目标域数据的特征分布。由于有了先验知识的指导,即使没有丰富的标签信息,神经网络依然可以很好地拟合目标域数据。实验结果表明,此算法在几种典型的数字数据集SVHN、MNIST和USPS的域自适应任务上的性能优于现有的其他算法,并且在涵盖广泛自然类别的真实数据集CIFAR-10和STL-10的域自适应任务上有较好的鲁棒性。

基于恒虚警率的深度神经网络Dropout正则化方法

为进一步提高深度神经网络算法在嵌入式机器人系统中的物体识别性能,提出了一种基于恒虚警率检测的深度神经网络Dropout正则化方法(CFAR-Dropout)。首先,通过对权重进行量化,将权重和激活从浮点数减少到二进制值;然后,设计了一个恒虚警检测器(CFAR),保持一定的虚警率,自适应地删减一些神经元节点,优化参与计算的神经元节点;最后,在嵌入式平台PYNQ-Z2上,使用基于VGG16的优化模型对算法的物体识别性能进行实验验证。实验结果表明,与使用经典的Dropout正则化方法相比,CFAR-Dropout正则化方法的错误率降低了约2%,有效防止了过拟合;与原本的网络结构相比,参数量所占内存减少到8%左右,有效防止了过参数化。

基于非凸与不可分离正则化算法的电容层析成像图像重建

搅拌器内两相混合是化工生产中常见的现象,电容层析成像(ECT)技术主要对两相分布进行可视化重构,以达到监测的目的。受稀疏贝叶斯学习的启发,提出了一种非凸与不可分离正则化(NNR)算法重建ECT图像。在稀疏先验的基础上引入矩阵低秩特性,采用最大后验估计在潜在空间中提出一个新的优化问题,利用对偶变量将潜在空间的目标函数映射到原始空间进行迭代求解,用来恢复同时稀疏与低秩的矩阵。与凸近似L1范数相比,NNR算法可获得更准确的重建图像,同时比非凸可分离方法更容易收敛到全局最优解。为验证NNR算法的重建效果,通过数值仿真与静态实验的方法分别与其他5种算法进行重建对比。结果表明:NNR算法可以有效减少重建伪影,提升中心物体的重建质量,为搅拌器内两相分布提供了高质量的重建算法。

基于空间稀疏先验的冲击载荷识别频域非凸稀疏正则化方法

复合材料因其强度高、刚度高、密度小等优点而广泛应用于航空、航天等领域。但由于其抗冲击性差,监测作用于复合材料结构上的冲击载荷对于结构快速检测损伤十分重要。经典的Tikhonov正则化方法在欠定情况下求解载荷识别问题时容易在载荷非加载区识别出虚假力;近年来兴起的L1范数稀疏正则化方法在识别冲击载荷时常低估载荷的幅值。为了突破这些方法的局限以实现更高精度的冲击载荷识别,该研究基于冲击载荷的空间稀疏先验,提出一种新的冲击载荷识别频域非凸稀疏正则化方法。所提出的方法结合了广义极小极大凹惩罚项的非凸优势以及非凸保凸的特性,利用向前向后分裂算法进行凸优化求解,既避免了非凸优化容易收敛到局部最优解的问题,又促进了解的稀疏。分别在复合材料梁和复合材料层合板上开展了冲击载荷试验验证,试验结果表明,无论在正定还是欠定的情况下,所提出方法能在精准定位冲击位置的同时重构冲击载荷的时间历程,且该方法在促进解稀疏和识别载荷幅值方面的表现都优于L1正则化方法,其中幅值识别精度能比L1正则化提升50%以上。

修正-联合正则化的冲击载荷识别与响应重构

针对传统结构响应重构中正则化方法对冲击载荷峰值识别精度低、非加载区识别结果振荡且识别精度易受噪声干扰等问题,提出基于修正-联合正则化的冲击载荷识别与结构响应重构方法.基于状态空间模型,推导冲击载荷及结构响应的重构方程.对测量响应降噪,利用降噪后响应与识别响应的差值修正L2正则化解.联合L1正则化解的稀疏性优势,在保证冲击载荷非加载区域识别稳定的同时,获得更高精度的峰值识别结果,实现结构动态响应的重构.通过数值和实验案例验证了所提方法的有效性,对比了传递矩阵法和粒子滤波法的响应重构效果.结果表明,所提方法具有良好的抗噪性,能够较准确地识别冲击载荷,有效地重构结构动态响应.

基于正则化约束的方位伽马成像测井分辨率提高方法

随钻方位伽马测井可以用于地层放射性强度分析及地质导向、储层界面识别,但受到统计误差的影响非常大,曲线和成像分辨率不高,特别是在对比度不高的地层中,这种影响更明显。为了提高随钻方位伽马测井的成像分辨率,提出一种基于仪器响应特性对方位伽马数据进行正则化处理的方法,以获得更准确的地层放射性强度。首先根据探测器响应原理,采用数值模拟和实验方法得到方位伽马测井的响应灵敏函数,并验证得到的灵敏因子的准确性。然后,通过构造正则化计算公式、调整计算参数对测量的原始方位伽马数据进行处理。结果表明:经该方法处理后得到方位伽马曲线的聚焦性能、对比度得到提高,避免了过去使用线性求解方法所导致的过拟合问题,且伽马成像分辨率有显著增强,薄层识别能力也得到一定改善。该方法能够提供更加准确和清晰的成像结果,提高仪器的地质导向能力和储层钻遇率。

基于自适应整形正则化的AVAz反演

高角度裂缝的存在导致地下介质呈现方位各向异性,具有水平对称轴的横向各向同性介质中反射系数随方位角的变化可以近似表示为傅里叶级数的形式.傅里叶系数的大小取决于背景介质和裂缝参数,傅里叶系数的相位角取决于裂缝对称轴方向.常规傅里叶级数分析利用逐个时间采样点的方位地震数据求和计算傅里叶系数,计算结果易受噪声影响.为了提高傅里叶系数估计的抗噪性和稳定性,将常规傅里叶级数分析与AVAz(振幅随方位角变化)反演方法相结合,提出一种基于整形正则化的AVAz二阶傅里叶系数反演方法.常规整形正则化约束中的整形算子形态固定,提出一种基于方位各向异性强度的自适应整形算子,利用基于常规傅里叶级数分析的二阶傅里叶系数初步估计结果计算阻尼因子,结合一阶差分矩阵构建自适应整形算子,达到在反演中自适应地调整整形算子形态的目的.理论测试表明,基于自适应整形正则化的AVAz反演方法具有较强的抗噪性,能够有效提高二阶傅里叶系数反演的稳定性.实际叠前地震数据应用结果显示裂缝预测结果与测井资料相吻合,证明了基于自适应整形正则化AVAz反演进行裂缝预测的有效性.

基于稀疏正则化的加权叠加集成多标签分类

为了充分挖掘成对标签的相关性以及分类器权重与分类器选择之间的关系,提出一种基于稀疏正则化的加权叠加集成多标签分类方法。提出一个稀疏正则化的加权叠加集成模型,以便于多标签分类器的选择和集成成员的构建。利用分类器权值和标签相关性来提高分类性能。进一步提出基于加速近端梯度和块坐标下降技术的优化算法来有效地获得最优解。在多个数据集上的实验结果表明,该方法能够有效实现较高精度的多标签分类。

尺度因子正则化BN算法

针对进一步提升深度神经网络训练的收敛速度问题,借鉴批规范化(Batch Normalization,BN)算法的特点,提出尺度因子正则化BN算法。通过对BN层中的可学习尺度因子γ施加L2正则化,使得γ得到衰减,进而参数的梯度上界降低,优化空间更加平滑。基于VGG16 Net与AlexNet,在cifar10、cifar100及裂缝图像数据集上进行该算法与BN算法的图像分类对比实验,结果表明该算法不仅提高了网络训练的收敛速度,而且在相同训练次数下提高了准确率。

基于重加权L1的ATpV正则化叠前反演方法

地震叠前反演能够准确获取地下储层介质的各类参数,是油气的勘探与开发中重要技术之一。然而,地震反演是典型的病态问题,为了克服此问题,通常使用正则化约束目标函数,来减轻反演问题的病态性。但是正则化约束忽略了地层边界的振幅信息,使用重加权方法可以很好地克服这一问题,更好地恢复稀疏性。提出了一种基于重加权L1的ATpV正则化叠前三参数反演方法(ATpV-L1方法),首次将重加权L1方法与ATpV方法结合,并引入到叠前反演中。采用交替方向乘子算法(ADMM)建立反演框架,对目标函数进行分块优化,有效提高了收敛速度。首先,介绍ATpV-L1方法,建立了基于ATpV-L1的叠前反演目标函数;然后,应用理论模拟数据对比新方法和ATpV方法反演结果,验证了方法的效果;最后,使用实际数据进行实验分析,进一步验证了ATpV-L1方法的反演精度及可行性。实验结果表明,提出的ATpV-L1方法可以有效恢复反演结果的稀疏性,提高反演精度。

基于m×2正则化交叉验证的神经网络超参数调优方法

超参数调优是神经网络建模的关键问题。针对传统的超参数调优方法存在的问题,该文提出了一种基于m×2正则化交叉验证的超参数调优方法。目的是给出一种适用于复杂模型、大数据集背景下的计算开销较小且稳健的超参数调优方法。该方法的思想是从完整的数据集上选取少部分数据进行调优,避免模型在数据集较大时非常耗时的超参数调优难题;在m×2交叉验证的基础上设置正则化条件均衡训练集与验证集之间的分布差异,从而减少分布不一致带来的性能波动;使用信噪比作为调优的优化目标,从而可以综合考虑模型性能评价指标的均值和方差;并采用正交设计选择相关性较低的超参数组合以提高调优效率。以命名实体任务为例进行实验,在CoNLL 2003数据集上的实验结果显示,提出的调优方法能够选到和网格搜索性能上没有显著差异的超参数组合,且调优时间可显著降低约66%。

基于两步正则化Gauss-Newton迭代算法的ECT图像重建

电容层析成像(ECT)技术求解图像重建问题属于非线性问题,并且存在严重的不适定性。为提高图像重建精度,提出了一种基于两步正则化Gauss-Newton迭代算法的ECT图像重建方法。针对标准正则化Gauss-Newton迭代算法在图像重建中存在的不收敛问题,引入了两步迭代方法;改进了正则化矩阵,提高了解估计的精确度;考虑到Gauss-Newton算法对迭代初值的依赖性,加入了同伦算法。最后,进行仿真和静态实验,并与线性反投影(LBP)算法、Landweber算法、Tikhonov正则化算法进行对比。结果表明,该方法可有效提高图像重建精度。

利用点电流源和Tikhonov正则化的潜艇稳恒电场反演方法

为了评估潜艇水下腐蚀相关稳恒电场分布特性,从潜艇水下腐蚀相关稳恒电场产生机理出发,基于等效点电流源建立潜艇水下腐蚀相关稳恒电场正演模型,并利用Tikhonov正则化根据已知电场数据求解等效点电流源电流强度,对潜艇周围海水空间的腐蚀相关稳恒电场进行推算。将某型潜艇的COMSOL软件仿真结果作为模拟试验数据,对所提方法有效性进行验证。结果表明:由水深38 m电场值向水深42.5 m和水深33.5 m进行反演时,相对均方根误差、最大值相对误差、峰峰值相对误差均不超过0.06;由较近平面向较远平面进行反演时,即使推算深度达到45 m,相对均方根误差仍然在0.21以内;噪声标准差为实际电场最大值的0.1倍时,反演误差仍然小于0.1。该算法抗噪声能力强,精度较高,能较好地用于工程实践。

基于混合正则化方法的结构载荷识别与响应重构

针对结构载荷识别与响应重构问题中存在的不适定性,提出一种最小平方残差(least square minimal residual,LSMR)算法与Tikhonov正则化方法相结合的混合正则化方法,实现利用结构有限测点的加速度响应识别载荷并重构未知的各类型响应。首先,基于时域状态空间模型构建结构的传递矩阵,并建立载荷识别与响应重构方程;其次,采用混合正则化方法改善载荷识别问题的不适定性,得到载荷的正则化解,并结合响应重构方程的传递矩阵对结构的位移、速度和加速度响应进行重构;最后,通过简支梁数值仿真和试验分析验证所提方法的可行性。结果表明,所提方法能改善重构方程的不适定性,从而对结构未知载荷和各类型响应进行有效重构。

基于SincNet网络结合L2正则化的故障诊断

故障诊断对于保持设备和系统的正常运行至关重要,它可以帮助提高效率、减少成本、增强安全性、改善用户满意度,并为决策和优化提供支持。通过及时进行故障诊断和解决,可以提高生产效率、降低风险,并提供更好的产品和服务。针对基于物理信息模型和基于数据驱动模型等传统故障诊断方式的可解释性不强、故障诊断正确率较低的缺点,提出一种基于卷积神经网络(convolution neural network, CNN)、SincNet和L2正则化相结合的故障诊断方法。通过以轴承为例,进行实验验证,并于传统CNN进行对比,准确率达到99.5%,也更具有可解释性。相较于传统的CNN,该模型的可解释性更强、故障诊断准确率更高。

基于因果正则化极限学习机的风电功率短期预测方法

随着风电并网比例的逐年提高,电力系统对风电功率预测的准确性和稳定性提出了更高要求。对于同一风电场而言,为了避免不同特征选择方法所选择的风电场特征子集不同,从因果关系的角度出发,提出了一种基于因果正则化极限学习机(causal regularized extreme learning machine, CRELM)的风电功率短期预测方法。首先将极限学习机(extreme learning machine, ELM)建模为结构因果模型(structural causal model, SCM),在此基础上计算隐藏层神经元与输出层神经元之间的平均因果效应向量。然后将该平均因果效应向量与输出层权重相结合构成因果正则化项,在最小化训练误差的同时最大化网络的因果关系,以进一步提升模型的预测准确性和预测稳定性。最后,以国内蒙西某风电场数据为例,与采用特征选择或不采用特征选择的预测模型相对比,验证了所提方法的有效性和适用性。

基于图拉普拉斯正则化的PET图像核重建方法

正电子发射断层成像(Positron Emission Tomography,PET)在很多疾病的早期诊断中有重要的作用,PET图像重建的难点之一是如何在保持重建图像中病灶边缘特性的同时具有良好的去噪性能.针对此问题,本文提出了一种结合图拉普拉斯正则化和深度图像先验的PET图像核重建方法 .设计了改进的U-net神经网络,将PET前向投影模型中的核系数表示为神经网络的输出;通过先验图像构建图拉普拉斯矩阵,重建问题被建模为基于神经网络的带图拉普拉斯正则化项的最大似然函数优化问题.利用优化转移方法导出了收敛的迭代重建算法,每一次迭代包括由核重建方法更新图像和利用神经网络更新核系数两个步骤.仿真和临床实验结果表明,本文提出的方法在不同的指标下都有更好的重建效果,优于已有核重建方法以及最新的基于深度系数先验的重建方法 .

UPRE方法在图像恢复正则化参数自适应选择中的应用

大多数图像恢复都是不适定问题,需要利用正则化方法将病态方程转化为适定方程。正则化参数主要用于调节图像保真度与图像光滑度之间的平衡,与图像恢复质量的好坏有着密切关系。无偏预计风险估计(UPRE)方法可以自适应选择最佳正则化参数,基于数学理论分析和图像恢复实验,验证了该方法在图像恢复中的可行性和有效性。