代价敏感学习的过度拟合问题研究

代价敏感学习算法的目的是最小化各种代价总和,与其他学习算法一样,它必须面对过度拟合这个挑战性问题,即分类器可以较好地拟合训练数据,但对测试或实际数据的效果较差。针对代价敏感学习的这些缺点,提出两个克服过度拟合的策略。第一个滤波技术策略针对TCSDT分类建立,滤波后的概率估计值被用于对每个分离属性的潜在误分类代价计算,并延缓潜在大误分类代价的分离属性的优先选择,最后,采用交叉验证方法决定m的值。第二个策略与基于标准错误的Laplace剪枝方法不同,阈值剪枝采用一个预先定义的阈值集合(跟代价有关)来确定决策树的一个叶节点是否被剪除。这两策略可独立或联合用于避免TCSDT分类的数据过度拟合。实验表明,所提出的两算法不但在代价敏感学习中有优势,在非代价敏感学习也具有优势,可以有效地减弱过度拟合,有很强的健壮性,UCI数据集实验结果显示算法的拟合能力平均优于存在方法10%以上。

决策树算法中过度拟合的研究与解决方案

决策树算法广泛应用于模式识别和机器学习等领域,用来解决与分类相关的问题。决策树算法中的过度拟合会在很大程度上影响到最终的分类结果。针对过度拟合产生的原因,采用悲观错误剪枝方法,对学生成绩决策数据进行分析,得出影响学生成绩的重要因素。实验表明,该方法可以得到尽可能短的分类规则,有效地提高了决策树的性能。

决策树中避免过度拟合的方法

通过学习训练数据集来构造分类树的策略可能无法达到最好的泛化性能。随机噪声和某些决策仅基于少量训练数据的情况都会导致决策树的分类精度下降,并且过度拟合训练数据集。避免过度拟合主要是通过对树的剪枝来实现,包括预剪枝和后剪枝。后剪枝方法有很多种,主要从计算复杂性、误差估计和算法理论基础角度分析其中的REP、MEP和规则后剪枝算法。

基于回测过度拟合问题——反思量化投资决策的优化

近些年来,随着我国科技的进步和金融市场的进一步开发,金融和科技的结合成为了未来金融行业发展的一大主流趋势,在这一趋 势的影响下,基于计算机程序所实现的批量指令化投资方式逐渐吸引了人们的注意,其中最著名的量化投资也因此诞生。 基于计算机执行的优势,量化投资与统计学等现代学科的结合,具备了传统定性的基本面策略投资不具有的纪律性,及时性,系统性等方 面的优点。尽管如此,作为一个金融科技的产物,现阶段的量化投资也并非完美无瑕,例如其自身是源自机器学习的思路所诞生,本质上也会 存在着数据回测过程中过度拟合的技术性问题。

试验结果的数学拟合与力学模型

为了描述岩石的力学特征,通常会提出各种假设或力学模型,其模型参数一般依据试验结果来确定。模型应具有广泛的适用性,而不是仅能描述已有的试验结果。在没有获得力学模型之前,可以利用数学公式拟合试验数据。拟合公式应该具有物理基础,其中待定参数最好能表示材料的力学性质。以不同直径圆柱试样的承载能力与围压的关系为例,介绍曲线拟合方法和力学模型的建立过程,说明两者之间的区别;讨论文献中一些试验数据的公式拟合和参数确定,解释"过度拟合必将失真"。由于试验结果并不完全是由试验控制参数决定,还受到其他多种因素的影响,拟合公式也应该体现这一物理事实。如果选择复杂的公式和过多的待定参数以追求过高的拟合精度,那么拟合公式将不能真实体现试验参数对试验结果的影响。

基于LM-BP神经网络的GPS高程拟合算法研究

提出了基于LM-BP神经网络方法转换的GPS高程拟合算法,并与传统拟合方法进行了比较。经实例验证,基于LM-BP神经网络的GPS高程拟合优于传统拟合方法,特别是在拟合点较少的大范围GPS拟合中显著改善了拟合高程的精度,具有一定的实用价值。

BP人工神经网络用于芳香族化合物结构参数和大鼠LD_(50)构效关系研究

对结构参数采用主成分变换 ,再利用 BP人工神经网络 ,采用 L M算法作为迭代方法训练网络 ,预测检验集化合物的LD5 0 。结果显示 ,BP人工神经网络可以用于定量毒性构效关系研究 ,含隐层的 BP人工神经网络拟合能力明显优于传统方法 ,消除过度拟合后的多层 BP网络预测能力也好于传统方法 ,可以用于预测。

决策树优化选择下城市交通出行特征研究

文中对基于决策树优化选择下城市交通出行特征进行研究,通过研究城市交通出行方式,缓解城市交通出行压力。基于决策树算法基本理论,构建决策树模型,选取城市交通出行特征作为分类依据,运用C4.5决策树算法对城市交通出行数据进行分类,根据分类后各个不同特征叶子节点对上层子节点的总占比进行城市交通出行特征优化选择分析,并在“Occam's razor”的基础上,利用重新引入法提出优化方法,解决C4.5决策树算法存在的过度拟合问题,提升城市交通出行方式分析效果。实验结果表明,该方法可有效分析城市交通现有出行特征,指导城市交通规划,依据该方法的分析结果对早高峰线路进行优化后,有效减少了长距离拥堵路段,同时避免了严重阻塞路段的产生。

结合前馈神经网络和装袋算法的电力日负荷预测

电力负荷精准预测可提高电力系统的可靠性和稳定性,为电力部门电网调度运行提供决策依据。因电力负荷存在复杂多样性等特征,提出了一种结合前馈神经网络和装袋算法的日负荷预测方法,解决了前馈神经网络的过度拟合问题及装袋算法的较长引导时间的问题。利用装袋算法将弱预测模型通过自助方式训练成强预测模型序列,通过前馈神经网络求取模型的更新权重及偏差,采用结合FNN-Bagging算法对日负荷数据进行并行运算计算出预测负荷值。实验结果表明:特定迭代次数下,训练样本数量与系统预测性能具有正比关系,所提的混合预测模型可以有效地预测96点日负荷数据,具有工程实用价值。

一种用于肖像风格转化的网络

针对给定有限的风格样本合成相应风格的艺术肖像和通过对训练样本仅使用头部观察来实现全身图像翻译的要求,提出了一种新的风格化肖像生成框架DCT-Net来做风格转化。首先,用迁移学习调整预训练的源生成器的目标风格,然后,分别对源分布和目标分布做几何扩展,并且为后续的翻译提供多尺度和不同旋转角度的几何对称特征,最后,为防止过度拟合和提升域校准利用校准的分布,用纹理翻译网络去学习域间关联,使用多表征约束和局部感知损失,使得内容相似性和风格忠实性方面都产生了更真实的结果,面部特征得到了更好的保留,甚至可以成功地合成细节配件或额外的身体部位。实验结果表明,本文提出的方法不仅提高了头部风格化任务的能力、通用性和可扩展性,而且以优雅的方式实现了有效的全身图像翻译。

大坝变形监控模型识别的R–OC准则

大坝变形监控模型的优劣主要体现在模型泛化能力的高低。模型泛化能力指模型对训练集以外样本的预测能力,而欠拟合和过度拟合是导致模型泛化能力不高的主要原因。AIC和BIC准则是目前常用的模型识别方法,但是不能定量比较和评价模型的过度拟合程度。本文通过定义过度拟合系数OC量化模型过度拟合程度,同时采用复相关系数R定量评判模型是否欠拟合,建立了R–OC模型识别准则。首先,将大坝变形监测序列划分为拟合时段数据和验证时段数据,采用全回归方法对拟合时段数据进行拟合,构建多种位移监控模型。再根据监控模型的估计值和估计误差的概率分布确定异常监测数据的预警界限,计算各监控模型的误警率FAR。最后,根据不同监控模型对拟合时段和验证时段的拟合和预测误差评价指标(均方根误差RMSE、平均绝对误差MAE、平均绝对百分比误差MAPE),确定过度拟合系数OC;结合复相关系数R,绘制2维散点图,并对各监控模型的泛化能力进行评价。结果表明:过度拟合系数OC同模型的误警率呈良好的相关关系,当过度拟合系数OC小于1时,监控模型没有过度拟合,模型误警率FAR为0,不会发出错误预警;当OC大于1时,模型误警率FAR与OC呈正相关关系。一方面,R–OC模型识别准则通过复相关系数R刻画模型的拟合精度;另一方面,通过过度拟合系数OC定量评判模型的过度拟合程度。对于不同数量的待选模型,R–OC准则均能识别出拟合和预测精度都较高的模型。

BP神经网络与logistic回归的比较研究

目的通过与logistic回归分析的比较,探讨BP神经网络在判别分析中的应用。方法设计合适的BP神经网络参数,采用LevenbergMarquardt优化算法来避免BP算法收敛速度慢的缺点,采用了“早停止”(earlystopping)策略避免过度拟合(overfitting),并把BP神经网络和logistic回归的结果作比较。结果BP神经网络在回代和前瞻性考核中都取得较好的结果,两者ROC曲线的比较也说明了这一点。结论BP神经网络方法值得在医学研究,特别是判别分析、生存分析领域进一步应用并推广。

基于神经网络参数优化的岩体边坡稳定性评价

高陡岩体边坡的稳定性是一个内部存在多种相互联系、相互影响因素的复杂系统,而BP人工神经网络属于非线性动态系统,较适合用于评价高陡岩体边坡稳定性。分析了BP网络模型参数对高陡岩体边坡稳定性评价精度的影响,并提出了对模型参数进行优化,以提高预测精度的若干办法。用一工程实例对参数优化后的BP神经网络在高陡岩体边坡稳定性评价中的应用效果进行了检验。研究表明,用经参数优化的BP人工神经网络模型预测高陡岩体边坡稳定性是可行的,预测结果虽然与实际状态存在一定的误差,但仍可以相对准确地反映边坡稳定状况。

基于CNN和迁移学习的农作物病害识别方法研究

互联网是一个巨大的资源库,也是一个丰富的知识库。针对农作物小样本引起的过拟合问题,本研究引入了知识迁移和深度学习的方法,采用互联网公开的ImageNet图像大数据集和PlantVillage植物病害公共数据集,以实验室的黄瓜和水稻病害数据集AES-IMAGE为对象开展相关的研究与试验。首先将批归一化算法应用于卷积神经网络CNN中的AlexNet和VGG模型,改善网络的过拟合问题;再利用PlantVillage植物病害数据集得到预训练模型,在改进的网络模型AlexNet和VGG模型上用AES-IMAGE对预训练模型参数调整后进行病害识别。最后,使用瓶颈层特征提取的迁移学习方法,利用ImageNet大数据集训练出的网络参数,将Inception-v3和Mobilenet模型作为特征提取器,进行黄瓜和水稻病害特征提取。本研究结合试验结果探讨了适用于农作物病害识别问题的最佳网络和对应的迁移策略,表明使用VGG网络参数微调的策略可获得的最高准确率为98.33%,使用Mobilenet瓶颈层特征提取的策略可获得96.8%的验证准确率。证明CNN结合迁移学习可以利用充分网络资源来克服大样本难以获取的问题,提高农作物病害识别效率。

早停止策略在BP神经网络中的应用

探讨了 BP神经网络在应用中如何避免过度拟合情况的发生以防止网络的泛化功能降低。结果显示 ,在 BP神经网络的训练中 ,早停止策略是避免过度拟合的一个有效方法。

数据过滤算法的一种改进

本文深入地分析了Xuri Yin等人提出的一种数据过滤算法,指出其中欠缺之处,并对该算法作了改进和理论分析。

一种基于颜色读数的物质浓度测量模型

研究了一种基于颜色读数的物质浓度测量模型.首先分析几种物质在不同浓度下的颜色读数,构建多元线性模型,并通过逐步回归法解决了多重共线问题;降维后在Matlab中构建非线性模型,比较两种模型的优劣,结果表明非线性模型优于线性模型.

基于深度卷积神经网络的入侵检测研究

当今网络数据呈现出更为庞大、复杂和多维的特性。传统的基于机器学习的方法在面临高维数据特征时需要手动提取大量特征,特征提取过程复杂且计算量大,达不到入侵检测的准确性和实时性的要求。深度学习在处理复杂数据方面具有较好的优势,可以自动从数据中提取更好的表示特征。为此,文中创新性地提出了一种基于深度卷积神经网络的入侵检测方法。首先,提出了一种将网络数据转换为图像的方法;然后,针对转换之后的图像设计了一个深度卷积神经网络模型,该模型使用两层的卷积层和池化层对图像进行降维处理,并引入了Relu函数作为新的非线性激活来代替传统的神经网络中常用的Sigmoid或Tanh函数,以加快网络的收敛速度,且该模型引入了Dropout方法来防止网络模型发生过度拟合的现象;最后,通过构建完成的深度卷积神经网络模型对转换之后的图像进行训练和识别。实验结果表明,与已有方法相比,所提方法具有更好的检测准确率、更低的误报率和更快的检测速率。

通过交叉验证准则选择线性模型

考虑建立在交叉验证准则基础上线性回归模型的选择问题.我们对原来的交叉验证准则进行改进,通过增加惩罚函数来解决交叉验证过程中模型过度拟合问题,从而提出一个新的模型选择准则.在一定的假设条件下,新准则确定的模型具有强相合性并且在样本容量充分大时能得到最小的真实模型.在本文中,我们将证明新准则确定的模型在一定条件具有强相合性,并给出一般条件下模型选择准则.

基于BP神经网络的电网物资需求预测研究

目前电网公司对电网物资的预测和研究存在诸多问题,如缺少科学的指导、合理的依据及忽视设备数据之间存在的关联等。针对贵州电网建设项目物资的需求特点,建立了BP神经网络物资预测模型。文中通过使用Adam优化算法代替传统BP神经网络所使用的随机梯度下降算法,有效避免了因随机梯度下降算法易于陷入局部最优而导致预测误差较大的问题,并加入L2正则化方法来防止BP神经网络因训练样本较少或过度训练而导致的过度拟合现象的发生。通过所需设备的历史数据对构建的BP神经网络模型进行训练,然后将训练好的模型用于电网物资的需求预测。通过实验显示,改进的BP神经网络模型用于电网物资的预测,能够显著地减少电网物资需求预测的误差。