结合ResNet和特征工程的QAR数据预测方法

为解决QAR数据存在的数据缺失、数据异常等问题,提出一种将神经网络模型与特征工程相结合的方法,用于实现对飞机的QAR数据中飞行状态参数的精准预测。首先通过引入ResNet(残差神经网络)模型大幅加深了预测网络模型的深度,同时缓解了深层网络带来的梯度消失/爆炸问题,完成了预测精度的一次提升。之后通过Pearson相关系数与随机森林相结合的特征提取方法提取训练特征,训练后得到更加精确的预测模型,完成了预测精度的二次提升。结果表明,特征工程与模型优化相结合的处理方法更加精确、高效,为QAR缺失数据补充和QAR数据异常检测提供了一种新方法,提升了数据的质量,可更好地进行数据分析与挖掘工作。

基于PCA-BP特征工程的近海单点海温预报技术及应用

本文将主成分分析方法(Principal Components Analysis,PCA)和误差后传(Back Propagation,BP)神经网络相结合,建立了一种PCA-BP特征工程的近海单点海温智能预报模型,并对山东荣成近岸海域气象数值预报产品和在线海温监测仪连续观测数据开展了释用技术研究和应用。2021年业务化运行结果显示:该预报模型具有占用内存小、运行速度快、预报误差低的优点,相比近岸基础单元数值预报和经验预报的24 h均方根误差降幅达1.0℃和0.8℃,均方根相对误差降幅达12%~14%,未来48 h和72 h的预报误差也降幅明显,预报计算时间小于10 s,并将预报时效进一步向前扩展了3 d,达到144 h。

基于特征工程的建设工程造价指数预测模型构建

对建设工程造价指数的预测能够有效解决建设项目前期投资估算误差较大引起的成本问题。结合实际工程中对造价指数预测模型的需求,以U市发布的2012—2021年建设工程造价指数为例,通过对比不同特征工程方法构建的XGBoost和神经网络两者之间预测误差,选择最优预测模型进行建设工程造价指数模型预测。结果表明,基于树模型特征筛选和均值填充数据集的XGBoost模型,在测试集、训练集、交叉验证误差最低,能够作为建设工程造价指数预测的模型。

土木工程结构智能计算特征工程研究

数据与特征是智能技术的基础,但现有结构智能计算的文献报道却极少涉猎数据端相关研究。为此,该文围绕土木工程结构计算场景,开展了特征工程研究,实现了结构原始数据的自动去量纲化以及向有效特征的智能转化,进而大幅提升了模型性能表现。该文建立了与下游智能模型无关的特征工程架构,以量纲分析为基础,实现对结构特征的自动无量纲化预处理。在此基础上,提出了一种对模型训练得到的无量纲化参数进行物理意义解读的算法,可对输入数据开展因子分析,增强了模型的物理可解释性。为验证特征工程架构的有效性,以钢筋混凝土柱双向压弯的屈服承载力预测问题为例开展数值试验,结果表明:在设定了充足无量纲参量数目的情形下,相较于无特征工程的对照模型,该架构能够加快模型收敛速度4倍~5倍,并提升预测准确率20%~50%,优势显著;同时,通过物理意义解读算法复现的无量纲参量与经典理论分析结论高度吻合,证明特征工程架构成功捕捉了与目标问题密切相关的影响因素。

自动化特征工程综述

机器学习基于信息可以更加高效地做出预测和决策,因此在数据驱动模型中发挥了重要的作用。特征工程是提高机器学习系统高效性的决定性因素,但却是最耗时的任务之一。因此考虑到人为错误和极端的时间成本,自动化特征工程应运而生。近年来,自动化特征工程得到了飞速的发展,解放了大量且乏味单调的人工操作。本文对自动化特征工程的算法进行系统性的整理和总结,为后续研究提供了参考。

基于特征工程的成品油市场批发价格影响因素实证研究

为充分研究成品油市场批发价格影响因素,基于文献调研和专家经验,采用机器学习、特征工程等新技术,从价格、需求、供给、宏观经济与金融五大影响维度出发,构建了成品油市场批发价格影响因素的特征参量指标体系。基于主流数据,对特征参量指标进行实证分析,通过对比不同特征工程模型在测试集上的性能,筛选出18个汽油市场批发价格特征参量指标及20个柴油市场批发价格特征参量指标,且拟合性能较优。研究成果有助于量化分析多种因素对成品油批发价格的影响,提高市场研判和价格预测能力,辅助成品油生产经营优化与市场营销决策。

湖南空气质量预报中的数据预处理和特征工程

为提高空气质量预报的准确率,建立了融合气象和环境观测资料、结合机器学习和数值天气预报,且预测时效较长、预测精度较高的机器学习模型库。以湖南6个城市(长沙、株洲、湘潭、益阳、常德、岳阳)的空气质量预报为例,将数据预处理、特征工程方法运用到模型之中,得出以下几点结论:①数据预处理工作包括样本收集、数据清洗、缺失值处理、异常值剔除等,对提高模型预测稳定性帮助很大。②点、线、面的特征组合有助于完整地描述污染物的生消过程。引入传输指数后,株洲市模型对传输型污染过程的预测性能得到明显提高,对轻度、中度、重度污染的分类准确度分别提升了23.6%、16.6%、30.0%。引入静稳指数后,长沙市模型PM_(2.5)浓度测试的相关系数由0.938提升至0.959,均方根误差由10.33下降至8.46,且模型对中度以上污染天气的极值预报结果更接近实况;益阳市模型在高浓度样本预测中存在的系统性偏低现象得到改善,对轻度以上污染天气的预报结果得到较大矫正。③随机森林的特征重要性排序功能可以大幅度减少特征的数量,使得模型的可解释性和稳定性增强。

基于机器学习与特征工程的恶意链接检测研究

随着互联网技术的飞速发展,人们对互联网的需求日益增加,同时互联网安全问题也逐渐引起人们的重视。其中,恶意URL(Malicious URLs)是网络安全研究的重要内容,因此实现对恶意URL的有效侦测对网络安全至关重要。本文介绍了恶意URL检测的应用背景及实现步骤,根据其攻击方式,归纳总结了两种常用的攻击方法,然后介绍了机器学习及特征工程在该领域中的应用情况,最后总结了现有方法不足之处,并对未来的研究方向做出了展望。

基于特征工程和集成学习与模型融合的输电走廊实时山火风险评估模型

山火灾害易造成架空输电线路跳闸,威胁电网的稳定运行。提出了一种基于特征工程和Boosting集成学习框架与模型融合的输电走廊实时山火风险评估模型。首先,对影响输电走廊山火发生产生影响的人类活动行为、地理、实时气象、区域历史山火灾害情况4类20个特征的原始数据进行收集、提取和清洗。然后,利用二次多项式对特征进行衍生,生成236个特征,考虑到模型计算的时间复杂度,再使用Wrapper方法结合五折交叉验证法迭代获取重要度最高的100特征构建特征子集作为模型输入构建基于Boosting算法的输电走廊实时山火风险评估模型,以最小化对数损失函数为优化目标,利用贝叶斯优化算法对参数空间进行搜索,得到最优模型参数。最后,在测试集上对模型准确率、召回率和调和均值进行验证,其预测准确率达96.4%,召回率达88.1%,调和均值达85.5%,在正负样本差异极大的现实场景中可以有效实时评估输电走廊的实时风险。

基于概率图模型的图像整体场景理解特征工程综述

图像特征工程是图像场景理解中的一项重要基础性工作,基于概率图模型的图像整体场景理解特征工程作为其延伸,其复杂性和综合性远高于基本图像理解特征工程。针对这一特点,对图像理解特征工程中的特征提取、表示、学习和变换,基于概率图模型的图像整体场景理解特征工程研究价值和意义、典型特征工程等多方面进行了归纳与分析,重点介绍了四种代表性的基于概率图模型的图像整体场景理解特征工程,并作了详细比较,提出了基于概率图模型的图像整体场景理解特征工程基本框架。最后对未来发展方向进行了展望,为该领域的进一步研究提供参考。

一种面向网络支付反欺诈的自动化特征工程方法

互联网金融欺诈正导致诸多社会经济问题.网络支付是互联网金融中的典型模式之一,此模式中的欺诈交易也是互联网金融欺诈的主要形式之一.通过构建基于机器学习的欺诈检测模型来识别欺诈交易的方法已成为网络支付反欺诈领域的主流思路.在构建欺诈检测模型的过程中,特征工程是最为关键的一步,特征的质量将直接影响模型的性能;通常,这也是最为耗时且对相关领域的专业知识要求最高的步骤.现有网络支付欺诈检测模型在特征工程上主要是领域专家基于业务知识以手动构造的形式来开展.而在网络支付模式下欺诈场景众多,不同场景下的特征构造流程不尽相同.人工特征构建方法已不能满足与日俱增的反欺诈需求.解决此问题的重要方法之一便是自动化特征工程.本文针对网络支付欺诈检测提出了一种轻量化、树结构、高效率、可扩展和可解释的自动化特征工程方法.该方法:(1)对计算条件的要求低且对数据集样本的依赖性小,这一优势是利用树结构模型进行特征构造得以实现;(2)可构造出深度层次的复杂特征和广度层次的各类型特征,这一优势是利用节点处特征构造的新型流程和转换函数权重向量的时效性更新机制得以实现;(3)在网络支付模式不同场景下可实现跨场景复用,这一优势是通过复用和扩展定制化转换函数得以实现;(4)构造出的特征具有可解释性,这一优势得益于基于结合转换函数与树模型的特征构造过程具备可表达性.本文在网络支付典型场景的业务数据集上验证了所设计的自动化特征工程方法的有效性.

中文语义角色标注的特征工程

基于统计机器学习的语义角色标注在自然语言处理领域越来越受到重视,丰富多样的特征直接决定语义角色标注系统的性能。本文针对中文的特点,在英文语义角色标注特征的基础上,提出了一些更有效的新特征和组合特征:例如,句法成分后一个词、谓语动词和短语类型的组合、谓语动词类别信息和路径的组合等,并在Chinese Proposition Bank(CPB)语料数据上,使用最大熵分类器进行了实验,系统F-Score由89.76%增加到91.31%。结果表明,这些新特征和组合特征显著提高了系统的性能。因此,目前进行语义角色标注应集中精力寻找丰富有效的特征。

语义分析中谓词标识的特征工程

谓词是句子中的最重要的成分,它的正确与否对语义分析的影响非常大。而众多的特征直接影响到谓词标识的性能,如何组织这些特征显得尤为重要。选取了7个基本特征和30多个新特征以及它们的组合,使用最大熵分类器,在基本特征的基础上通过增加有利特征的方法,使得谓词标注的F1值增长了约5%(由84.7%增加到89.8%),词义识别的F1值增长了约2%(由80.3%增加到82.1%),结果表明,这些新特征及其组合大大提高了性能。

基于火焰光谱和特征工程的生物质燃料识别

火焰光谱包含了丰富的燃烧信息,火焰自由基的光谱特征对不同生物质燃料识别具有重要影响。文中通过生物质燃烧火焰和火焰自由基光谱特征的测量,结合特征工程,提出一种基于改进支持向量机的生物质燃料识别技术。该技术通过光纤光谱仪获得生物质火焰辐射强度和火焰自由基（OH＊（310.85nm）,CN＊（390.00nm）,CH＊（430.57nm）和C2＊（515.23nm、545.59nm））辐射强度信号,通过特征提取、基于Filter的特征选择和基于字典学习的特征学习,构建特征工程,获得能够准确反应样本类别的特征,并结合改进的网格搜索算法优化支持向量机的径向基核参数γ和误差惩罚因子C,建立生物质燃料识别模型。在燃烧试验炉上的实验结果验证了该模型的有效性。

基于特征工程的广告点击转化率预测模型

在大数据环境下,随着全球网络广告传播行业的快速发展,网络广告的计算也越来越受到人们的高度关注。计算广告旨在将广告投放到特定的受众人群,以广告环境和用户特征为基础进行数据分析计算,从候选广告库中选择出最佳匹配的广告。其核心问题是通过网络广告点击转化率预测的计算,将用户点击可能性最高的广告选择出来。广告点击转化率的精确预测与媒体、广告主和用户3方的利益密切相关。该研究基于TrackMaster平台提供的真实广告数据,以特征工程的视角,分别从用户信息特征、广告信息特征、上下文特征和统计特征4个角度进行特征分析,从而挖掘出对广告点击转化率影响较大的重要特征,构建广告点击转化率预测分层模型并训练,并且结合LightGBM算法模型得出广告点击转化率的重要特征排序。实验结果表明当特征选择阈值λ=0.95,特征选择数目为19,树的颗数为100时的受试者工作特征曲线下的面积(Area under receiver operating characteristic curve,AUC)值最大,模型的对数损失函数值约为0.1368,此时模型具有最优的效果。预测模型和特征排序结果有助于企业制定最优的广告投放策略。

基于特征工程的网络广告收益转化精准度研究

为了提高网络广告投放的精准度,采用腾讯移动社交app的百万级点击量数据,从特征工程视角出发进行网络广告收益转化率预测精准度研究。针对特征构造所形成的特征集,提出综合使用过滤式和嵌入式特征选择法进行多层特征选择;针对网络广告数据存在的正负样本不平衡、特征矩阵稀疏等问题,创新性地提出改良方差选择法来解决数据不平衡状态下无关特征的过滤问题。通过多组实验证明,特征工程方法在网络广告转化预测方面的精准率高于90%。精准的转化率预测有助于企业业务部门制定广告推荐策略,有助于算法部门制定推荐算法约束条件。

浅谈基础特征工程

本文从数值型数据、分类型数据、文本与图像这四大最常见的数据源出发,尝试讲解部分常用特征工程方法,然后介绍了降维和特征选择这两大特征工程主题中的通用方法。本文从特征工程的视角看待机器学习问题,希望读者能更全面的了解机器学习的流程。

基于特征工程和机器学习的铝基高熵合金稳定性预测

铝基复合材料具有众多优异的性能,应用前景较好.以简单稳定相的高熵合金可以作为增强颗粒来制备铝基复合材料,其各方面力学性能都显著提升.提出了一种基于结合了特征工程和机器学习的新方法来研究高熵合金相稳定性.该方法利用特征工程筛选出影响目标属性的重要因素,然后选择相应的回归方法预测相稳定性.使用50%的数据集进行训练,并在其余数据集上进行测试验证.研究结果表明,该方法在预测高熵合金的相稳定性方面具有较高的准确性(R^(2)=0.994),且能辅助找到影响相稳定性的关键因素.

基于强化学习的特征工程算法研究

特征工程可以自动地处理和生成那些判别性高的特征,而无需人为的操作。特征工程在机器学习中是不可避免的一环,也是至关重要的一环。提出一种基于强化学习(RL)的方法,将特征工程作为一个马尔可夫决策过程(MDP),在上限置信区间算法(UCT)的基础上提出一个近似的方法求解二分类数值数据的特征工程问题,来自动获得最佳的变换策略。在5个公开的数据集上验证所提出方法的有效性,FScore平均提高了9.032%,同时与其他用有限元变换进行特征工程的方法进行比较。该方法确实可以得到判别性高的特征,提高模型的学习能力,得到更高的精度。

基于特征工程的视频点击率预测算法

点击率预测技术在视频推荐系统中具有重要的作用.视频推荐系统可以根据点击率预测的结果调整投放顺序,从而提高用户的真实点击率.在点击率预测问题中,由于数据存在海量性以及不平衡性等问题,点击率预测的精确度一般都较低.针对以上问题,使用特征工程和机器学习相结合的方法,有效地改进了现有的视频点击率预测算法的性能.首先,使用特征工程方法,从原始数据中提取特征,并使用矩阵分解等方法生成交叉特征;然后,分别基于逻辑回归、因子分解机和梯度提升决策树-逻辑回归实现点击率预测模型.实验结果表明,基于因子分解机模型和基于梯度提升决策树-逻辑回归模型的预测精度要优于基于逻辑回归的模型,并且将用户特征和视频特征进行交叉组合能够改进点击率预测的精度.