为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S...为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。展开更多
金融市场高频数据包括时间序列数据和其他宏观经济指标,通常具有高维特征.其处理需要更复杂的算法,易产生较高的模型过拟合风险.基于此,提出基于局部线性映射(Local Linear Mapping,LLM)的金融市场波动率高频数据异常检测方法,对各个高...金融市场高频数据包括时间序列数据和其他宏观经济指标,通常具有高维特征.其处理需要更复杂的算法,易产生较高的模型过拟合风险.基于此,提出基于局部线性映射(Local Linear Mapping,LLM)的金融市场波动率高频数据异常检测方法,对各个高频数据目标的日平均序列数据进行标准化处理,在数据筛选时,使用标准化处理设定相关阈值,将不同维度的数据转化为相同的尺度,并利用连通图算法,将具有边连接的金融市场波动率高频数据划分至一个群组内,计算待检测高频数据阈值,采用局部线性映射,完成金融市场波动率高频数据异常检测.实验结果表明:所提方法在TPR为0.98时,ROC曲线稳定运行,贡献因子为1.287,重构误差为1.6%,能够以最快速度使训练集异常检测的损失值达到稳定.展开更多
文摘为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。
文摘金融市场高频数据包括时间序列数据和其他宏观经济指标,通常具有高维特征.其处理需要更复杂的算法,易产生较高的模型过拟合风险.基于此,提出基于局部线性映射(Local Linear Mapping,LLM)的金融市场波动率高频数据异常检测方法,对各个高频数据目标的日平均序列数据进行标准化处理,在数据筛选时,使用标准化处理设定相关阈值,将不同维度的数据转化为相同的尺度,并利用连通图算法,将具有边连接的金融市场波动率高频数据划分至一个群组内,计算待检测高频数据阈值,采用局部线性映射,完成金融市场波动率高频数据异常检测.实验结果表明:所提方法在TPR为0.98时,ROC曲线稳定运行,贡献因子为1.287,重构误差为1.6%,能够以最快速度使训练集异常检测的损失值达到稳定.