MI和改进PCA的降维算法在股价预测中的应用

考虑到单个特征对标签的有效性及多特征之间的信息冗余问题,提出一种联合互信息和改进PCA的双重降维方法。利用互信息对众多的特征进行初步筛选,舍弃一部分对标签信息贡献较低的特征,使用累积方差贡献率和复相关系数共同确定主元个数的主成分分析法进行二次降维,不仅保证了主元模型的信息容量,同时也避免了过多噪声的参与,从而保证了预测过程的准确性。通过神经网络对实际股票数据进行预测,表明了提出的降维算法的有效性。

一种海量数据的分析技术——符号数据分析及应用

传统的统计分析方法在处理海量数据方面存在很大的局限性。为了解决这一问题,符号数据分析(symbolicdataanalysis,SDA)方法被提出并得到了迅速的发展。SDA方法对传统的数据概念做了本质性的扩张,运用'数据打包'的理念,对海量的原始数据在不破坏其原有内在逻辑关系的前提下,可以进行变量和样本点空间的双重降维,并将传统的统计分析技术扩展到符号数据分析体系中。符号数据的方法体系是知识发现和数据管理领域的最新研究方向之一,目前在国内鲜有相关的研究资料。文章详细阐述了符号数据因素分析技术的原理和概念,并以中国股票市场为案例研究背景,结果表明,SDA因素分析技术对综合简化大规模多维数据系统是十分有效的。

一种区间数的因子分析技术及其在证券市场中的应用

传统的因子分析技术能够有效地对高维变量空间进行降维处理,但它对于样本空间却缺乏行之有效的降维效果.为了解决这一问题,一种针对大量样本数据、新的因子分析技术———区间数因子分析技术(intervaldatafactoranalysis,IFA)被提出并得到了迅速的发展。IFA方法对传统的数据概念做了本质性的扩张,运用'数据打包'的理念,对海量原始数据在不破坏其原有内在逻辑关系的前提下,可以进行变量和样本点维度的双重降维。本文详细阐述了区间数因子分析技术的原理,并以中国股票市场为案例研究背景,结果表明IFA分析技术对大规模多维数据系统做综合简化是十分有效的。

基于GR-AD-KNN算法的IPv6网络DoS入侵检测技术研究

随着IPv6网络流量的快速增加和复杂化,传统入侵检测系统Snort是基于具体规则对DoS攻击进行检测的,这降低了IDS的检测性能。为了解决IPv6网络环境下的DoS入侵检测问题,采用了机器学习中的轻量级KNN的优化算法。首先,通过信息增益率实现特征的双重降维,针对具有较多类型子特征的离散特征进行选择和聚合,以实现进一步降维,减小实际运算的特征维度。其次,利用信息增益率作为优化样本欧氏距离测量的权重。基于所提出的反向距离影响力的度量指标,对KNN算法的分类决策算法进行了优化,使检测技术的效果得到进一步提高。实验结果表明,相比传统基于平均距离的TAD-KNN算法和仅优化距离定义的GR-KNN算法,GR-AD-KNN算法在IPv6网络流量特征检测中不仅可以提升整体检测性能,同时还对小群体样本分类拥有更好的检测效果。