基于混合遗传算法与互信息分析的高维小样本特征选择

针对高维小样本数据特征选择冗余度高和过拟合的问题,提出一种基于混合遗传算法与互信息分析的高维小样本特征选择算法。对互信息理论与特征选择问题进行深入分析,利用互信息消除特征冗余度能力强的优点,推理出基于互信息的目标函数和优化的边界条件;设计混合的遗传算法来充分利用高维小样本数据集不同角度的属性数据,混合遗传算法设立主种群和次种群,在每次迭代中利用次种群的结果引导主种群的演化,从而缓解小样本数据带来的过拟合问题。基于医学数据集的对比实验结果表明,该算法有效地增强了遗传算法的稳定性和鲁棒性,并且实现了较好的特征选择效果。

基于非迭代训练层次循环神经网络的快速文本分类算法

基于神经网络的文本分类算法需要较长的训练时间,难以满足在线文本分类的需求。针对这种情况,提出基于非迭代训练层次循环神经网络的快速文本分类算法。为循环神经网络设计了对抗训练模型,缓解层次注意力网络的过拟合问题。给出一种循环神经网络的非迭代训练算法,对激活函数进行线性逼近,快速地学习网络连接的权重。实验结果表明,在英文和中文文本的情况下,采用该算法均获得了理想的分类准确率,并且大幅度地减少了训练时间。