基于多类重采样的非平衡数据极速学习机集成学习

极速学习机(Extreme learning machine,ELM)虽然已在理论和应用中证实有很好的泛化性能和极快的训练速度,但是在处理非均衡数据时,它更偏向多数类且极容易忽略少数类,基于数据重采样的集成学习可以帮助ELM解决少数类分类精度低的问题.提出一种按类别重采样技术并据此发展了一种ELM集成学习方法.该方法可充分利用少数类样本的信息,实验结果显示该方法性能明显优于单一的ELM学习模型.由于重采样是大数据处理的最核心的技术之一,该方法对非均衡大数据的学习模型建立有着一般性的指导意义.

基于中文短信文本聚类的热点事件发现

随着通信事业的快速发展,短信文本信息量非常巨大,乃至亿级,同时大类别短信文本中隐含着热点事件。现有聚类算法对海量短信文本进行聚类分析显得力不从心。利用短信文本在给定时间段中的内聚性,对待聚类的短信文本进行排序,并在聚类过程中清除孤立信息和小类别短信文本。实验表明,对于海量短信文本的大类别聚类效率是非常高的。

手机短信文本信息流的自动文摘生成

针对手机短信文本信息流的特点,设计一种自动文摘生成模型。该模型利用词共现定义语义相似度,根据TF-IDF定义特征词权值以及文摘候选句权值。算法通过清除孤立点、根据权值筛选文摘句以及文摘句排序,生成冗余度较小且可读性较好的短信文本信息流文摘。相关数据实验证明,文摘句的生成质量和算法效率都比较高。