基于机器学习的灾难分类算法研究

当今社会,智能手机和网络的快速发展使得人们对于众多新闻信息的时效性、即时性和准确性有了越来越高的要求,其中灾难事件,例如突发的交通事故、火灾、一些自然灾害等事件,及时准确地让人们从众多繁杂冗余的信息中分离获取到就可以帮助到许多人。本文将使用机器学习中的自然语言处理以及数据分类,实现对灾难事件的分类处理。在实现过程中,我们以英语推特的一万余条与灾难有关的数据的集合为基础,首先进行了数据的清洗处理,并将原来的字符表示方式转换成了数字的形式,以方便计算机处理;然后将处理后的数据进行降维操作,以直观地显示在二维平面上;然后对数据进行逻辑回归拟合,使计算机"学习"到如何判断某条推特信息是否为灾难信息,实现软件系统对灾难的分类处理;最后,再通过对部分信息的预测结果和实际情况进行对比,并构建混淆矩阵和词语相关度直方图来检测分类算法判断的准确度是否良好,并验证算法的可行性。