基于NER和TF/IDF算法的涉密文件的脱密鉴别方法研究

随着网络以及各类应用的发展,涉密材料往往在网络渠道传播、流传过程中被泄露,而且往往是涉密材料已经传播一定的范围之后,才能引起相关部门的注意而采用相应的措施。在公开网络产生泄密事件处理过程中,最重要的因素是在泄密材料出现于公开网络并广泛传播之前,发现并确定传播材料是否涉密、可能的来源以及相应的密级。文章提出一种基于NER和TF/IDF算法的涉密文件的脱密鉴别方法,利用NER和TF/IDF算法识别涉密文件中的命名实体,构成矩阵,经过HASH脱密,发送统一中心平台存储。鉴别时,取出文件中各命名实体对应的TF/IDF值乘以出现的次数并求和,其值跟预先设定的阈值比较,以此来确定是否为涉密文件,从而进一步判断涉密文件的来源。

基于SVM金融分析报告的行业分类研究

针对传统金融分析报告分类效率低的问题,提出基于支持向量机的中文文本分类技术来对金融分析报告进行分类。该分类技术采用中科院提供的中文分词系统以及使用两种特征选择算法相结合进行分词和特征选择,并且提出针对TF/IDF权重计算的改进方法。该分类技术选择支持向量机作为分类算法,通过开源的支持向量机对样本进行训练和测试。实验结果表明,采用中文文本分类技术对金融分析报告按照行业进行分类能够满足金融机构的使用需求。