基于机器学习和深度学习的南海证据性数据抽取算法比较与应用

[目的/意义]本文尝试从文献载体到文献内容(全文检索)再到数据层面的细粒度的南海证据性数据抽取。首先,能提高南海文献数字资源的检索性能;其次,为专业人员提供充足的证据材料;最后,为南海维权的证据链关联模型构建做好基础。[方法/过程]根据南海维权证据的特点,制定抽取规则。通过文本清洗、文本分段、段分句、分词把非结构化的数据转化成结构化数据。然后分别比较朴素贝叶斯、SVM、随机森林、DNN、TexCNN、Bi-LSTM、LightGBM和XGBoost的证据性数据抽取效果。最后为了进一步提高证据抽取的准确性,增加了“5W”规则过滤和人工校验。[结果/结论]实验结果表明,基于TensorFlow深度学习框架,构建DNN模型的证据性数据抽取效果较好,准确率达0.88。通过进一步融合“5W”规则过滤和人工校验,显著地提高了南海证据性数据抽取的准确率,本文的证据抽取的方法具有一定的可行性。

基于深度学习与需求规则融合的学术文献“目标数据”抽取模型构建与应用——以南海数字资源为例

【目的/意义】从海量的学术文献内容中,抽取科研人员所需要的目标数据,一方面有助于提高研究者的科研效率,另一方面有利于改善目前文献数据库的检索服务。【方法/过程】根据科研人员的学术需求,首先通过深度学习方法从大量的学术文献中抽取目标数据。其次使用NER和TF-IDF抽取目标数据的"5W"规则,接着对目标数据做第二层需求规则过滤,凡是满足"5W"规则的数据,被鉴定为目标数据。最后对目标数据做第三层人工校验,最终生成学术文献"目标数据"。【结果/结论】本文构建的学术文献"目标数据"抽取模型的准确率可达0.88,再融合"5W"规则的过滤和最后的人工校验,不仅有利于提高科研工作者的学术文献查准率,而且一定程度上辅助文献数据库机构的检索工作。【创新/局限】深度学习与需求规则融合,实现学术文献的检索结果从学术文献的题录信息层面到进入学术文献内容的数据层面。