基于Lucene的中文是非问答系统的设计与实现

针对中文是非问句,设计并实现了基于Lucene的问答系统,主要包括问句预处理、索引创建和答案整理三部分。问句预处理部分,引入句法成分权重和命名实体权重改进TextRank算法,得到一种提取问句核心词的方法。在索引创建部分,针对本地的多源数据进行文档融合创建索引,降低数据多样性带来的复杂度。在答案整理部分,对查询索引结果进行答案判决,输出肯定或否定含义的答案。实验结果表明,数据融合能有效减少索引创建耗时,改进TextRank的核心词提取方法准确率明显高于TextRank,系统具有较为不错的性能。

结合BiLSTM+CRF和TextRank的句法边界分析

通过剖析短语结构层次句法分析的层次性和汉语结构特点,提出了一种把核心词作为词块的形式替换、层层进行词块组合的句法结构树.在句法边界分析的过程中,将词块识别和核心词提取分开进行.在词块识别模块,使用双向长短期记忆模型(Bi-directional Long Short-Term Memory,BiLSTM)和条件随机场(Conditional Random Field,CRF)结合的模型(BiLSTM+CRF)进行词块边界标记的识别,其中BiLSTM模型学习上下文特征,CRF模型学习输出标记序列结果的转移特征,达到预测标记序列联合解码的作用;在核心词提取模块,结合Word2vec词向量改进TextRank重要度排序算法,通过加入词语的相似度信息、位置信息、词性信息来提高识别准确度.实验对比了CRF、BiLSTM、BiLSTM+CRF词块识别分别与三种信息组合的TextRank核心词识别的句法边界分析效果,并对比了各句长下每种模型的识别情况.结果表明,使用BiLSTM+CRF联合改进的TextRank识别效果最好,相比于基线LR方法F1值提升了6.58个百分点,整句正确率提升了3.68个百分点,验证了模型的有效性和稳定性.