基于文本倾向性分类技术的图书评价模型

介绍了文本分类技术和文本倾向性分类技术,并基于文本倾向性分类技术分析了图书评论中的信息,研究如何将机器学习方法应用在图书评论的倾向性分类中,提出了一种图书评价模型构建的解决方法.

高校图书馆开放式借阅实践的思考

本文浅析了高校图书馆开放式借阅合一模式的优势和问题，结合开放式借阅的运作实践，就如何加强开放式借阅的管理，更好地服务于读者提出一些行之有效的措施。

基于Tri-training的社交媒体药物不良反应实体抽取

社交媒体因其数据的实时性,对其充分利用可以弥补传统医疗文献药物不良反应中实体抽取的迟滞性问题,但社交媒体文本面临标注数据成本高、数据噪声大等问题,使得模型难以发挥良好的效果。针对社交媒体大量未标注语料存在标注成本高的问题,采用Tri-training半监督的方法进行社交媒体药物不良反应实体抽取,通过三个学习器Transformer+CRF、BiLSTM+CRF和IDCNN+CRF对未标注数据进行标注,再利用一致性评价函数迭代地扩展训练集,最后通过加权投票整合模型输出标签。针对社交媒体的文本不正式性(口语化严重、错别字等)问题,通过融合字与词两个粒度的向量作为整个模型嵌入层的输入,来提取更丰富的语义信息。实验结果表明,提出的模型在“好大夫在线”网站获取的数据集上取得了良好表现。

融合历史答案特征的多粒度语义交互答案排序方法

为解决只根据单一特征判断答案质量的问题,提出一种结合历史答案特征及多粒度语义交互判断答案质量的排序方法。通过指针网络提取历史答案特征,用动态注意力剔除掉问答对及历史答案的弱相关部分,采用比较聚合池化提取局部语义特征向量,用池化归纳问答对及历史答案句子信息,通过加权求和提取全局语义特征向量。将问答对及历史答案的局部和全局语义特征向量融合,输入到分类器进行打分,按照得分对候选答案排名。实验结果表明,所提方法有效提升了答案选择的正确率。

融合多信息句子图模型的多文档摘要抽取

针对现有多文档抽取方法不能很好地利用句子主题信息和语义信息的问题,提出一种融合多信息句子图模型的多文档摘要抽取方法。首先,以句子为节点,构建句子图模型;然后,将基于句子的贝叶斯主题模型和词向量模型得到的句子主题概率分布和句子语义相似度相融合,得到句子最终的相关性,结合主题信息和语义信息作为句子图模型的边权重;最后,借助句子图最小支配集的摘要方法来描述多文档摘要。该方法通过融合多信息的句子图模型,将句子间的主题信息、语义信息和关系信息相结合。实验结果表明,该方法能够有效地改进抽取摘要的综合性能。

使用胶囊网络的细粒度情感分析方法

Aspect-BasedSentimentClassification(ABSC)属于细粒度情感分析任务之一,旨在发现实体方面(Aspect)相关的情感倾向.本论文中提出一种基于胶囊网络的模型:MADC(Model based on Asp-Routing and Doc-Routing Capsule),通过迁移模型将文档级别的特征和语义信息用于方面级情感分析中,针对文档级别和句子级别的的任务,分别使用了基于注意力机制的AspRouting和Doc-Routing动态路由方法,加强了句子级别任务情感分析的可信度.为了让模型识别特定领域词向量的语义信息,文章使用双嵌入词向量加位置信息的表示方法,通过卷积神经网络抽取特征作为胶囊网络的输入,再使用两层动态路由算法使网络共享迁移学习的特征胶囊和主胶囊,最后针对不同的任务使用不同的类胶囊输出向量对方面情感或文档级别情感作出极性预测.文章通过在数据集上与多个框架的对比论证了模型的有效性.

基于层级BiGRU+Attention的面向查询的新闻多文档抽取式摘要方法

针对现有大多数面向查询的多文档抽取式摘要方法通常是将句子的内容显著性及查询相关性分开计算的,且对向量表示的建模不充分的问题,提出一种基于层级BiGRU+Attention的面向查询的新闻多文档抽取式摘要方法.首先,通过训练层级BiGRU+Attention神经网络模型,获得具有丰富上下文语义信息的句子、文档向量表示;并在此过程中通过双线性变换注意力机制,使得文档向量表示不仅具有反映文档深层主旨信息的基本特性,还融入句子与用户查询的相关性信息,然后利用句向量与其进行相似度计算获得相应的句子重要性得分;其次,由句子重要性得分、句子中包含的关键词特征、句子的长度特征以及句子的时序权重系数加权组合得到最终的句子综合特征权重得分;最后,利用MMR算法来选择摘要句.实验结果表明,与其他方法相比本文提出的方法能在一定程度上提高面向查询的多文档抽取式摘要的质量,具有一定的有效性及优越性.

融合数据增强与半监督学习的药物不良反应检测

目前药物不良反应(ADR)研究使用的数据主要来源于英文语料,较少选用存在标注数据稀缺问题的中文医疗社交媒体数据集,导致对中文医疗社交媒体的研究有限。为解决标注数据稀缺的问题,提出一种新型的ADR检测方法。采用ERNIE预训练模型获取文本的词向量,利用BiLSTM模型和注意力机制学习文本的向量表示,并通过全连接层和softmax函数得到文本的分类标签。对未标注数据进行文本增强,使用分类模型获取低熵标签,此标签被作为原始未标注样本及其增强样本的伪标签。此外,将带有伪标签的数据与人工标注数据进行混合,在分类模型的编码层和分类层间加入Mixup层,并在文本向量空间中使用Mixup增强方法插值混合样本,从而扩增样本数量。通过将数据增强和半监督学习相结合,充分利用标注数据与未标注数据,实现ADR的检测。实验结果表明,该方法无需大量的标注数据,缓解了标注数据不足对检测结果的影响,有效提升了药物不良反应检测模型的性能。

基于Transformer模型的问句语义相似度计算

针对现有方法准确率不高、不能充分捕捉句子深层次语义特征的问题,提出一种基于Transformer编码器网络的问句相似度计算方法。在获取句子语义特征前引入交互注意力机制比较句子间词粒度的相似性,通过注意力矩阵和句子矩阵相互生成彼此注意力加权后的新的句子表示矩阵,将获取的新矩阵同原始矩阵拼接融合,丰富句子特征信息;将拼接后的句子特征矩阵作为Transformer编码器网络的输入,由Transformer编码器分别对其进行深层次语义编码,获得句子的全局语义特征;通过全连接网络和Softmax函数对特征进行权重调整,得到句子相似度。在中文医疗健康问句数据集上模型取得了90.2%的正确率,较对比模型提升了将近4.2%,验证了该方法可以有效提高句子的语义表示能力和语义相似度的准确性。

融合回答者排序得分的CQA答案摘要方法

针对现有答案摘要方法对句子建模不够充分,并且忽略了回答者相关信息在摘要过程中的作用,提出了融合回答者排序得分的CQA答案摘要方法。首先,使用RoBERTa-wwm结合平均池化对句子进行编码获取句子深层语义表示;然后,使用DUM专家推荐方法依据回答者相关信息对回答者进行排序,依据排序结果求得回答者排序得分;最后,综合句子相关性、句子新颖性、回答者排序得分计算句子综合得分,根据句子综合得分使用MMR思想迭代选取句子构成答案摘要。实验表明,使用RoBERTa-wwm结合平均池化能更好地获取到答案句的深层语义信息,综合3个评分选取摘要句既能考虑答案与问题、答案与答案间的交互,也能较好地融入回答者的信息,有效地改善了答案摘要的质量。

基于兴趣和专业度建模的CQA专家发现方法

现有问答社区专家发现方法通过学习用户解答的问题序列单向信息建模用户兴趣,忽略了用户兴趣的波动性,对于解答过较少问题的用户建模准确度将受到影响,此外,未考虑历史回答与问题的语义相关性对评估用户表现的作用。论文提出基于兴趣和专业度建模的CQA专家发现方法,首先,使用BERT4Rec学习用户近期解答的问题序列双向信息得到近期动态兴趣表示;其次,构建用户社交网络,使用DeepWalk算法学习网络结构特征,得到用户长期兴趣表示;再次,构建用户专业度评估网络,依据用户回答与问题的语义相关性及反馈信息计算权重,对相应问题进行加权,引入注意力机制,重点关注用户在与新问题相近问题上的表现,得到用户专业度表示;最后,综合用户近期动态兴趣、长期兴趣和专业度表示与新问题进行匹配打分,为新问题找出有意愿接受邀请并能提供优质回答的用户。实验表明,该方法取得了较好表现,较基线方法在英语、3D打印和天涯问答数据集的MRR评价指标上分别提升了5.2%、2.7%、16.1%。