多任务学习是一种联合多个任务同时学习来增强模型表示和泛化能力的手段,任务之间的相关性是多任务学习的基本因素.为解决任务差异的内在冲突会损害部分任务的预测的问题,提出一种基于相关性学习层(correlation learning layer,CLL)的...多任务学习是一种联合多个任务同时学习来增强模型表示和泛化能力的手段,任务之间的相关性是多任务学习的基本因素.为解决任务差异的内在冲突会损害部分任务的预测的问题,提出一种基于相关性学习层(correlation learning layer,CLL)的多任务学习模型,并将该模型作为新的代理模型应用于贝叶斯优化算法中,以期解决昂贵的优化问题.在传统的多任务学习网络后面增加相关性学习层,使已经完成初步共享学习的任务在该层进行优化共享,令多个任务所学习到的知识充分交互起来.根据不同的基于参数的共享机制,构建带有相关性层的LeNet和径向基函数(radial basis function,RBF)多任务学习模型,在多任务版本的美国国家标准与技术研究所(Mixed National Institute of Standards and Technology,MNIST)数据集和任务相关性可控制的综合数据集上进行实验,验证了所提出的基于相关性层的多任务学习模型的有效性.将所提多任务学习网络作为代理模型应用于贝叶斯优化算法中,不仅能减少模型对目标问题的评价次数,还能成倍地扩充训练数据数量,进而提升模型的性能.展开更多
针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工...针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.展开更多
文摘多任务学习是一种联合多个任务同时学习来增强模型表示和泛化能力的手段,任务之间的相关性是多任务学习的基本因素.为解决任务差异的内在冲突会损害部分任务的预测的问题,提出一种基于相关性学习层(correlation learning layer,CLL)的多任务学习模型,并将该模型作为新的代理模型应用于贝叶斯优化算法中,以期解决昂贵的优化问题.在传统的多任务学习网络后面增加相关性学习层,使已经完成初步共享学习的任务在该层进行优化共享,令多个任务所学习到的知识充分交互起来.根据不同的基于参数的共享机制,构建带有相关性层的LeNet和径向基函数(radial basis function,RBF)多任务学习模型,在多任务版本的美国国家标准与技术研究所(Mixed National Institute of Standards and Technology,MNIST)数据集和任务相关性可控制的综合数据集上进行实验,验证了所提出的基于相关性层的多任务学习模型的有效性.将所提多任务学习网络作为代理模型应用于贝叶斯优化算法中,不仅能减少模型对目标问题的评价次数,还能成倍地扩充训练数据数量,进而提升模型的性能.
文摘针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.