自Walsh提出量值理论(a theory of magnitude,ATOM)以来,关于不同量值信息的表征机制就一直存在两个假说:共享量化系统假说与多重量化系统假说,它们争论的焦点是,各类量值的心理表征是相同的还是有差异的。量值的认知神经科学研究中也...自Walsh提出量值理论(a theory of magnitude,ATOM)以来,关于不同量值信息的表征机制就一直存在两个假说:共享量化系统假说与多重量化系统假说,它们争论的焦点是,各类量值的心理表征是相同的还是有差异的。量值的认知神经科学研究中也存在两大主要争论:一是数字与顺序序列的神经激活是否存在差异;二是数字加工的顶内沟激活是否由反应选择引起。作者在回顾量值研究的进展后提出有待解决的五个问题。展开更多
随着互联网信息的发展,如何有效地表示不同语言所含的信息已成为自然语言处理(Natural Language Processing,NLP)领域的一项重要任务.然而,很多传统的机器学习模型依赖在高资源语言中进行训练,无法迁移到低资源语言中使用.为了解决这一...随着互联网信息的发展,如何有效地表示不同语言所含的信息已成为自然语言处理(Natural Language Processing,NLP)领域的一项重要任务.然而,很多传统的机器学习模型依赖在高资源语言中进行训练,无法迁移到低资源语言中使用.为了解决这一问题,结合迁移学习和深度学习模型,提出一种多语言双向编码器表征量(Multi-lingual Bidirectional Encoder Representations from Transformers,M-BERT)的迁移学习方法.该方法利用M-BERT作为特征提取器,在源语言领域和目标语言领域之间进行特征转换,减小不同语言领域之间的差异,从而提高目标任务在不同领域之间的泛化能力.首先,在构建BERT模型的基础上,通过数据收集处理、训练设置、参数估计和模型训练等预训练操作完成M-BERT模型的构建,并在目标任务上进行微调.然后,利用迁移学习实现M-BERT模型在跨语言文本分析方面的应用.最后,在从英语到法语和德语的跨语言迁移实验中,证明了本文模型具有较高的性能质量和较小的计算量,并在联合训练方案中达到了96.2%的准确率.研究结果表明,该文模型实现了跨语言数据迁移,且验证了其在跨语言NLP领域的有效性和创新性.展开更多
文摘自Walsh提出量值理论(a theory of magnitude,ATOM)以来,关于不同量值信息的表征机制就一直存在两个假说:共享量化系统假说与多重量化系统假说,它们争论的焦点是,各类量值的心理表征是相同的还是有差异的。量值的认知神经科学研究中也存在两大主要争论:一是数字与顺序序列的神经激活是否存在差异;二是数字加工的顶内沟激活是否由反应选择引起。作者在回顾量值研究的进展后提出有待解决的五个问题。
文摘随着互联网信息的发展,如何有效地表示不同语言所含的信息已成为自然语言处理(Natural Language Processing,NLP)领域的一项重要任务.然而,很多传统的机器学习模型依赖在高资源语言中进行训练,无法迁移到低资源语言中使用.为了解决这一问题,结合迁移学习和深度学习模型,提出一种多语言双向编码器表征量(Multi-lingual Bidirectional Encoder Representations from Transformers,M-BERT)的迁移学习方法.该方法利用M-BERT作为特征提取器,在源语言领域和目标语言领域之间进行特征转换,减小不同语言领域之间的差异,从而提高目标任务在不同领域之间的泛化能力.首先,在构建BERT模型的基础上,通过数据收集处理、训练设置、参数估计和模型训练等预训练操作完成M-BERT模型的构建,并在目标任务上进行微调.然后,利用迁移学习实现M-BERT模型在跨语言文本分析方面的应用.最后,在从英语到法语和德语的跨语言迁移实验中,证明了本文模型具有较高的性能质量和较小的计算量,并在联合训练方案中达到了96.2%的准确率.研究结果表明,该文模型实现了跨语言数据迁移,且验证了其在跨语言NLP领域的有效性和创新性.