-
题名基于注意力头数和词性融合的藏文预训练模型
- 1
-
-
作者
张英
拥措
斯曲卓嘎
拉毛杰
扎西永珍
尼玛扎西
-
机构
西藏大学信息科学技术学院
西藏自治区藏文信息技术人工智能重点实验室
藏文信息技术教育部工程研究中心
-
出处
《科学技术与工程》
北大核心
2024年第23期9957-9964,共8页
-
基金
科技创新2030——“新一代人工智能”重大项目(2022ZD0116100)
西藏自治区科技厅项目(XZ202401JD0010)。
-
文摘
为了更好地学习藏文语言特征以及探究藏文预训练语言模型的最佳注意力机制头数,将词性与藏文预训练模型相结合,并进行了对比实验确定最佳的注意力头数,旨在提高语言模型对藏文语言特征的理解以及下游任务的性能。实验结果表明,在多个分类任务中,注意力头数为12的预训练模型皆表现了良好的性能。此外,将词性融入预训练模型后,文本、标题和情感分类任务的模型F_(1)值分别提高了0.57%、0.92%和1.01%。实验结果证明融入词性特征后,模型可以更准确地理解藏文语言结构和语法规则,从而提高分类任务的准确率。
-
关键词
注意力机制
词性
预训练语言模型
文本分类
情感分类
-
Keywords
attention mechanism
part-of-speech
pre-train language models
text classification
sentiment classification
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名初中语文个性化作文教学初探
- 2
-
-
作者
扎西永珍
-
机构
西藏昌都市江达县第一初级中学
-
出处
《散文选刊(中旬刊)》
2020年第8期227-227,共1页
-
文摘
作文教学是初中语文教学的一个主要组成部分,作文是运用文字表达思想感情的综合训练方式,是衡量语文水平的重要尺度。在教育领域,个性化是要尊重学生的主体性,致力于开发学生的潜能。个性化作文是指学生在老师的指导下充分地发挥潜能,根据个人内心特有的想法所创作的具有独特性、真实性的作文,个性化作文的创作过程,是开拓学生思维并吐露内心真实情感的过程,展现学生独特的理解方式。本文针对初中语文个性化作文教学策略进行阐述。
-
关键词
初中语文
语文水平
文字表达
作文教学
个性化作文
真实情感
综合训练
发挥潜能
-
分类号
G63
[文化科学—教育学]
-