基于Transformer的预训练语言模型在生物医学领域的应用

[背景]随着人工智能技术的快速发展,自然语言处理(NLP)已成为生物医学研究领域中的一项关键技术.而基于Transformer框架的预训练语言模型(T-PLMs)已被广泛应用于生物医学文本的分析,有效地推动了临床决策支持系统的发展和基因组学数据的解读.[进展]本文聚焦于T-PLMs在生物医学领域的应用,探讨其在处理和理解生物医学文本数据方面的潜力和挑战.首先回顾NLP技术的演进,从传统的特征工程到预训练语言模型的兴起,特别是BERT等模型如何改变生物医学文本分析的范式;随后详细介绍T-PLMs的训练范式,包括预训练和微调过程,以及如何通过特定领域的预训练和Prompt工程来提升模型在生物医学任务中的性能;进而深入探讨T-PLMs在生物医学领域的多样化应用,包括文本表示和知识挖掘、临床决策支持、医学影像理解、蛋白质预测、分子表示和药物设计等,并特别归纳收集了上述多个生物医学细分领域相关的数据库资料.[展望]当前研究和应用中仍面临许多挑战,如模型可解释性、数据隐私保护、多模态数据等.基于此对未来的研究方向提出展望,以充分发挥NLP在推动生物医学研究和改善患者护理方面的潜力.

跨文化生物医学文本的语言学方法和应用

本文介绍了在生物学英文文本纷繁芜杂的当今,面对中英文本的文化差异,生物医学自然语言处理(Natural Language processing for Biology,BioNLP)的基本概念和方法。归纳总结了BioNLP在挖掘生物医学文献信息中的重要方面。通过研究实例分析了常见的以"词"、"句"、"篇"为语言单位的分析方法并指出这些方法的局限性,最后展望了生物医学计算语言学研究趋势。

文本大数据与自然语言处理分析

作为现代计算机科学领域的重要研究方向,文本大数据与自然语言处理的结合程度日益提升,大有集语言学、计算机科学、数学于一体的趋势。文章对文本大数据与自然语言处理的有关概念进行了介绍,并阐述了文本大数据与自然语言处理融合运用的有关思考,希望为读者提供一定的参考。

文本挖掘在生物医学领域中的应用及其系统工具

系统介绍了生物医学文本挖掘的具体流程和文本挖掘技术在生物医学领域中的应用情况,并着重从自然语言处理和本体、命名实体识别、关系抽取、文本分类与聚类、共现分析、系统工具及评价、可视化等方面分别做了阐述。

整合会话分析与文本挖掘技术来评价协作学习——访谈卡耐基梅隆大学著名教授卡洛琳·佩恩斯坦·罗泽

建构主义学习理论认为协作发生在学习过程的始终,协作学习过程也是会话的过程。协作学习活动的规范设计与顺利实施有利于促进学习者之间知识共享与协同建构。如何评价协作学习是当前教育技术领域研究的焦点问题。围绕整合技术进行协作学习评价问题,我们访谈了卡耐基梅隆大学著名教授卡洛琳·佩恩斯坦·罗泽。罗泽教授认为会话在协作学习情境中具有独特价值,不仅是一种使思维清晰可见的方式,而且参与者的多样化视角有利于知识的协同创新。罗泽教授的研究聚焦于整合语言学、教育学、心理学等相关理论,深入理解协作学习中会话的社会及其实际本质,搭建提高人与人、人与计算机之间会话效果的计算系统。其研究视角是运用社会语言学和会话分析理论设计语言表征的方式和新的计算模型,使语言模式可以被机器学习;研究内容是从计算的视角分析语言与社会之间的关系,开发用于评价在线协作学习过程的工具(如Tag Helper和Light SIDE),以便为协作学习的组织者或促进者提供适合特定情境的干预机制和反馈报告。罗泽教授及其团队的重要贡献还体现在优化协作学习过程的自动化分析方法,促进协作学习支持技术从静态支持向动态支持范式转变,研发新的干预机制与动态支持技术促进大规模协作学习等。

地方普通院校文本挖掘课程的教学实施和探索

针对文本挖掘课程在地方普通院校计算机本科专业中教学实施历史短、教材不成熟、知识融合度低等问题,结合专业课程体系和实际学情,探讨该课程在地方普通院校计算机专业中的教学实施。以乐山师范学院计算机专业文本挖掘课程教学实践为例,阐述课程教学的目标定位、内容设计、教学方法以及考核方案方面的改革思路和方法,最后通过课程问卷调查的结果说明课程改革的有效性。

融合耦合距离区分度和强类别特征的短文本相似度计算方法

短文本相似度计算在社会网络、文本挖掘和自然语言处理等领域中起着至关重要的作用.针对短文本内容简短、特征稀疏等特点,以及传统的短文本相似度计算忽略类别信息等问题,提出一种融合耦合距离区分度和强类别特征的短文本相似度计算方法.一方面,在整个短文本语料库中利用两个共现词之间的距离计算词项共现距离相关度,并以此来对词项加权从而捕获词项间内联和外联关系,得到短文本的耦合距离区分度相似度;另一方面,基于少量带类别标签的监督数据提取每类中强类别区分能力的特征项作为强类别特征集合,并利用词项的上下文来对强类别特征语义消歧,然后基于文本间包含相同类别的强类别特征数量来衡量文本间的相似度.最后,本文结合耦合距离区分度和强类别特征来衡量短文本的相似度.经实验证明本文提出的方法能够提高短文本相似度计算的准确率.

观点挖掘

学科:计算机科学技术观点挖掘是人工智能领域一项至关重要的技术,是利用信息检索和自然语言处理技术判定文档中观点或倾向的一种挖掘任务,目标是使计算机在语义理解的基础上,从文本中获取有价值的评价信息和观点。主要用于热点跟踪、舆情分析、政策文本分析、市场监测、个性化推荐等方面。

语料库语言学研究的技术拓展--《Python文本分析：用可实现的方法挖掘数据价值》评介

1引言随着世界上第一个机读语料库（布朗语料库,Brown Corpus）的诞生和计算机科学的发展,语料库语言学于20世纪中叶正式成为一门学科并在半个多世纪中迅速普及,逐步趋于成熟（Aijmer＆Altenberg,2009）。语料库语言学以真实语言使用中的语言事实为研究对象,借助计算机技术和统计学方法,对语言数据进行定性定量的描写和概括,从而全方位、多角度地揭示语言中的规律（杨惠中,2002）。

基于协同迭代及动态词库扩展的文本情感倾向分类算法

在自然语言处理的领域中,大多数针对文本情感倾向的分类算法都含有计算复杂、执行效率低、适用性弱且效果不理想的特点。因此,在该领域的专家和学者的研究基础之上,提出文本和倾向特征词相互训练的思路,设计一种基于协同迭代及动态词库扩展的文本情感倾向分类算法CACIDLE。CACIDLE具有易理解、执行效率高、适应性强且效果令人满意等优点。经过多次测试实验,结果表明CACIDLE算法对文本情感倾向分类的平均精确度可达到83.4%,除此之外,还可以通过设置参数阈值来控制分类结果的倾向。

计算语言学中的语义域

在计算语言学学会（ACL）2005年年会上，ACL把终身成就奖授与了MartiuKay。在获奖感言中，他谈到了计算语言学与自然语言处理（NLP）两者之间的区别。计算语言学是有关利用计算机研究语言学理论的，而NLP领域则关注文本处理应用工程。因此计算语言学是一门学科，而NLP则是它的所有技术蕴涵的集合。计算语言学是普通语言学的一个分支，而NLP更准确地说是一个工程问题。本书作者介绍了建立在语义域基础上的用于词汇语义学的一个计算模型。

自动文摘评价方法综述

评价是自动文摘领域长期关注的焦点,对自动文摘技术的发展起着积极的促进作用。本文首先介绍了自动文摘评价方法的应用背景和面临的困难;然后对自动文摘评价方法进行了简单介绍和评价;接着在了解国内外研究现状的基础上详细分析了文摘评价方法的关键技术;最后对自动文摘评价方法未来的发展趋势进行了展望。

汉语代词所指研究的新设想

本文在借鉴国内外现有理论和方法的基础上，从计算语言学角度，结合汉语代词自身的特点，提出一种基于语料库和基于规则相结合的研究设想，以探讨汉语代词所指确定的一般性方法，为计算机理解汉语代词提供一种有效可行的处理模式。

大数据相关词条(续)

线性模型（linear model）：是一种分析模型,它假定考虑的各变化因素是线性的关系. 协作推荐：是利用用户访问行为的相似性来相互推荐用户可能感兴趣的资源.

黄昌宁教授和他主持的国家重点科研项目

黄昌宁教授和他主持的国家重点科研项目黄昌宁，男，１９３７年１月出生于广东。１９６１年毕业于清华大学自动控制专业，毕业后留校任教至今。现任计算机系教授、博士生导师。１９７８年起从事人工智能和自然语言理解的教学科研工作。还担任中国中文信息学会计算语言学专...

用文献计量数据解读中国和印度的科技发展

该文采用SCI/SSCI数据库,对通信联系人中至少含有一位印度/中国人的科技论文进行了文献计量学和计算语言学分析。依据对印度和中国科技文献单独分析的结果,深入地探讨了两国在科技领域的差异。借助不同的分析技术,包括影响因子分析、相关性图解以及文档聚类(传统聚类和模糊聚类),多角度地分析了中国和印度科技文献的基本学科结构体系(主要作者、研究单位等)与主要学科结构(学科重点以及学科重点之间的关系)。第一部分内容介绍了中国科技文献评估,第二部分阐述了印度科技文献评估,第三部分则为印度和中国科研成果的多角度比较。