A Hierarchical Combination Method for Computer Understanding of Chinese Language

On the basis of the characteristics of Chinese language such.as simple and uniform structure, distinct hierarchy and construction by word order and function words, and in the view of the human cognitive mechanism, a hierarchical combination method for computer understanding of Chinese language is put forward in this paper. By this method, the whole information of a sentence is hierarchically combined from the partial information of the basic units of it, with the unification operation under attribute description frames. This method is perfect in combining syntax analysis with semantic analysis, easy to implement, and very suitable for the computer understanding system for processing Chinese language.

Design and Implementation of a New Chinese Word Segmentation Dictionary for the Personalized Mobile Search

Chinese word segmentation is the basis of natural language processing. The dictionary mechanism significantly influences the efficiency of word segmentation and the understanding of the user’s intention which is implied in the user’s query. As the traditional dictionary mechanisms can't meet the present situation of personalized mobile search, this paper presents a new dictionary mechanism which contains the word classification information. This paper, furthermore, puts forward an approach for improving the traditional word bank structure, and proposes an improved FMM segmentation algorithm. The results show that the new dictionary mechanism has made a significant increase on the query efficiency and met the user’s individual requirements better.

Linked Data Based Framework for Tourism Decision Support System: Case Study of Chinese Tourists in Switzerland

Switzerland is one of the most desirable European destinations for Chinese tourists;therefore, a better understanding of Chinese tourists is essential for successful business practices. In China, the largest and leading social media platform—Sina Weibo, a hybrid of Twitter and Facebook—has more than 600 million users. Weibo’s great market penetration suggests that tourism operators and markets need to understand how to build effective and sustainable communications on Chinese social media platforms. In order to offer a better decision support platform to tourism destination managers as well as Chinese tourists, we proposed a framework using linked data on Sina Weibo. Linked Data is a term referring to using the Internet to connect related data. We will show how it can be used and how ontology can be designed to include the users’ context (e.g., GPS locations). Our framework will provide a good theoretical foundation for further understand Chinese tourists’ expectation, experiences, behaviors and new trends in Switzerland.

Towards On-line Automated Semantic Scoring of English-Chinese Translation

Described and exemplified a semantic scoring system of students' on-line English-Chinese translation. To achieve accurate assessment, the system adopted a comprehensive method which combines semantic scoring with keyword matching scoring. Four kinds of words-verbs, adjectives, adverbs and "the rest" including nouns, pronouns, idioms, prepositions, etc., are identified after parsing. The system treats different words tagged with different part of speech differently. Then it calculated the semantic similarity between these words of the standard versions and those of students' translations by the distinctive differences of the semantic features of these words with the aid of HowNet. The first semantic feature of verbs and the last semantic features of adjectives and adverbs are calculated. "The rest" is scored by keyword matching. The experiment results show that the semantic scoring system is applicable in fulfilling the task of scoring students' on-line English-Chinese translations.

当代华语MV的诗意美学建构——以黄中平作品为例

黄中平是华语领域颇具影响力的导演之一,他的创作几乎经历了整个华语MV史。在其长达20余年的创作生涯中,600余部作品以具有强烈现代性的诗意风格将其打造成了一位MV界的“抒情诗人”。黄中平的作品在非线性叙事、表现主体与审美意境三个方向上形成了独具民族文化特色的审美形态,同时也一以贯之地承袭着我国诗性电影的美学底色。以黄中平的作品为代表的华语MV既实现了对艺术“舶来品”在现代创作观念上的在地性超越,也展现了对中国传统美学观念的回归与守望。

中文命名实体识别研究综述

命名实体识别(named entity recognition,NER)是自然语言处理中最基本的任务之一,其主要内容是识别自然语言文本中具有特定意义的实体类型和边界。然而,中文命名实体识别(Chinese named entity recognition,CNER)的数据样本存在词边界模糊、语义多样化、形态特征模糊以及中文语料库内容较少等问题,导致中文命名实体识别性能难以大幅提升。介绍了CNER的数据集、标注方案和评价指标。按照CNER的研究进程,将CNER方法分为基于规则的方法、基于统计的方法和基于深度学习的方法三类,并对近五年来基于深度学习的CNER主要模型进行总结。探讨CNER的研究趋势,为新方法的提出和未来研究方向提供一定参考。

融合BERT模型与词汇增强的中医命名实体识别模型

现有的中医命名实体识别相关研究较少,基本都是基于中文病例做相关研究,在传统中医编写的病例文本中表现不佳。针对中医案例中命名实体密集且边界模糊难以划分的特点,提出了一种融合词汇增强和预训练模型的中医命名实体识别方法LEBERT-BILSTM-CRF。该方法从词汇增强和预训练模型融合的角度进行优化,将词汇信息输入到BERT模型中进行特征学习,达到划分词类边界和区分词类属性的目的,提高中医医案命名实体识别的精度。实验结果表明,在文中构建的中医病例数据集上针对10个实体进行命名实体识别时,提出的基于LEBERT-BILSTM-CRF的中医案例命名实体识别模型综合准确率、召回率、F1分别为88.69%,87.4%,88.1%,高于BERT-CRF,LEBERT-CRF等常用命名实体识别模型。

中医循证大数据治理平台建设和应用

目的构建以智慧中医为核心,具备中医特色的循证大数据治理平台,推动中医智慧医疗的发展,提升医学科研和实际应用的效能。方法集成医院中医辨证论治过程数据及其他各类临床数据。利用人工智能和大数据技术,对数据进行了清洗、标准化及结构化处理等数据治理,并以此为基础,构建了覆盖全院的中医临床数据中心系统。结果目前平台已实现对百万级别真实就诊记录的采集和治理,为中医健康管理和临床科研提供了有力支持,特别是对于中医辨证施治、方剂研究、药物反应等方面的研究有着极大的推动作用。结论通过构建基于中医大数据治理平台,实现了对中医数据的有效管理和应用价值增值,有力提高了中医诊疗的精准度和科研成果的产出速度,推动了中医的现代化进程。

基于自然语言处理智能技术的中医术语研究文献计量分析

目的对国内外近20年来发表的涉及自然语言处理(NLP)智能技术应用于中医术语识别或标注方面的文献进行计量分析与评价,探讨NLP智能技术在中医术语标准研究中的应用和发展前景。方法检索收集2003年1月至2023年10月期间,中国知网、维普中文科技期刊数据库、万方数据知识服务平台、中国生物医学文献服务系统及Web of Science等中英文数据库中的相关文献。采用Excel vba、Gephi、PyCharm等数据处理和统计分析工具,应用频数统计、Apriori关联分析、词云统计等文献计量学方法,对相关研究热点进行可视化分析。结果①经筛选,符合研究标准的文献共442篇,其中中文文献320篇、英文文献122篇。②2016年以后,相关发文量呈现持续增长的趋势。③发文国家主要集中在中国。④中文文献中硕博士学位论文比重较大,其中发文量最高的是北京交通大学。⑤中文文献发文机构以中国中医科学院发文量最高;英文文献发文机构以北京科技大学发文量最高;中医机构与计算机相关机构合作频繁。⑥基于BERT的命名实体识别算法在中医术语研究中的应用效果最为显著。⑦中医文献类的数据占比较大。结论基于NLP智能技术的中医术语标准化研究仍处于探索阶段,现有研究表现出技术应用的多样性,但缺乏系统性。鉴于NLP智能技术在中医术语识别和标注方面的潜力,未来研究需进一步加强,以期实现中医术语标准研究的系统化、智能化与广泛应用。

中文电子病历信息提取方法研究综述

电子病历里承载的大量医疗信息能够帮助医生更好地了解患者的情况,辅助医生进行临床诊断。作为中文电子病历信息提取的2大核心任务,命名实体识别和实体关系抽取的目标是识别出电子病历文本中的医学实体并提取出各个实体间的医学关系。首先,系统阐述了中文电子病历的研究现状,指出命名实体识别和实体关系抽取2大任务在中文电子病历信息提取中所发挥的重要作用。随后,介绍了面向中文电子病历信息提取的命名实体识别和关系抽取算法的最新研究成果,并分析了每个阶段各个模型的优缺点。最后,讨论了中文电子病历现阶段所存在的问题并对未来的研究趋势进行展望。

基于概念预测和关系预测的AMR解析与对齐方法

抽象语义表示(Abstract Meaning Representation,AMR)是一种深层次的句子级语义表示形式,其将句子中的语义信息抽象为由概念结点与关系组成的有向无环图,相比其他较为浅层的语义表示形式如语义角色标注、语义依存分析等,AMR因其出色的深层次语义信息捕捉能力,被广泛运用在例如信息抽取、智能问答、对话系统等多种下游任务中。AMR解析过程将自然语言转换成AMR图。虽然AMR图中的大部分概念结点和关系与句子中的词语具有较为明显的对齐关系,但原始的英文AMR语料中并没有给出具体的对齐信息。为了克服对齐信息不足给AMR解析以及AMR在下游任务上的应用造成的阻碍,Li等人[14]提出并标注了具有概念和关系对齐的中文AMR语料库。然而,现有的AMR解析方法并不能很好地在AMR解析的过程中利用和生成对齐信息。因此,该文首次提出了一种可以利用并且生成对齐信息的AMR解析方法,包括了概念预测和关系预测两个阶段。该文提出的方法具有高度的灵活性和可扩展性,实验结果表明,该方法在公开数据集CAMR 2.0和CAMRP 2022盲测集分别取得了77.6(+10.6)和70.7(+8.5)的Align Smatch分数,超过了过去基于序列到序列(Sequence-to-Sequence)模型的方法。该文同时对AMR解析的性能和细粒度指标进行详细的分析,并对存在的改进方向进行了展望。该文的代码和模型参数已经开源到https://github.com/pkunlp-icler/Two-Stage-CAMRP,供复现与参考。

基于双向对比训练的中文故事结尾生成模型

中文故事结尾生成(SEG)是自然语言处理中的下游任务之一。基于全错误结尾的CLSEG(Contrastive Learning of Story Ending Generation)在故事的一致性方面表现较好。然而,由于错误结尾中也包含与原结尾文本相同的内容,仅使用错误结尾的对比训练会导致生成文本中原结尾正确的主要部分被剥离。因此,在CLSEG基础上增加正向结尾增强训练,以保留对比训练中损失的正确部分;同时,通过正向结尾的引入,使生成的结尾具有更强的多样性和关联性。基于双向对比训练的中文故事结尾生成模型包含两个主要部分:1)多结尾采样,通过不同的模型方法获取正向增强的结尾和反向对比的错误结尾;2)对比训练,在训练过程中修改损失函数,使生成的结尾接近正向结尾,远离错误结尾。在公开的故事数据集OutGen上的实验结果表明,相较于GPT2. ft和深层逐层隐变量融合(Della)等模型,所提模型的BERTScore、METEOR等指标均取得了较优的结果,生成的结尾具有更强的多样性和关联性。

中文文本纠错软件测试用例的选择生成方法

针对目前尚无有效的中文文本纠错软件测试用例生成方法的情况,为了服务于软件纠错性能的测量并为软件提供优化方向,设计了一种面向多用户的、工程化的中文文本纠错软件测试用例选择生成方法(SGMT-CCS)。定义了两种不同的可供用户选择的用例评判标准:错误数量密度和错误种类密度。设计了三个模块:测试用例自动化生成模块、测试用例选择模块以及测试用例优先级排序模块。在SGMT-CCS中,用户可以:1)在测试用例自动化生成的过程中自定义错误最小间隔和用例集大小;2)在测试用例选择的过程中自定义错误最小间隔和期望值;3)在测试用例选择和优先级排序的过程中选择不同的用例评判标准进行自定义操作,以适应不同数据集的要求。实验结果表明,SGMT-CCS能够在较短的时间内获得有效的测试用例,选择模块实验在模拟的需求情况下都能满足用户自定义目标,优先级排序模块实验验证了相较于排序前,在不同评判标准下的不同时间段内都能有效提高测试效率。

基于深度学习的中文文本分类综述

大数据时代,随着社交媒体的不断普及,在网络以及生活中,各类文本数据日益增长,采用文本分类技术对文本数据进行分析和管理具有重要的意义。文本分类是自然语言处理领域中的一个基础研究内容,在给定标准下,根据内容对文本进行分类,文本分类的场景应用十分广泛,如情感分析、话题分类和关系分类等。深度学习是机器学习中一种基于对数据进行表征学习的方法,在文本数据处理中表现出了较好的分类效果。中文文本与英文文本在形、音、象上都有着区别,着眼于中文文本分类的特别之处,对用于中文文本分类的深度学习方法进行分析与阐述,最终梳理出常用于中文文本分类的数据集。

基于异构图表示的中医电子病历分类方法

中医(TCM)电子病历由于结构复杂多样与诊疗术语不规范的特点导致数据挖掘难度大、利用率低、难以抽取到有效信息。针对上述问题,提出基于LERT(Linguistically-motivated bidirectional Encoder Representation from Transformer)预训练模型与图卷积网络(GCN)并用异构图表示的中医电子病历分类模型TCM-GCN,用于改善中医电子病历特征有效表征的提取与分类。首先,利用LERT层词嵌入的方式将病历转换为句向量融入异构图中,以补全图结构缺失的病历整体语义特征;随后,为了缓解中医电子病历结构特点对特征提取产生的负面影响,异构图将关键词加入节点,使用BM25与点间互信息(PMI)算法构建图中“病历-关键词”“关键词-关键词”的边以表达病历的特征;最后,TCM-GCN依靠LERT-BM25-PMI构建的异构图对病历之间的特征关系进行聚合与抽取,完成病历分类的任务。在中医电子病历数据集上的实验结果表明,相较于次优的LERT,TCM-GCN加权平均后的准确率、召回率、F1值分别提升了2.24%、2.38%、2.32%,验证了算法在捕捉病历间隐含特征与中医电子病历分类工作上的有效性。

基于CRF的中文语法错误诊断系统的实现与应用

随着中国国际影响力的提高和汉语国际地位的提升,将中文作为第二语言学习的外国人数量逐年增加,中文已成为世界上最为流行的语言之一。基于此,中文语法错误诊断的研究备受关注。首先,从中文语法错误诊断的定义出发,总结目前的研究现状。其次,通过对各种中文语法错误诊断方法的分析,构建了基于条件随机场的中文语法错误诊断系统,探究中文语法自动检错系统及其具体应用流程,以帮助中文学习者提高学习效率。在CGED2016数据集上的实验结果表明,该系统在检测层和识别层上的性能较好,在位置层上还需要改进。

为上下文显式独立建模的中文实体识别方法

现有中文命名实体识别(NER)模型在公开数据集上的表现相对成熟,但有研究指出,模型过度依赖实体文本的字面特征,而上下文对实体识别的影响却未得到重视。现有的模型在简单的泛化测试中表现较差,因此本文提出显式地为上下文独立建模,令模型对上下文和实体的字面信息进行区分。为此,也提出了相应的数据增强方法用于训练模型中的上下文模块、实体字面模块和综合模块。实验结果表明,本文提出的方法在不损失测试集识别效果的情况下,明显改善了模型在不变性测试中的表现,较基准模型其失败率降低了2.3%。

Six-Writings multimodal processing with pictophonetic coding to enhance Chinese language models

While large language models(LLMs)have made significant strides in natural language processing(NLP),they continue to face challenges in adequately addressing the intricacies of the Chinese language in certain scenarios.We propose a framework called Six-Writings multimodal processing(SWMP)to enable direct integration of Chinese NLP(CNLP)with morphological and semantic elements.The first part of SWMP,known as Six-Writings pictophonetic coding(SWPC),is introduced with a suitable level of granularity for radicals and components,enabling effective representation of Chinese characters and words.We conduct several experimental scenarios,including the following:(1)We establish an experimental database consisting of images and SWPC for Chinese characters,enabling dual-mode processing and matrix generation for CNLP.(2)We characterize various generative modes of Chinese words,such as thousands of Chinese idioms,used as question-and-answer(Q&A)prompt functions,facilitating analogies by SWPC.The experiments achieve 100%accuracy in answering all questions in the Chinese morphological data set(CA8-Mor-10177).(3)A fine-tuning mechanism is proposed to refine word embedding results using SWPC,resulting in an average relative error of≤25%for 39.37%of the questions in the Chinese wOrd Similarity data set(COS960).The results demonstrate that SWMP/SWPC methods effectively capture the distinctive features of Chinese and offer a promising mechanism to enhance CNLP with better efficiency.

BERT模型应用于医学的文献计量可视化研究

梳理总结现阶段BERT模型应用于医学中的研究热点和未来发展趋势,为我国医学信息化提供参考和建议。采用文献计量学方法,收集整理Web of Science数据库核心集(WoSCC)中从2018年1月1日至2022年12月31日医学应用BERT模型的相关文献并进行分析。经筛选共纳入267篇文献。研究显示BERT主要应用在西医领域;参研国家主要为中国和美国,其他国家涉猎较少;作者单位分布呈现以高校为主,医疗机构及科研院所、政府机关等为辅的特征;研究内容主要聚焦于医疗信息抽取、命名实体识别等。中医领域应用BERT模型较早,但目前尚处于起步阶段,而我国健康卫生保障体系中西医并重,未来研究可围绕BERT如何促进中医信息化方面进一步扩展。

基于自然语言处理的学生评教情绪分析

对学生评教信息中蕴含的情绪分析对于课堂教学的改进起着至关重要的作用,使用了“中文分词+token+LSTM模型”的自然语言处理方式对学生评教信息进行了情绪分析.设置词表和停用词,对数据集进行中文分词.将得到的中文分词列表训练得出数字字典,将分词列表转换成数字列表,最后将数字列表转成空间向量形成数据集.建立LSTM模型,使用建立好的训练集进行训练,对训练后的模型进行评估,评估结果证明该模型是可靠的,对选取的典型的和复杂的数据进行预测,得出情绪分析结果.实验证明,该模式对于典型和复杂评教信息的分析结果均是正确的。