大语言模型时代的开源知识生产:机遇、挑战与未来

随着大语言模型的崛起,开源知识生产领域迎来了新的变革。大语言模型对开源知识生产的积极影响及其潜在挑战并存。一方面,大语言模型通过适应开源社区的坎宁安定律、提供全天候的新人知识培训支持,以及通过领域化构建策略来修正知识生产的系统性偏差,显著提升了开源知识的生成与传播效率;另一方面,大语言模型带来的幻觉现象、版权风险、数字剥削问题以及“死亡互联网”趋势的加剧,对开源知识的核查、合法性、价值观以及生态环境构成了严重威胁。基于此,未来应强化人类认知体验在引导大语言模型技术发展中的核心作用,并通过实践不断探索解决方案,以期实现大语言模型知识生产与开源知识生产的和谐共生及共同进步。

基于Wikipedia的短文本语义相关度计算方法

语义相关度计算是自然语言处理领域的研究热点。现有的以文本相似度计算代替文本相关度计算的方法存在不足之处。提出从语形相似性和组元相关性两个方面来综合度量短文本之间的语义相关性,并提出2个以Wikipedia作为外部知识库的短文本相关度计算算法:最大词语关联法和动态组块法。在一个网络短文本测试集上对算法进行测评。实验结果表明,该算法与典型相似度计算算法比较,在正确率方面提高了20%以上。

基于知识图谱的GitHub层次化学习和检索服务

GitHub是全球最大的在线代码托管平台,为软件开发学习者提供了丰富的学习资源,然而面对丰富而繁杂的GitHub内容,软件开发初学者在使用GitHub的搜索功能搜索所需的学习资源时,由于需求不明确或缺乏相关知识和经验,常会遇到难以构建合适的搜索文本进行有效搜索的问题。针对该问题,利用GitHub主题潜在的层次结构,结合Wikipedia软件开发领域知识,设计GitHub软件开发领域知识图谱,在此基础上提出一种基于知识图谱的GitHub层次化学习和检索服务。通过对比实验和调查问卷的方式验证了提出的层次化学习和检索服务的可行性和有效性。

基于Wikipedia的资源型化学教与学

Wikipedia是基于Wiki技术的目前全球最著名的英文网络百科全书,它利用超级链接构建化学信息网络,展现大量的化学知识及与相关情境素材,鲜明体现了Web2.0特征。基于Wikipedia的丰富化学资源,可以应用于新课程教学备课、化学主题科普论文写作,更可应用于开展多元化的化学教学活动。

基于Wikipedia的语义相关度计算

在意见挖掘中,为实现特殊领域知识的语义相关度计算,提出基于Wikipedia的语义相关度计算方法。在构建Wikipedia类别树的基础上,通过Wikipedia类别向量表示Wikipedia中的词汇,形成一部包含各种领域知识的Wikipedia词典,利用该词典计算语义相关度。实验结果表明,该方法的斯皮尔曼等级相关系数可达到0.77。

从Wikipedia中获取本体：原理与方法研究

wikjpedia作为一个大型的知识库，正逐渐被人们应用于不同的领域。在本体构建领域，wikipedia以其丰富的组织结构为大规模协作式的本体学习提供了有效的环境，利用wikipedja进行本体学习逐渐成为一个新的研究热点。本文从这一角度出发，在剖析Wikipedia基本结构的基础上，分析和比较了从类别结构图、信息盒和定义句中获取本体概念和实例的相关原理和方法，阐述了利用wikjpedia获取本体关系的原理，分析了基于结构特征、基于词典、基于句法和基于混合方式的模式匹配方法，以及基于结构特征和文本特征的统计学习方法，并对利用各种方法获取本体关系的效果进行了比较。

相关实体发现中基于Wikipedia的实体排序

针对相关实体发现中基于Wikipedia的实体排序存在的问题:半自动的目标类型获取、粗粒度的目标类型、实体类型相关度二值判断、实体关系相关度计算未考虑停止词作用.设计了一个实体排序框架,从实体相关度、实体类型相关度和实体关系相关度3方面的组合计算来对实体进行排序,通过对比多种组合方法获取了最优的方法.提出了一种新的实体类型相关度计算方法,该方法可以自动获取细粒度的目标实体类型,并通过归纳学习获取其下义Wikipedia类别判别规则集合,通过统计候选实体类别信息中符合目标类型下义类别判别规则的类别数来计算实体类型相关度.提出了一种"去停止词重构关系"方法计算候选实体和源实体的关系相关度.实验表明提出的方法可以有效地提高实体排序效果并且降低计算时间耗费.

利用Wikipedia的结构化信息计算语义相关性

提出了一种基于Wikipedia的链接信息的计算词汇间语义相关性的新方法.与WordNet知识库相比,Wikipedia的覆盖范围更广,知识更全面,内容更新更快,是进行语义处理的理想资源.与基于Wikipedia的计算语义相关性的同类方法相比,该方法只利用了Wikipedia的链接结构信息,无须繁重的文本处理,计算量小.在相关性计算中,综合考虑了指入型链接和指出型链接的积极作用,并配合链接数量调节因子消除偏斜.利用多个通用的人工定义语义相关性度量数据集,与当前已有的基于WordNet和基于Wikipedia的相关性度量方法进行了试验比较,结果表明此方法在计算语义相关性方面效果显著.

基于WordNet与Wikipedia的平面几何本体的构建

针对目前本体构建中存在的如手工构建难以确保高效性和可扩展性,且自动构建难度大,可操作性不强等研究现状,提出了一种基于WordNet和Wikipedia的学科领域本体半自动构建方法。首先构建一个领域顶层本体,在此基础上,重用WordNet的结构,从深度上对其进行术语和术语层次的扩展;同时根据Wikipedia中的页面信息,从广度上对其进行术语间关系的扩展和术语的补充;并将该本体构建方法应用于平面几何领域。实验表明该方法能大大提高本体构建的效率,并在一定程度上保证了本体的质量。

大数据领域的主题分析——基于WOS和Wikipedia的互证研究

利用WOS(Web of Science)和Wikipedia两种数据源,对大数据相关的内容进行词频统计、文本归类分析,得出两种数据源下大数据主题的共识和差异,并进一步梳理提炼出大数据领域的主题类别。共同的类别包括整体角度、技术层面、应用层面、实体和活动等,进一步细分的主题包括数据及数据源、大数据处理和分析技术、大数据系统和应用、国家地区以及企业的推动、社会和人的讨论、行业和学科变化等。最后论文还结合相关数据探讨了大数据领域的研究前沿。

基于Wikipedia链接信息的词汇语义相关性度量

提出了一种只利用Wikipedia的链接结构化信息度量词汇间语义相关性的新方法，在语义相关性的计算过程中，综合考虑了两种指向的共享链接（指入型、指出型）和三种链接相关的类型（直接链接相关、间接链接相关、传递链接相关）。利用多个通用的测试数据集与当前若干主流语义相关性度量方法进行了实验比较，结果表明本文方法在不需要进行任何的文本处理的情况下取得了前所未有的好效果。

基于编辑文本与结构的Wikipedia作者信任模型

为了准确计算WJkipedia中作者可信度，本文通过分析比较现有的Wikipedia作者信任算法，提出一种基于编辑文本与结构的Wikipedia作者信任模型。该模型从作者编辑视角切入，以词条为单位，采用文本分析法对词条各版本内容按照先后顺序进行对比获取各作者的编辑文本，并结合作者插入参考文献和图片的结构信息，获取作者动态信任值。实验结果证明该模型能够很好地区分高信任作者和捣乱者。

利用Wikipedia扩大数字馆藏——美国华盛顿大学图书馆给我们的启示

本文介绍了华盛顿大学图书馆的数字馆藏,以及被公认的Wikipedia现象,同时还介绍了对Wikipedia文章添加链接的过程以及我们从华盛顿大学图书馆数字项目的获得的启示。

利用Wikipedia创新设计赋权增能型英语教学任务

"互联网+"概念的推进带来教育理念的变革。"互联网+"时代的教育应真正以学习者为核心,注重个性化与自主性。顺应这一时代背景下教与学的角色转变,"赋权增能"的教学理念倡导"角权责统一、做学用合一、能力内生"的学习体验。贯彻"赋权增能"理念,个性化英语学习中"编辑维基百科"任务的创新设计为未来"互联网+"时代背景下以学习者为中心、注重个性化学习的教学改革与发展提供了实践经验。

基于Wikipedia的研究生专业课辅助教学模式探讨

在学科交叉及研究生背景知识差异的背景下,提出了以Wikipedia(维基百科)资源库为辅助手段的研究生专业课程教学模式。研究生课程中不同学习背景的同学均会存在前序知识点的空缺,教学过程中由于课时限制,难以兼顾学术前沿知识和基础知识。认为借用Wikipedia资源库课前补充前序知识空缺点,课后巩固课程核心前沿知识点,十分有效。通过将每次课程的通用背景知识、专业背景知识、辅助讲解知识和课程核心知识,转换成知识点并对应到Wikipedia资源库的词条供学生学习。认为借助Wikipedia资源库辅助教学,可以提高课堂时间利用率、拓展学生国际化视野、培养学生自主学习能力。

Wikipedia与WoS引用指标特征的比较研究

[研究目的]比较Wikipedia提及和WoS引用的指标特征,为学界更加充分地利用相关资源,为数字环境下构建更为客观完善的科研成果计量与评价体系提供参考。[研究方法]基于Altmetric.com追踪的Wikipedia提及数据,统计其数据量、学科等分布,获取Wikipedia高提及论文的WoS引用数据,对比Wikipedia和WoS在传播新发表论文速度、指标值累积模式、关注论文持续性及关注主题上的特点,探究二者在不同学科、出版年上的相关性差异。[研究结论]近5年半,Wikipedia共提及论文617203篇,高达83.07%的论文仅被提及过1次,对理学、医学类论文提及较多,人文社科类论文提及较少。Wikipedia反映新发表论文的影响力更及时,指标值累积增长速度也更快,WoS对论文关注时间持续更久,论文出版第二年最易被WoS引用,出版当年最易被Wikipedia提及;Wikipedia关注高、WoS关注低的主题为动植物分布分类相关研究,二者关注皆高的主题为基因组学溯源人类演化史、发展史相关研究;WoS引用和Wikipedia提及之间相关性与指标值累积时间长短无关,但在不同学科上差异显著,仅历史与考古学、认知心理学的Wikipedia提及值对之后的WoS引用值有较好预见性。客观探究二者的相关性,至少需要考虑两个因素:一是过滤过多提及次数为1的论文对相关趋势的稀释影响;二是从学科角度进行分类分析。

Wikipedia中的语义析取

维基百科(Wikipedia)现有搜索模块采用关键词匹配方式导致搜索效率相对低下.为了提高Wikipedia中的知识获取效率,提出基于链接分析的词间距算法(TDL,TermDistance based on Linkage).利用可扩展的计算模型,通过内部链接结构分析发现词簇,并且引入排序和推荐机制.基于Wikipedia 2009年5月快照数据的实验表明,TDL有效增强了Wiki-pedia知识检索的准确性,经由用户评判检验证实TDL算法能有效提高用户意图识别度达7%.

融合Wikipedia分类结构及显式语义特征的短文本检索

针对网络信息空间出现的大量短文本具有长度短、信息量少、特征稀疏、语法不规则等特点,传统信息检索技术无法有效地对其进行处理的问题,本研究以语义关联度为出发点,基于当前主流的语义知识源Wikipedia来研究短文本检索技术。根据Wikipedia页面中包含的分类结构信息,提出一种显式语义特征选择及关联度计算方法。在此基础上,提出一种低维显式语义空间下的短文本检索方法,并通过实验测试验证了该方法的可行性和有效性。研究结果表明,本研究与当前基于图论的方法和基于链接的方法相比,分别在评估指标MAP上提高了6%和4. 1%,在P@30上提高了10. 4%和5. 8%,在R-Prec上提高了6. 1%和3%。

Wikipedia跨语言链接发现中的锚文本译项选择

Wikipedia跨语言链接发现主要研究从源语言Wikipedia文章中自动识别与主题相关的锚文本,并为锚文本推荐一组相关的目标语言链接。该研究涉及三个关键问题:锚文本识别、锚文本翻译和目标链接发现。在锚文本翻译中,一个锚文本可能存在多个目标译项,如果其译项选择有误,将会直接影响目标链接发现中的链接推荐的准确性。为此,该文提出了一种基于上下文的锚文本译项选择方法,使用基于逐点互信息投票的方式确定锚文本的译项。对中英文Wikipedia中的人名、术语以及缩略语的译项选择进行测试,实验表明该方法取得了较好的效果。

一种基于Wikipedia的词汇语义关联度计算方法

词汇语义关联度计算是信息检索和自然语言处理的关键问题之一。针对该问题提出一种改进的基于Wikipedia语义关联度计算方法 WGR。该方法使用Wikipedia数据集作为背景知识库,在传统方法的基础上融合维基文章中的布局信息,并对维基概念的入链和出链使用不同的方法进行处理;引入Google搜索资源,经分类筛选后使用LDA建模计算关联度;最后综合两个数据集的结果得到WGR语义关联度。通过实验分析,WGR在与现有算法比较时,取得了更好的准确率。