Security Vulnerability Analyses of Large Language Models (LLMs) through Extension of the Common Vulnerability Scoring System (CVSS) Framework

Large Language Models (LLMs) have revolutionized Generative Artificial Intelligence (GenAI) tasks, becoming an integral part of various applications in society, including text generation, translation, summarization, and more. However, their widespread usage emphasizes the critical need to enhance their security posture to ensure the integrity and reliability of their outputs and minimize harmful effects. Prompt injections and training data poisoning attacks are two of the most prominent vulnerabilities in LLMs, which could potentially lead to unpredictable and undesirable behaviors, such as biased outputs, misinformation propagation, and even malicious content generation. The Common Vulnerability Scoring System (CVSS) framework provides a standardized approach to capturing the principal characteristics of vulnerabilities, facilitating a deeper understanding of their severity within the security and AI communities. By extending the current CVSS framework, we generate scores for these vulnerabilities such that organizations can prioritize mitigation efforts, allocate resources effectively, and implement targeted security measures to defend against potential risks.

Smaller & Smarter: Score-Driven Network Chaining of Smaller Language Models

With the continuous evolution and expanding applications of Large Language Models (LLMs), there has been a noticeable surge in the size of the emerging models. It is not solely the growth in model size, primarily measured by the number of parameters, but also the subsequent escalation in computational demands, hardware and software prerequisites for training, all culminating in a substantial financial investment as well. In this paper, we present novel techniques like supervision, parallelization, and scoring functions to get better results out of chains of smaller language models, rather than relying solely on scaling up model size. Firstly, we propose an approach to quantify the performance of a Smaller Language Models (SLM) by introducing a corresponding supervisor model that incrementally corrects the encountered errors. Secondly, we propose an approach to utilize two smaller language models (in a network) performing the same task and retrieving the best relevant output from the two, ensuring peak performance for a specific task. Experimental evaluations establish the quantitative accuracy improvements on financial reasoning and arithmetic calculation tasks from utilizing techniques like supervisor models (in a network of model scenario), threshold scoring and parallel processing over a baseline study.

GUARDIAN: A Multi-Tiered Defense Architecture for Thwarting Prompt Injection Attacks on LLMs

This paper introduces a novel multi-tiered defense architecture to protect language models from adversarial prompt attacks. We construct adversarial prompts using strategies like role emulation and manipulative assistance to simulate real threats. We introduce a comprehensive, multi-tiered defense framework named GUARDIAN (Guardrails for Upholding Ethics in Language Models) comprising a system prompt filter, pre-processing filter leveraging a toxic classifier and ethical prompt generator, and pre-display filter using the model itself for output screening. Extensive testing on Meta’s Llama-2 model demonstrates the capability to block 100% of attack prompts. The approach also auto-suggests safer prompt alternatives, thereby bolstering language model security. Quantitatively evaluated defense layers and an ethical substitution mechanism represent key innovations to counter sophisticated attacks. The integrated methodology not only fortifies smaller LLMs against emerging cyber threats but also guides the broader application of LLMs in a secure and ethical manner.

基于IPEX-LLM的本地轻量化课程教学智能辅助系统

提出并实现了一个本地轻量化课程教学智能辅助系统.该系统利用IPEX-LLM(Intel PyTorch extention for large language model)加速库,在计算资源受限的设备上高效部署并运行经过QLoRA(quantum-logic optimized resource allocation)框架微调的大语言模型,并结合增强检索技术,实现了智能问答、智能出题、教学大纲生成、教学演示文档生成等4个主要功能模块的课程灵活定制,在帮助教师提高教学备课和授课的质量与效率、保护数据隐私的同时,支撑学生个性化学习并提供实时反馈.在性能实验中,以集成优化后的Chatglm3-6B模型为例,该系统处理64-token输出任务时仅需4.08 s,验证了其在资源受限环境下快速推理的能力.在实践案例分析中,通过与原生Chatgml-6B和ChatGPT4.0在功能实现上的对比,进一步表明了该系统具备优越的准确性和实用性.

基于大语言模型的水工程调度知识图谱的构建与应用

随着水利事业的发展和信息化需求的增加,处理和表示海量水利数据变得复杂而繁琐。特别是调度文本数据通常以自然语言的形式存在,缺乏明确的结构和规范,并且处理和应用这些多样性的数据需要具备广泛的领域知识和专业背景。为此,提出了基于大语言模型的水工程调度知识图谱的构建方法。通过数据层的调度规则数据收集与预处理,再利用大语言模型挖掘和抽取数据中蕴藏的知识,完成概念层本体构建和实例层“三步法”提示策略抽取。在数据层、概念层、实例层的相互作用下,实现了规则文本的高性能抽取,完成了数据集和知识图谱的构建。实验结果表明,大语言模型抽取方法F1值达到85.5%,且通过消融实验验证了模型各模块的有效性和合理性。构建的水工程调度知识图谱整合了分散的水利规则信息,有效处理非结构化文本数据,并提供可视化查询和功能追溯功能。这有助于领域从业人员判断来水情况并选择适当的调度方案,为水利决策和智能推荐等提供了重要支持。

大语言模型的技术应用前景与风险挑战

针对大语言模型(LLM)技术的快速发展,剖析它的技术应用前景和风险挑战,对通用人工智能(AGI)的发展和治理有重要参考价值。首先,以Multi-BERT(Multilingual Bidirectional Encoder Representations from Transformers)、GPT(Generative Pre-trained Transformer)和ChatGPT(Chat Generative Pre-Trained Transformer)等语言模型为代表,综述LLM的发展脉络、核心技术和评估体系;其次,分析LLM现存的技术局限和安全风险;最后,提出LLM在技术上改进、政策上跟进的建议。分析指出作为发展阶段的LLM,现有模型存在非真实性及偏见性输出、实时自主学习能力欠缺,算力需求庞大,对数据质量和数量依赖性强,语言风格单一;存在数据隐私、信息安全和伦理等方面的安全风险。未来发展可从技术上继续改进,从“大规模”转向“轻量化”、从“单模态”走向“多模态”、从“通用”迈入“垂类”;从政策上实时跟进,实施有针对性的监管措施,规范应用和发展。

生成式人工智能研究进展

快速地技术迭代与广泛应用表明生成式人工智能在驱动经济社会发展方面具有巨大潜力,但同时它也可能带来多种挑战与风险。在系统回顾相关学术文献的基础上,文章梳理了生成式人工智能的关键技术、技术发展历程及应用场景,分析了生成式人工智能在数据训练、算法模型、内容利用等方面存在的风险,总结了生成式人工智能风险治理的策略,包括实施全生命周期的数据质量控制,提高AI风险治理的技术能力,对组织结构进行适应性优化,强化问责机制和标准约束,同时提出未来生成式人工智能发展应坚持发展创新与风险治理并重的原则,完善政策法规与技术标准体系,建立多元包容的国际合作共治体系,充分激发企业活力。本文可以为生成式人工智能领域的学术研究、技术开发和政策制定提供参考借鉴。

社交媒体数据中水灾事件求助信息提取模型

由于社交媒体平台上所发布的非结构化信息存在数据不一致、重要程度不同等问题,使自动准确抽取所需信息并标注受灾级别成为一个有挑战性的工作。因此,结合形式概念分析(FCA)、词共现关系和上下文语义信息构建了水灾事件知识体系。利用所构建的知识体系,基于TencentPretrain框架对大规模语言预训练模型(LLM)进行指令微调,构建了ChatFlowFlood信息抽取模型,可以在少量人工标记情况下,准确自动抽取被困情况、紧缺物资等信息;在信息抽取模型的基础上,通过模糊层次分析法(FAHP)和CRITIC法(CRiteria Importance Through Intercriteria Correlation)主客观结合评定求助信息的救援优先级,帮助决策者理解灾情紧急程度。实验结果表明,在中文社交媒体数据上,与ChatFlow-7B模型相比,ChatFlowFlood模型的FBERT指标提升了73.09%。

生成式算法在风景园林生成设计中的适应性研究

【目的】测试目前常见的生成式算法在风景园林生成设计中的表现,尝试探讨不同的生成式算法在各个设计环节应用的优劣势。【方法】构建“方案文本生成—场地布局生成—平面图渲染—效果图生成”的风景园林方案生成设计理论框架,在同一个输入条件下测试不同算法在各个设计环节的表现。【结果】方案文本生成算法方面,测试了大语言模型及其在下游应用中的适应性调整方法,包括二次预训练及微调、检索增强生成、多代理系统的方法;图像生成算法方面,测试了大型文生图预训练模型及微调方法、图像结构控制方法;另外,将文生图模型与基于生成对抗网络的布局生成算法、参数化三维模型生成系统结合,并测试其在各个阶段的表现。【结论】目前大型预训练模型以其在通用领域的生成能力为生成设计领域提供强有力的支撑,但预训练模型提供的只是基础的通用能力,从通用领域到风景园林领域的适应性研究还需要检索、控制、微调等多种技术手段协作以开发全面的技术体系。

大语言模型辅助下的增强现实装配方法

基于增强现实的装配引导系统将数字信息叠加到物理场景中,有效指导了复杂装配作业任务。然而装配环境中人与物理世界的隔阂仍然巨大,待融合到物理世界的信息需事先准备好,并且需要人工在装配过程中来触发。研究实时且无处不在的提示,成为当前增强现实环境下的复杂装配研究热点,本文提出了一种基于大语言模型(LLMs)辅助的增强现实装配方法,其核心是将LLMs作为装配过程中的另外一个大脑,提供无处不在的装配引导和工艺信息提示支持。首先,建立了LLMs辅助的增强现实装配方法体系,分析了体系的要素及关联关系。其次,面向LLMs环境,构建了匹配的工艺信息模型。随后,给出了基于LLMs的辅助引导装配方法和流程。最后,结合某线缆装配专业知识,研发了一个专业问答系统,实现了LLMs智能辅助引导,使装配合格率提升了15%,并通过多个案例验证了该方法的有效性。

大语言模型在医疗领域的前沿研究与创新应用

目的/意义系统梳理大语言模型在医疗领域的应用与研究进展,分析关键挑战与机遇,为相关研究提供参考。方法/过程采用系统性文献回顾方法,全面梳理近年来发表的相关文献,聚焦医疗大语言模型最新进展;分析大语言模型在医疗自然语言处理任务中的应用成效、研究现状以及面临的挑战。结果/结论大语言模型在医疗领域应用前景广阔,未来研究重点应集中在技术进步与伦理规范完善等方面。一方面加速技术创新步伐,另一方面确保严格遵守伦理标准,共同促进医疗领域大语言模型技术可持续发展。

基于大语言模型的中文科技文献标注方法

高质量的标注数据是中文科技文献领域自然语言处理任务的重要基石。针对目前缺乏中文科技文献的高质量标注语料以及人工标注质量参差不齐且效率低下的问题,提出一种基于大语言模型的中文科技文献标注方法。首先,制定适用于多领域中文科技文献的细粒度标注规范,明确标注实体类型以及标注粒度;其次,设计结构化文本标注提示模板和生成解析器,将中文科技文献标注任务设置成单阶段单轮问答过程,将标注规范和带标注文本填充至提示模板中相应的槽位以构建任务提示词;然后,将提示词注入到大语言模型中生成包含标注信息的输出文本,经由解析器解析得到结构化的标注数据;最后,利用基于大语言模型的提示学习生成中文科技文献实体标注数据集ACSL,其中包含分布在48个学科的10000篇标注文档以及72536个标注实体,并在ACSL上提出基于RoBERTa-wwm-ext的3个基准模型。实验结果表明,BERT+Span模型在长跨度的中文科技文献实体识别任务中表现最佳,F1值为0.335。上述结果可作为后续研究的测试基准。

大语言模型的中文文本简化能力研究

大语言模型为自动文本简化提供了新思路。为了探究大语言模型的中文文本简化能力,本研究构建了中文篇章级文本简化数据集,对其中的平行文本对进行了特征分析;在此基础上,设计大语言模型自动文本简化实验,采用零样本、少样本、少样本+词表和少样本+规则这4种提示策略,综合已有的和本研究特有的语言特征评估指标,测评了6种国内外常用大语言模型在不同提示策略下的中文文本简化能力。研究发现,少样本提示策略在文本特征上表现最佳,显著提高了信息保存度;在提示中加入外部词表,有助于大语言模型使用相对简单的词语;在提示中融入简化规则,能使大语言模型使用更简洁的句法结构。不同的大语言模型在难度控制和语义保留程度上各有优势与局限,但在语篇衔接与连贯和段落划分上与人类专家存在明显差距,且均出现了不同程度的幻觉现象。未来仍需构建较大规模的高质量中文简化数据集,多角度诱导语言大模型的文本简化能力。

基于大模型的电子信息领域知识图谱自动构建与检索技术

当前电子信息领域积累的越来越多宝贵经验知识对知识使用技术提出了新的挑战。知识图谱(Knowledge Graph, KG)技术和大规模预训练语言模型(Large Language Model, LLM)技术在知识使用方面都各自存在缺陷,但两种技术的优缺点能够形成互补。因此,基于LLM技术,提出了应用于电子信息领域的知识图谱自动构建与检索增强问答技术。首先基于LLM的语义理解能力自动构建电子信息领域知识图谱,然后构建基于知识图谱和检索增强大模型的知识问答系统。在CoNLL2003数据集和构建的电子信息领域数据集上的实验证明了所方法具有较好质量,知识问答系统具有较好的实用效果。所提方法能够更好地满足从业人员从海量文档中提取相关知识,提高知识利用效率的迫切需求,为推动大模型结合知识图谱技术在电子信息垂直领域的落地应用提供参考。

专利视角下的大语言模型应用

以中国专利全文数据库(CNTXT)中公开的大语言模型相关文献为依据,对我国的大语言模型相关专利申请进行统计分析。结合实际专利申请案例,分析大语言模型技术在中国的几个主要应用方向,为相关研究人员提供参考。

基于大语言模型的低碳电力市场发展应用前景

随着全球环境问题加剧,低碳电力市场备受关注。深入探讨了低碳电力市场的发展现状及其面临的挑战,并特别聚焦于基于大语言模型(LLMs)的方法在推动低碳电力市场发展中的应用潜力。通过微调、提示语设计、语义嵌入等手段,LLMs能有效适应电力领域的专业化应用,尤其是在电源结构调整、电力需求预测和风险预警等领域展现出潜力。此外,基于LLMs的智能体和思维链的方法可解决复杂问题,助力低碳电力市场建设。随着LLMs技术的发展和电力行业改革的深入,这些方法将支持中国电力系统的低碳转型和实现“双碳”目标。但也需关注LLMs应用局限性,采取措施预防潜在风险,确保其在低碳市场的安全、有序发展。

基于大语言模型的复杂任务自主规划处理框架

随着深度学习和自然语言处理技术的进步,大语言模型(Large language models, LLMs)展现出巨大潜力.尽管如此,它们在处理复杂任务时仍存在局限性,特别是在任务需要结合规划及外部工具调用的场合.面向这一挑战,提出国内首个以军事游戏为背景的中文的复杂任务规划与执行数据集(Complex task planning and execution dataset, CTPaE),以及一个基于LLMs的自主复杂任务规划(Complex task planning, CTP)处理框架AutoPlan.该框架可以对复杂任务进行自主规划得到元任务序列,并使用递进式ReAct提示(Progressive ReAct prompting, PRP)方法对已规划的元任务逐步执行.该框架的有效性通过在CTPaE上的实验及与其他经典算法的比较分析得到了验证.项目地址:https://github.com/LDLINGLINGLING/AutoPlan.

面向大语言模型的越狱攻击综述

近年来,大语言模型(large language model,LLM)在一系列下游任务中得到了广泛应用,并在多个领域表现出了卓越的文本理解、生成与推理能力.然而,越狱攻击正成为大语言模型的新兴威胁.越狱攻击能够绕过大语言模型的安全机制,削弱价值观对齐的影响,诱使经过对齐的大语言模型产生有害输出.越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.对近年的越狱攻击研究进行了系统梳理,并基于攻击原理将其分为基于人工设计的攻击、基于模型生成的攻击与基于对抗性优化的攻击3类.详细总结了相关研究的基本原理、实施方法与研究结论,全面回顾了大语言模型越狱攻击的发展历程,为后续的研究提供了有效参考.对现有的安全措施进行了简略回顾,从内部防御与外部防御2个角度介绍了能够缓解越狱攻击并提高大语言模型生成内容安全性的相关技术,并对不同方法的利弊进行了罗列与比较.在上述工作的基础上,对大语言模型越狱攻击领域的现存问题与前沿方向进行探讨,并结合多模态、模型编辑、多智能体等方向进行研究展望.

大语言模型研究现状与趋势

在过去20年中,语言建模(Language models,LM)已经成为一种主要方法,用于语言理解和生成,同时作为自然语言处理(Natural language processing,NLP)领域下游的关键技术受到广泛关注.近年来,大语言模型(Large language models,LLMs),例如ChatGPT等技术,取得了显著进展,对人工智能乃至其他领域的变革和发展产生了深远的影响.鉴于LLMs迅猛的发展,本文首先对LLMs相关技术架构和模型规模等方面的演进历程进行了全面综述,总结了模型训练方法、优化技术以及评估手段.随后,分析了LLMs在教育、医疗、金融、工业等领域的应用现状,同时讨论了它们的优势和局限性.此外,还探讨了大语言模型针对社会伦理、隐私和安全等方面引发的安全性与一致性问题及技术措施.最后,展望了大语言模型未来的研究趋势,包括模型的规模与效能、多模态处理、社会影响等方面的发展方向.本文通过全面分析当前研究状况和未来走向,旨在为研究者提供关于大语言模型的深刻见解和启发,以推动该领域的进一步发展.

面向大语言模型的青少年人工智能教育

大语言模型(LLM)作为一种先进的AI技术,正对人类生活产生深远影响。与传统AI技术相比,LLM能够处理大量的文本数据,并在自然语言处理等领域发挥着巨大作用。LLM的快速发展与应用推进已经对AI教育的课程内容、教学模式与学习平台产生了显著的影响,这些影响也迫切要求青少年AI教育课程与时俱进的变革。为应对这种变革,该研究从课程内容框架、基于LLM的教学模式以及LLM辅助学习平台三个维度设计了一个面向LLM的青少年AI课程架构,并以教学活动设计为切入点,深入探讨了如何使该课程架构与学科核心素养紧密契合。基于此架构,设计并开发了一门高中LLM示范课程,重点展示了如何利用自主开发平台(LLM 4 Kids)进行人机协同教学。选取了示范课程中《面向LLM的提示与评估》的单元内容,解释了如何在教学过程中有效的应用和整合LLM技术。通过提供面向LLM的青少年AI课程架构以及解释案例,为AI教育实践者提供面向LLM的框架体系与课程参考,推动最新的人工智能前沿知识进入中小学课堂,从而有助于青少年适应AI快速发展的时代。