Security Vulnerability Analyses of Large Language Models (LLMs) through Extension of the Common Vulnerability Scoring System (CVSS) Framework

Large Language Models (LLMs) have revolutionized Generative Artificial Intelligence (GenAI) tasks, becoming an integral part of various applications in society, including text generation, translation, summarization, and more. However, their widespread usage emphasizes the critical need to enhance their security posture to ensure the integrity and reliability of their outputs and minimize harmful effects. Prompt injections and training data poisoning attacks are two of the most prominent vulnerabilities in LLMs, which could potentially lead to unpredictable and undesirable behaviors, such as biased outputs, misinformation propagation, and even malicious content generation. The Common Vulnerability Scoring System (CVSS) framework provides a standardized approach to capturing the principal characteristics of vulnerabilities, facilitating a deeper understanding of their severity within the security and AI communities. By extending the current CVSS framework, we generate scores for these vulnerabilities such that organizations can prioritize mitigation efforts, allocate resources effectively, and implement targeted security measures to defend against potential risks.

Smaller & Smarter: Score-Driven Network Chaining of Smaller Language Models

With the continuous evolution and expanding applications of Large Language Models (LLMs), there has been a noticeable surge in the size of the emerging models. It is not solely the growth in model size, primarily measured by the number of parameters, but also the subsequent escalation in computational demands, hardware and software prerequisites for training, all culminating in a substantial financial investment as well. In this paper, we present novel techniques like supervision, parallelization, and scoring functions to get better results out of chains of smaller language models, rather than relying solely on scaling up model size. Firstly, we propose an approach to quantify the performance of a Smaller Language Models (SLM) by introducing a corresponding supervisor model that incrementally corrects the encountered errors. Secondly, we propose an approach to utilize two smaller language models (in a network) performing the same task and retrieving the best relevant output from the two, ensuring peak performance for a specific task. Experimental evaluations establish the quantitative accuracy improvements on financial reasoning and arithmetic calculation tasks from utilizing techniques like supervisor models (in a network of model scenario), threshold scoring and parallel processing over a baseline study.

LLM4CP:Adapting Large Language Models for Channel Prediction

Channel prediction is an effective approach for reducing the feedback or estimation overhead in massive multi-input multi-output (m-MIMO) systems. However, existing channel prediction methods lack precision due to model mismatch errors or network generalization issues. Large language models (LLMs) have demonstrated powerful modeling and generalization abilities, and have been successfully applied to cross-modal tasks, including the time series analysis. Leveraging the expressive power of LLMs, we propose a pre-trained LLM-empowered channel prediction(LLM4CP)method to predict the future downlink channel state information (CSI) sequence based on the historical uplink CSI sequence. We fine-tune the network while freezing most of the parameters of the pre-trained LLM for better cross-modality knowledge transfer. To bridge the gap between the channel data and the feature space of the LLM,preprocessor, embedding, and output modules are specifically tailored by taking into account unique channel characteristics. Simulations validate that the proposed method achieves state-of-the-art (SOTA) prediction performance on full-sample, few-shot, and generalization tests with low training and inference costs.

基于IPEX-LLM的本地轻量化课程教学智能辅助系统

提出并实现了一个本地轻量化课程教学智能辅助系统.该系统利用IPEX-LLM(Intel PyTorch extention for large language model)加速库,在计算资源受限的设备上高效部署并运行经过QLoRA(quantum-logic optimized resource allocation)框架微调的大语言模型,并结合增强检索技术,实现了智能问答、智能出题、教学大纲生成、教学演示文档生成等4个主要功能模块的课程灵活定制,在帮助教师提高教学备课和授课的质量与效率、保护数据隐私的同时,支撑学生个性化学习并提供实时反馈.在性能实验中,以集成优化后的Chatglm3-6B模型为例,该系统处理64-token输出任务时仅需4.08 s,验证了其在资源受限环境下快速推理的能力.在实践案例分析中,通过与原生Chatgml-6B和ChatGPT4.0在功能实现上的对比,进一步表明了该系统具备优越的准确性和实用性.

GUARDIAN: A Multi-Tiered Defense Architecture for Thwarting Prompt Injection Attacks on LLMs

This paper introduces a novel multi-tiered defense architecture to protect language models from adversarial prompt attacks. We construct adversarial prompts using strategies like role emulation and manipulative assistance to simulate real threats. We introduce a comprehensive, multi-tiered defense framework named GUARDIAN (Guardrails for Upholding Ethics in Language Models) comprising a system prompt filter, pre-processing filter leveraging a toxic classifier and ethical prompt generator, and pre-display filter using the model itself for output screening. Extensive testing on Meta’s Llama-2 model demonstrates the capability to block 100% of attack prompts. The approach also auto-suggests safer prompt alternatives, thereby bolstering language model security. Quantitatively evaluated defense layers and an ethical substitution mechanism represent key innovations to counter sophisticated attacks. The integrated methodology not only fortifies smaller LLMs against emerging cyber threats but also guides the broader application of LLMs in a secure and ethical manner.

A survey on large language model(LLM)security and privacy:The Good,The Bad,and The Ugly

Large Language Models(LLMs),such as ChatGPT and Bard,have revolutionized natural language understanding and generation.They possess deep language comprehension,human-like text generation capabilities,contextual awareness,and robust problem-solving skills,making them invaluable in various domains(e.g.,search engines,customer support,translation).In the meantime,LLMs have also gained traction in the security community,revealing security vulnerabilities and showcasing their potential in security-related tasks.This paper explores the intersection of LLMs with security and privacy.Specifically,we investigate how LLMs positively impact security and privacy,potential risks and threats associated with their use,and inherent vulnerabilities within LLMs.Through a comprehensive literature review,the paper categorizes the papers into‘‘The Good’’(beneficial LLM applications),‘‘The Bad’’(offensive applications),and‘‘The Ugly’’(vulnerabilities of LLMs and their defenses).We have some interesting findings.For example,LLMs have proven to enhance code security(code vulnerability detection)and data privacy(data confidentiality protection),outperforming traditional methods.However,they can also be harnessed for various attacks(particularly user-level attacks)due to their human-like reasoning abilities.We have identified areas that require further research efforts.For example,Research on model and parameter extraction attacks is limited and often theoretical,hindered by LLM parameter scale and confidentiality.Safe instruction tuning,a recent development,requires more exploration.We hope that our work can shed light on the LLMs’potential to both bolster and jeopardize cybersecurity.

大语言模型的技术应用前景与风险挑战

针对大语言模型(LLM)技术的快速发展,剖析它的技术应用前景和风险挑战,对通用人工智能(AGI)的发展和治理有重要参考价值。首先,以Multi-BERT(Multilingual Bidirectional Encoder Representations from Transformers)、GPT(Generative Pre-trained Transformer)和ChatGPT(Chat Generative Pre-Trained Transformer)等语言模型为代表,综述LLM的发展脉络、核心技术和评估体系;其次,分析LLM现存的技术局限和安全风险;最后,提出LLM在技术上改进、政策上跟进的建议。分析指出作为发展阶段的LLM,现有模型存在非真实性及偏见性输出、实时自主学习能力欠缺,算力需求庞大,对数据质量和数量依赖性强,语言风格单一;存在数据隐私、信息安全和伦理等方面的安全风险。未来发展可从技术上继续改进,从“大规模”转向“轻量化”、从“单模态”走向“多模态”、从“通用”迈入“垂类”;从政策上实时跟进,实施有针对性的监管措施,规范应用和发展。

社交媒体数据中水灾事件求助信息提取模型

由于社交媒体平台上所发布的非结构化信息存在数据不一致、重要程度不同等问题,使自动准确抽取所需信息并标注受灾级别成为一个有挑战性的工作。因此,结合形式概念分析(FCA)、词共现关系和上下文语义信息构建了水灾事件知识体系。利用所构建的知识体系,基于TencentPretrain框架对大规模语言预训练模型(LLM)进行指令微调,构建了ChatFlowFlood信息抽取模型,可以在少量人工标记情况下,准确自动抽取被困情况、紧缺物资等信息;在信息抽取模型的基础上,通过模糊层次分析法(FAHP)和CRITIC法(CRiteria Importance Through Intercriteria Correlation)主客观结合评定求助信息的救援优先级,帮助决策者理解灾情紧急程度。实验结果表明,在中文社交媒体数据上,与ChatFlow-7B模型相比,ChatFlowFlood模型的FBERT指标提升了73.09%。

基于大语言模型的水工程调度知识图谱的构建与应用

随着水利事业的发展和信息化需求的增加,处理和表示海量水利数据变得复杂而繁琐。特别是调度文本数据通常以自然语言的形式存在,缺乏明确的结构和规范,并且处理和应用这些多样性的数据需要具备广泛的领域知识和专业背景。为此,提出了基于大语言模型的水工程调度知识图谱的构建方法。通过数据层的调度规则数据收集与预处理,再利用大语言模型挖掘和抽取数据中蕴藏的知识,完成概念层本体构建和实例层“三步法”提示策略抽取。在数据层、概念层、实例层的相互作用下,实现了规则文本的高性能抽取,完成了数据集和知识图谱的构建。实验结果表明,大语言模型抽取方法F1值达到85.5%,且通过消融实验验证了模型各模块的有效性和合理性。构建的水工程调度知识图谱整合了分散的水利规则信息,有效处理非结构化文本数据,并提供可视化查询和功能追溯功能。这有助于领域从业人员判断来水情况并选择适当的调度方案,为水利决策和智能推荐等提供了重要支持。

基于大语言模型的中文科技文献标注方法

高质量的标注数据是中文科技文献领域自然语言处理任务的重要基石。针对目前缺乏中文科技文献的高质量标注语料以及人工标注质量参差不齐且效率低下的问题,提出一种基于大语言模型的中文科技文献标注方法。首先,制定适用于多领域中文科技文献的细粒度标注规范,明确标注实体类型以及标注粒度;其次,设计结构化文本标注提示模板和生成解析器,将中文科技文献标注任务设置成单阶段单轮问答过程,将标注规范和带标注文本填充至提示模板中相应的槽位以构建任务提示词;然后,将提示词注入到大语言模型中生成包含标注信息的输出文本,经由解析器解析得到结构化的标注数据;最后,利用基于大语言模型的提示学习生成中文科技文献实体标注数据集ACSL,其中包含分布在48个学科的10000篇标注文档以及72536个标注实体,并在ACSL上提出基于RoBERTa-wwm-ext的3个基准模型。实验结果表明,BERT+Span模型在长跨度的中文科技文献实体识别任务中表现最佳,F1值为0.335。上述结果可作为后续研究的测试基准。

基于大模型的电子信息领域知识图谱自动构建与检索技术

当前电子信息领域积累的越来越多宝贵经验知识对知识使用技术提出了新的挑战。知识图谱(Knowledge Graph, KG)技术和大规模预训练语言模型(Large Language Model, LLM)技术在知识使用方面都各自存在缺陷,但两种技术的优缺点能够形成互补。因此,基于LLM技术,提出了应用于电子信息领域的知识图谱自动构建与检索增强问答技术。首先基于LLM的语义理解能力自动构建电子信息领域知识图谱,然后构建基于知识图谱和检索增强大模型的知识问答系统。在CoNLL2003数据集和构建的电子信息领域数据集上的实验证明了所方法具有较好质量,知识问答系统具有较好的实用效果。所提方法能够更好地满足从业人员从海量文档中提取相关知识,提高知识利用效率的迫切需求,为推动大模型结合知识图谱技术在电子信息垂直领域的落地应用提供参考。

大语言模型的中文文本简化能力研究

大语言模型为自动文本简化提供了新思路。为了探究大语言模型的中文文本简化能力,本研究构建了中文篇章级文本简化数据集,对其中的平行文本对进行了特征分析;在此基础上,设计大语言模型自动文本简化实验,采用零样本、少样本、少样本+词表和少样本+规则这4种提示策略,综合已有的和本研究特有的语言特征评估指标,测评了6种国内外常用大语言模型在不同提示策略下的中文文本简化能力。研究发现,少样本提示策略在文本特征上表现最佳,显著提高了信息保存度;在提示中加入外部词表,有助于大语言模型使用相对简单的词语;在提示中融入简化规则,能使大语言模型使用更简洁的句法结构。不同的大语言模型在难度控制和语义保留程度上各有优势与局限,但在语篇衔接与连贯和段落划分上与人类专家存在明显差距,且均出现了不同程度的幻觉现象。未来仍需构建较大规模的高质量中文简化数据集,多角度诱导语言大模型的文本简化能力。

专利视角下的大语言模型应用

以中国专利全文数据库(CNTXT)中公开的大语言模型相关文献为依据,对我国的大语言模型相关专利申请进行统计分析。结合实际专利申请案例,分析大语言模型技术在中国的几个主要应用方向,为相关研究人员提供参考。

基于大语言模型的低碳电力市场发展应用前景

随着全球环境问题加剧,低碳电力市场备受关注。深入探讨了低碳电力市场的发展现状及其面临的挑战,并特别聚焦于基于大语言模型(LLMs)的方法在推动低碳电力市场发展中的应用潜力。通过微调、提示语设计、语义嵌入等手段,LLMs能有效适应电力领域的专业化应用,尤其是在电源结构调整、电力需求预测和风险预警等领域展现出潜力。此外,基于LLMs的智能体和思维链的方法可解决复杂问题,助力低碳电力市场建设。随着LLMs技术的发展和电力行业改革的深入,这些方法将支持中国电力系统的低碳转型和实现“双碳”目标。但也需关注LLMs应用局限性,采取措施预防潜在风险,确保其在低碳市场的安全、有序发展。

基于大语言模型的复杂任务自主规划处理框架

随着深度学习和自然语言处理技术的进步,大语言模型(Large language models, LLMs)展现出巨大潜力.尽管如此,它们在处理复杂任务时仍存在局限性,特别是在任务需要结合规划及外部工具调用的场合.面向这一挑战,提出国内首个以军事游戏为背景的中文的复杂任务规划与执行数据集(Complex task planning and execution dataset, CTPaE),以及一个基于LLMs的自主复杂任务规划(Complex task planning, CTP)处理框架AutoPlan.该框架可以对复杂任务进行自主规划得到元任务序列,并使用递进式ReAct提示(Progressive ReAct prompting, PRP)方法对已规划的元任务逐步执行.该框架的有效性通过在CTPaE上的实验及与其他经典算法的比较分析得到了验证.项目地址:https://github.com/LDLINGLINGLING/AutoPlan.

大语言模型研究现状与趋势

在过去20年中,语言建模(Language models,LM)已经成为一种主要方法,用于语言理解和生成,同时作为自然语言处理(Natural language processing,NLP)领域下游的关键技术受到广泛关注.近年来,大语言模型(Large language models,LLMs),例如ChatGPT等技术,取得了显著进展,对人工智能乃至其他领域的变革和发展产生了深远的影响.鉴于LLMs迅猛的发展,本文首先对LLMs相关技术架构和模型规模等方面的演进历程进行了全面综述,总结了模型训练方法、优化技术以及评估手段.随后,分析了LLMs在教育、医疗、金融、工业等领域的应用现状,同时讨论了它们的优势和局限性.此外,还探讨了大语言模型针对社会伦理、隐私和安全等方面引发的安全性与一致性问题及技术措施.最后,展望了大语言模型未来的研究趋势,包括模型的规模与效能、多模态处理、社会影响等方面的发展方向.本文通过全面分析当前研究状况和未来走向,旨在为研究者提供关于大语言模型的深刻见解和启发,以推动该领域的进一步发展.

面向大语言模型的青少年人工智能教育

大语言模型(LLM)作为一种先进的AI技术,正对人类生活产生深远影响。与传统AI技术相比,LLM能够处理大量的文本数据,并在自然语言处理等领域发挥着巨大作用。LLM的快速发展与应用推进已经对AI教育的课程内容、教学模式与学习平台产生了显著的影响,这些影响也迫切要求青少年AI教育课程与时俱进的变革。为应对这种变革,该研究从课程内容框架、基于LLM的教学模式以及LLM辅助学习平台三个维度设计了一个面向LLM的青少年AI课程架构,并以教学活动设计为切入点,深入探讨了如何使该课程架构与学科核心素养紧密契合。基于此架构,设计并开发了一门高中LLM示范课程,重点展示了如何利用自主开发平台(LLM 4 Kids)进行人机协同教学。选取了示范课程中《面向LLM的提示与评估》的单元内容,解释了如何在教学过程中有效的应用和整合LLM技术。通过提供面向LLM的青少年AI课程架构以及解释案例,为AI教育实践者提供面向LLM的框架体系与课程参考,推动最新的人工智能前沿知识进入中小学课堂,从而有助于青少年适应AI快速发展的时代。

生成式算法在风景园林生成设计中的适应性研究

【目的】测试目前常见的生成式算法在风景园林生成设计中的表现,尝试探讨不同的生成式算法在各个设计环节应用的优劣势。【方法】构建“方案文本生成—场地布局生成—平面图渲染—效果图生成”的风景园林方案生成设计理论框架,在同一个输入条件下测试不同算法在各个设计环节的表现。【结果】方案文本生成算法方面,测试了大语言模型及其在下游应用中的适应性调整方法,包括二次预训练及微调、检索增强生成、多代理系统的方法;图像生成算法方面,测试了大型文生图预训练模型及微调方法、图像结构控制方法;另外,将文生图模型与基于生成对抗网络的布局生成算法、参数化三维模型生成系统结合,并测试其在各个阶段的表现。【结论】目前大型预训练模型以其在通用领域的生成能力为生成设计领域提供强有力的支撑,但预训练模型提供的只是基础的通用能力,从通用领域到风景园林领域的适应性研究还需要检索、控制、微调等多种技术手段协作以开发全面的技术体系。

基于大语言模型增强表征对齐的小样本持续关系抽取方法

关系抽取作为自然语言处理的关键任务,对于深化语言理解、构建知识图谱以及优化信息检索系统具有重要作用。然而,由于新关系不断涌现且缺乏大量标注示例,传统的监督学习方法并不适合实际场景。尽管大语言模型的出现显著提升了许多自然语言处理任务的性能,但仍然无法直接有效地解决小样本持续关系抽取任务的挑战。为了充分利用大语言模型的语义知识来缓解灾难性遗忘与过拟合问题,提出了一种基于大语言模型增强表征对齐的小样本持续关系抽取方法LAFA,通过关系实例改写、语义扩充和关系增强表征等策略,在保持数据量和计算成本较低的同时,有效提升了模型对新关系的适应性和对旧知识的保持能力。在两个关系抽取数据集FewRel、TACRED上进行实验验证,与现有方法相比,LAFA在小样本持续关系抽取任务中展现出较好的效果,尤其在增量阶段取得了最佳的实验结果。通过消融实验进一步揭示了方法中各个模块对整体性能的显著贡献。LAFA的推理效率与开销远远低于现有的基于大语言模型的方法,并且具有很强的扩展性,能够适配多种语言模型。

基于大语言模型的教育文本幂等摘要方法

大语言模型在自然语言处理领域蓬勃发展,但在教育数字化领域应用过程中仍面临一系列重要挑战。针对教育数字化领域垂域数据稀缺、摘要长度不稳定导致信息缺失或冗余的问题,提出一种用于教育领域文本摘要的轻量化幂等模型框架IGLM。该模型首先采用多源训练进行自适应扩增以提升数据多样性,然后对下游的文本摘要任务进行多种微调。同时,为降低文本长度的影响,设计幂等摘要生成策略拉近初次摘要与幂等摘要来约束模型,减少语料分布不均导致的偏见,结合量化技术在低资源条件下生成更为精确和流畅的摘要文本。实验以ROUGE分数为评估指标,在公开中文文本摘要数据集LCSTS、EDUCATION、NLPCC上进行验证。实验结果表明,该框架在生成摘要的准确率和流畅性上有明显提升,其中ROUGE-1/2/L相较基线模型在LCSTS数据集上分别提升7.9、7.4、8.7个百分点,在EDUCATION数据集上分别提升12.9、15.4、15.7个百分点,在NLPCC数据集上分别提升12.2、11.7、12.7个百分点,验证了模型有效性。