大语言模型“数据为王”:训练数据的价值、迷思与数字传播的未来挑战

伴随着ChatGPT的问世和流行,关于生成式人工智能的意涵和影响迅速成为学界和业界的关注焦点。在这场由大语言模型引领的非监督性深度学习浪潮中,一个核心议题就是训练数据。对训练数据的规模和质量的追求,演绎了“万模大战”形势下的“数据为王”法则。而在训练数据的价值、功能和误读的背后,是对数据概念的改写、对数据可供性的迷信和对数据所有权的争夺。训练数据的具体架构和内部机制引发了智能传播生态的重建和信息生产秩序的重构,在这一变革之中也蕴藏着大语言模型时代的数字危机,其具体体现为蒸馏式传播的偏见再生产、过滤式传播的信息保守化和随机性传播的意义之消散。大语言模型及其训练数据急需破除规模迷思,着重思考如何让数据切实成为社会技术系统的一部分。

生成式人工智能训练数据的风险与治理研究

生成式人工智能技术目前正处于蓬勃发展时期,但其在训练数据收集和处理时,潜在的合规、泄露和偏见等风险时刻威胁着生成式人工智能技术的健康发展、扰乱社会秩序,成为生成式人工智能治理必须解决的问题。我国目前对生成式人工智能训练数据风险治理既有政策支持,又有法律保障。在这些基础上,行政机关可以建立生成式人工智能基础模型信息库,预防训练数据合规风险;也可以开发、使用合成数据,扩大训练数据来源,规避训练数据泄露风险;还可以通过适当细化训练数据审核制度和逐步实施生成式人工智能企业数据信用制度的方式,规范生成式人工智能训练数据使用行为,降低风险发生概率。

贫数据中基于模型自训练的空气处理设备故障诊断

针对空气处理设备(AHU)故障贫数据,基于深度置信网络(DBN)模型对4种特征选择算法进行对比研究,结果表明最大相关最小冗余算法的特征子集在诊断准确率及子集元素稳定性上表现最优。提出将DBN嵌入自训练框架的故障诊断模型,发现DBN自训练的诊断准确率较单纯DBN最高可提升19.5%。提出均匀抽样及按比例抽样2种自训练伪标签抽样策略,二者的诊断准确率均随抽样数减小而增大,在不同抽样数中的最大差异为3.42%;在所有贫数据样本中,均匀抽样策略始终优于按比例抽样,诊断准确率最大相差1.39%,表明在故障标签匮乏时,采用均匀抽样策略及较小的抽样数有利于提升DBN自训练的诊断性能。

生成式人工智能数据训练的法治基调及展开

数据训练是保证人工智能应用高质量落地的核心。随着生成式人工智能大模型产品的广泛应用,数据训练过程关涉用户基本数据、各主体行为轨迹及多元主体复杂的权益变动,这可能对市场竞争、企业创新甚或国家安全产生负面影响。基此,需确保数据来源的合法性,提升数据质量的可信度,遵循数据来源合法—数据质量可信—数据价值释放的基本要求对标数据训练的不同阶段。在数据计算与应用阶段,应注意深度合成技术带来的训练数据污染和运行数据异常问题;在数据开放和共享阶段,应全面准确审视个人信息保护风险和知识产权侵权风险,遵循科技发展的规律,平衡技术可及性、实践可行性以及价值正当性之间的关系,在夯实安全发展的基础上为创新发展预留空间。为此,生成式人工智能的数据训练应以安全为底线,在优化协同监管架构及方法的同时促进创新发展,并兼顾多元主体的正当权益。

生成式人工智能训练数据侵权风险与法律应对

生成式人工智能模型训练数据的来源、使用和输出均有一定的不可控性,故其在训练中的各个环节和不同阶段均存在侵权风险。传统法律制度中的法定许可、强制许可无法适用于大规模训练数据获取和使用情形,合理使用条款虽涉及特定情形下的责任豁免例外,但并未对训练数据行为本身进行有效规制。“三步检验法”需要在司法实践中进一步探索各要素的具体认定标准和裁量规则。域外“转化性使用”标准虽可资借鉴,但其标准的具体考量因素亟待甄别。有必要完善相关领域的法律体系及其配套措施,促进人工智能技术发展,保障版权人的合法权利,进而协调好二者之间的利益关系。

数据统计分析在体育高考训练诊断中的应用

运用数理统计分析、访谈调查、文献资料等方法,通过SPSS数据统计分析软件,对某中学高考运动训练队的训练成绩进行统计学分析。根据分析结果诊断该运动训练队的训练成效与不足并提出下阶段的训练建议,旨在提升教练员运用数据分析进行科学训练诊断的能力。通过研究发现,数据采集的完整性影响分析的深入性,建议完善基础信息的采集;数据拆解的方式和细化程度影响诊断的精准性,建议增强系统观念,合理拆分项目成绩的分析项,深入开展横向与纵向的关联分析;建议增强跨学科思维和结构化思维,提升数据分析的全面性和客观性。

大数据视域下的警察最小作战单元警组协同训练研究

随着科技网络的高速发展,以犯罪手段信息化、犯罪证据网络化为显著特征的各类新型违法犯罪活动频发,违法犯罪手段的变化决定着警务作战模式的变革。在大数据技术支持下的最小作战单元警组协同战术手段是适应警务实战的需要,集“情报处理、高效指挥、快速打击”于一体的新型警务作战模式,是实现警务作战效益最大化的警务战术模式。

基于灰色关联分析的运动训练即时数据采集系统

为了提高运动训练即时传感网络数据的采集能力,设计基于灰色关联分析的运动训练即时数据采集系统。感知层利用穿戴设备获取运动训练即时数据,通过确定数据采集指标体系实现数据采集与数据整合,并对所得数据进行灰色关联分析,得到精确数据采集结果。网络层主要以无线传感网络为基础,对数据采集节点进行部署,实现人机交互。应用层能够对网络实施安全监控、数据存储与管理、可视化展示、数据传输等功能,通过三个层次之间的相互配合实现运动训练即时数据采集。测试表明,采用该系统进行数据采集的输出稳定性较好,数据采集精度更高。

基于大数据分析的高校学生体能训练优化策略研究

在当今信息技术迅速发展的背景下,大数据分析已成为众多领域的重要工具,体育科学领域也不例外。高校学生的体能水平直接影响到学习效率及生活质量,而传统的体能训练方法往往忽视了训练的个性化需求。随着大数据技术的发展,收集分析体能训练相关数据成为可能,这为制定更加精准、有效的训练计划提供了新的思路。研究主要探索大数据分析技术在体能训练方面的应用潜力,总结现阶段的大数据分析平台存在的问题,并提出优化办法,以提升体能训练的实际效果,从而提升学生的整体健康状况,进一步推动高校体育教育的发展。

基于大数据及云计算技术的警务战术训练仿真系统设计

为了提升警务战术训练仿真系统的建模精度和响应效率,提高警员的战术技能水平,提出基于大数据及云计算技术的警务战术训练仿真系统设计方法;利用云计算技术设计系统的总体架构,构建警务战术训练仿真系统的分层模型,确定系统各层在运行过程中的主要职责;根据系统总体构架设计信息管理模块、主控模块、判定模块、信息采集模块和情景控制模块,完成系统的硬件设计;在软件设计中创新地引入全卷积孪生网络和大数据技术,重构相似块组,优化图像质量;应用Sketchup软件处理基本矢量图数据,构建训练场景矢量图,对警务战术训练场景进行三维建模,以此实现警务战术的仿真训练;实验结果表明,应用所提方法处理后的图像峰值信噪比为65.9 dB,结构相似度为0.923,具有较高的图像采集质量、三维建模精度和系统响应效率;可为警务战术训练场景的三维建模提供可靠依据,有效优化警员的战术训练效果。

生成式人工智能训练数据的软硬法协同治理研究

训练数据是决定模型质量的关键,囿于隐私、个人信息、知识产权等多重风险,亟待规范治理。训练数据的结构性、训练过程不可逆转性、风险低可控性使得传统硬法规制部分失灵,应转向软法和硬法的互动共治,二者的主辅关系作为精细化治理的必要有待研究。生成式人工智能的产业发展现状、监管机构情况、治理和发展目标三个指标影响了各国生成式人工智能训练数据治理路径的选择,透过中国国情的目标分析,生成式人工智能训练数据的软硬法协同治理框架逐步搭建,以硬法的结构式刚性谦抑与软法的立体式柔性扩张为协同趋势。

大数据与人工智能在篮球运动员体能训练中的应用

随着科技的不断进步,大数据与人工智能技术逐渐应用于各个领域。在体育领域,大数据与人工智能为运动员体能训练提供了新的方法和手段。特别是在篮球运动员的体能训练中,大数据与人工智能的应用有助于提高训练效果,降低运动员受伤风险,并提高运动员的竞技水平。该文通过对文献研究、案例分析和实地考察得到的数据和信息进行分析和处理,探索大数据与人工智能在篮球运动员体能训练中的应用规律和特点,总结出结论和建议,以期为我国篮球运动员的体能训练提供新的思路。

基于增强优化预训练语言模型的电力数据实体识别方法

知识图谱可有效整合电力系统中的多源数据,提升电网的知识管理水平。针对电力文本数据集稀缺、实体类型多样、专业性强的特点,提出1种基于增强优化预训练语言模型的电力数据实体识别方法。该方法使用实体词袋替换的数据增强技术扩大原始数据集,采用增强优化预训练语言模型(RoBERTa)进行动态语义编码,利用双向长短期记忆网络(BiLSTM)和条件随机场(CRF)提取特征并优化标签。实验结果表明,该实体识别方法比传统基于深度学习的实体识别方法的平均数指标F1分数高2.17%,证实其对构建电力数据知识图谱的识别效果。

融合TF-IDF算法和预训练模型的文本数据增强

针对自然语言处理领域的数据增强问题,首次提出了一种基于TF-IDF算法和预训练语言模型BERT融合的文本数据增强方法。首先,改进传统的基于随机策略的词元选择方法,避免对语义起到关键作用的词元进行改写,利用TF-IDF算法提取样本的非核心词,得到替换的目标词元;之后针对现有算法在生成新数据时,依赖输入样本而导致的增强样本多样化受限问题,融合BERT模型预测目标替换词元,并使用预测的结果替换目标词元。实验结果表明,基于TF-IDF和BERT预训练模型融合的文本数据增强算法有效提升深度学习模型的性能达5.8%,优于现有的文本数据增强算法。

行政法如何应对生成式人工智能--基于算法、训练数据和内容的考察

生成式人工智能具有更复杂的算法,需要海量训练数据,能够作为内容生产者与用户共同生产新内容,因而带来或放大了行政法层面的治理难题,包括算法黑箱、算法控制权分散化、高质量训练数据短缺、训练数据合法性,以及内容治理等。尽管国家制定了《生成式人工智能服务管理暂行办法》,但它受制于效力位阶,不足以解决行政法层面的治理难题。为此,在算法方面,宜创设面向用户的算法说明义务和新的算法安全评估制度,并根据算法控制主体之间的关系构建相应的监管制度。在训练数据方面,完善公共数据开放制度,建立训练数据备案制度和合法性信任机制。在内容治理方面,区分生产环节和传播环节的内容治理,内容生产环节的规制宜宽松,内容传播环节的规制宜严格。

通用人工智能训练数据的权利配置——以ChatGPT类大模型为例

训练数据是创建和优化通用人工智能的关键生产要素,构建保障权益、合规使用的训练数据权利制度,是促进训练数据流通共享和数据要素市场发展的前提和基础。训练数据在物理性质、生产方式和利用规律等方面具有不同于实物要素的特点,这决定了训练数据的权利配置不宜照搬有体物的所有权,而应根据其自身的价值创造和实现原理构建数据权利。训练数据权利配置应立足于训练数据价值链中训练数据处理者与不同相对方的法律关系进行观察,在保障训练数据来源者的在先权利的基础上,训练数据处理者享有训练数据持有权、使用权和经营权,与共同处理者分享平行的训练数据权利,并根据法律规定或合同约定负有向训练数据需求者提供训练数据的义务,由此实现训练数据权利的模块化设计。

深度神经网络在线训练硬件加速器的数据量化综述

随着算法和数据的爆炸式增长,深度神经网络(Deep Neural Network, DNN)逐渐在实际应用中扮演愈发重要的角色。然而,真实场景中的数据与线下训练数据之间往往并不满足独立同分布假设,导致预训练DNN模型在实际应用中性能严重下降。所以,在资源供给相对有限的平台上进行DNN模型在线训练成为其有效应用的保证。为了满足真实场景对DNN模型质量与速度的多维度性能要求,如何在保证算法精度的同时显著降低计算复杂度是在此类应用中部署DNN的关键。数据量化是降低计算复杂度的主流优化技术之一,能够通过降低模型参数、中间值等数据的位宽来减少硬件加速器的资源耗费。因此,从软件和硬件两个方面对深度神经网络训练加速器中关于数据量化的研究进行总结。对国内外最新发表的相关文献进行归纳总结。首先,从软件的角度总结了不同的量化方法,包括简单映射数据量化和复杂映射数据量化;其次,从硬件的角度总结了DNN加速器对网络在线训练各计算步骤的量化支持;再次,阐述了数据量化对加速器设计的影响,包括存储单元和计算单元;最后,对本领域的研究进行总结,并展望了未来本领域的发展方向。文章提出的分类方法有助于对之前的DNN加速器在数据量化方面的工作进行分类。

面向深度神经网络大规模分布式数据并行训练的MC^(2)能耗模型

深度神经网络(deep neural network,DNN)在许多现代人工智能(artificial intelligence,AI)任务中取得了最高的精度.近年来,使用高性能计算平台进行大规模分布式并行训练DNN越来越普遍.能耗模型在设计和优化DNN大规模并行训练和抑制高性能计算平台过量能耗方面起着至关重要的作用.目前,大部分的能耗模型都是从设备的角度出发对单个设备或多个设备构成的集群进行能耗建模,由于缺乏从能耗角度对分布式并行DNN应用进行分解剖析,导致罕有针对分布式DNN应用特征进行建模的能耗模型.针对目前最常用的DNN分布式数据并行训练模式,从DNN模型训练本质特征角度出发,提出了“数据预处理(materials preprocessing)-前向与反向传播(computing)-梯度同步与更新(communicating)”三阶段MC^(2)能耗模型,并通过在国产E级原型机天河三号上使用最多128个MT节点和32个FT节点训练经典的VGG16和ResNet50网络以及最新的Vision Transformer网络验证了模型的有效性和可靠性.实验结果表明,MC^(2)与真实能耗测量结果相差仅为2.84%,相较4种线性比例能耗模型以及AR,SES,ARIMA时间预测模型准确率分别提升了69.12个百分点,69.50个百分点,34.58个百分点,13.47个百分点,5.23个百分点,22.13个百分点,10.53个百分点.通过使用的模型可以在超算平台得到DNN模型的各阶段能耗和总体能耗结果,为评估基于能耗感知的DNN大规模分布式数据并行训练及推理各阶段任务调度、作业放置、模型分割、模型裁剪等优化策略的效能提供了基础.

基于多模态数据融合的飞行员生理心理训练管理系统构建

该文针对飞行员生理心理信息如何充分应用于提高飞行训练绩效,结合飞行职业特点,从结构模块、数据融合、效用分析3个方面对飞行员生理心理信息平台进行介绍。飞行员生理心理信息管理系统基于大数据分析融合技术,对不同类型的生理心理数据进行无效/重复数据清洗、数据降噪等处理,形成有效的数据,迭代优化各数据模型,层层追溯和挖掘,构建“用数据说话、用数据决策、用数据管理、用数据创新”飞行员生理心理训练管理系统,有助于快速掌握飞行人员训练情况,智能形成个性化训练方案,为提高飞行员的体能训练效益提供参考。

基于Energy-Metrics的训练飞行数据异常识别方法

训练飞行的首要前提就是保证人机安全,通过分析飞行数据来监控和评估飞行质量成为提高安全性和训练质量的手段之一。基于Energy-Metrics(能量度量)的异常飞行数据分析方法可为分析训练飞行安全分析提供帮助。提出了一种在训练飞行进近着陆阶段基于能量度量的异常飞行数据识别方法,首先,通过基于能量度量指标方法为飞行数据生成特征向量,然后,借助具有噪声的基于密度的聚类方法(density-based spatial clustering of applications with noise,DBSCAN)聚类和单类支持向量机(support vector machine,SVM)方法,对能量度量的指标数据特征向量进行飞行异常检测和识别。通过将模拟异常飞行数据隐藏在实际飞行数据中进行飞行数据的检测和识别,证明该方法的异常数据检测成功率为95%以上,且使用不同能量度量指标识别出的异常飞行数据具有高达98%的一致性,证明了该方法在识别异常飞行数据上具有较强的有效性和鲁棒性,为训练飞行回顾性安全分析提供有力的帮助。