基于ADASYN和WGAN的混合不平衡数据处理方法

为了解决不平衡数据集中少数类样本分类精度较低的问题,提出了一种处理不平衡数据集的ADASYN-WGAN方法。首先,采用ADASYN(adaptive synthetic sampling)算法生成少数类样本,用这些生成样本代替WGAN(wasserstein generative adversarial networks)中的随机噪声;其次,利用WGAN算法生成符合原始数据集分布规律的少数类样本,构建平衡数据集;然后,在6个公开数据集上,采用随机森林分类器对所提方法和4种过采样算法得出的处理结果分别与原始数据集进行对比;最后,通过F1-Score,G-mean和AUC等分类评估指标的表现验证所提方法的有效性。结果表明:在对比实验中,经过ADASYN-WGAN方法得到的平衡数据集在随机森林分类器的十折交叉验证中,4个公开数据集中的各项分类评估指标值均达到最优,虽然另2个公开数据集中的AUC值略低,但其F1-Score和G-mean取得了最高值。所提出的ADASYN-WGAN方法可生成高质量的数据样本,并可为解决不平衡数据集中少数类样本的预测偏差问题提供参考。

结构化数据库查询语言智能合成技术研究进展

近年来,随着大数据、云计算等技术的飞速发展,大规模数据的产生使得各类应用对于数据库技术的依赖日益加深。然而,传统的数据库一般采用形式化的数据库查询语言SQL进行操作,对无编程经验或数据库使用经验的用户来说,复杂SQL语法难度较高,降低了各个领域数据库应用者的便捷程度。近年来,机器学习、深度神经网络等人工智能技术的飞速发展,尤其是ChatGPT横空出世引发的大语言模型技术热潮,驱动了数据库与人工智能的深度结合与技术变革。通过智能方法将用户输入语言自动化合成SQL语言,以满足不同程度数据库使用者的操作需求,提升数据库的智能性、环境适应性及用户友好性。为全面聚焦数据库查询语言智能合成技术的最新研究进展,从范例输入、文本输入及语音输入这3类用户输入切入,详细阐述各类智能合成模型的研究脉络、代表性工作及最新进展,同时对各类方法的技术框架进行归纳与对比,最后对全文进行全面性的总结,并针对现有方法存在的问题和挑战展望未来发展方向。

基于ADASYN数据平衡化的PSO-BPNN变压器套管故障诊断

变压器套管作为设备重要的绝缘部件,其绝缘性能直接影响着设备的安全运行。为诊断变压器套管绝缘状态,改善变压器套管油中溶解气体的小样本不平衡数据对变压器套管故障诊断结果的影响,使用粒子群优化结合反向传播神经网络(particle swarm optimization combined with back propagation neural network,PSO-BPNN)和自适应综合过采样(adaptive synthetic sampling,ADASYN)算法对变压器套管进行故障诊断。首先收集变压器套管的历史故障数据,建立具有明确故障类别的变压器套管油中溶解气体样本集,并通过ADASYN算法对原始数据中的少数类样本进行合成,得到平衡后的故障数据,然后将平衡后的油中溶解气体作为模型输入,故障状态作为标签输出,通过PSO-BPNN模型对变压器套管进行诊断,最后在原始样本集下使用反向传播神经网络(back propagation neural network,BPNN)、遗传结合反向传播神经网络(genetic combined with back propagation neural network,G-BPNN)算法、布谷鸟搜索结合反向传播神经网络(cuckoo search combined with back propagation neural network,CS-BPNN)算法以及PSO-BPNN模型对套管进行诊断。结果表明,针对变压器油纸套管绝缘状态进行故障诊断的多个模型中,基于ADASYN平衡数据后的PSO-BPNN模型和其他模型相比准确度最高,能有效减小小样本不平衡数据对诊断结果的影响,为判断变压器油纸套管绝缘性能提供了有效方法。

基于数据合成与机器学习的6DM气缸体复杂铸件缺陷预测

在汽车核心零部件制造等关键领域,复杂铸件出现缺陷的后果尤为严重,因此对复杂铸件进行缺陷预测并提高其生产质量刻不容缓。本文针对实际铸造过程中采集到的6DM气缸体复杂铸件生产数据中气孔、砂眼等缺陷类别的数据量严重不平衡问题,对基于数据合成与机器学习的6DM气缸体复杂铸件缺陷预测进行研究,梳理了人工神经网络与复杂铸件缺陷预测的研究现状,结合企业现场生产情况,开展了需求分析,获取6DM气缸体复杂铸件生产数据。并基于SMOTE(synthetic minority oversampling technique)算法,创建了合成数据集,采用合成数据集作为训练模型的数据集,预测准确率达到99.37%。结果表明,构建的复杂铸件缺陷预测模型能够准确预测复杂铸件缺陷。

基于隐空间扩散模型的差分隐私数据合成方法研究

数据共享与发布可以有效发挥数据的价值,能够在数智时代推动科技进步和经济社会的发展。在数据共享的同时如何保护数据版权及个人隐私仍是一项巨大的挑战。差分隐私数据合成是数据隐私保护的有效手段,数据持有者通过发布合成数据取代真实数据,一方面可以保护数据隐私,另一方面也可以提高数据的泛用性与可用性。针对差分隐私生成模型合成图像数据样本可用性低的问题,提出了基于隐空间扩散模型的两阶段差分隐私生成模型。首先对原始图像进行差分隐私感知信息压缩,将其从像素空间投射至隐空间中,获得原始敏感数据的脱敏隐向量表示。然后将隐向量输入扩散模型,使其逐渐转变为先验分布,并通过去噪过程进行采样。最后,使用MNIST和Fashion MNIST数据集训练并进行数据合成,结果表明该模型在FID和下游任务准确性上相比DP-Sinkhorn等SOTA模型均有明显提升。

基于专利数据的合成革交联剂现状及趋势

本文针对合成革交联剂现状和发展趋势,利用智慧芽(PatSnap)专利检索数据库,多维度的多方面地分析合成革交联剂全球专利情况,研究结果从专利视角为行业相关人员掌握合成革交联剂研究与产品开发提供了重要参考。合成革涂层交联剂作为提高合成革性能和适应条件的关键材料,它的使用提高了合成革耐曲折、耐磨、耐刮、耐老化、耐水解、耐寒等诸多性能参数。根据合成革的类型,目前使用的合成革交联剂主要分为两大类:PVC(聚氯乙烯)交联剂、PU(聚氨酯)交联剂。

基于混合数据类型相关性度量的非正态数据合成

数据在机器学习、人工智能等领域的研究和开发工作中占据了极其重要的地位.然而现实中存在的一些因素导致数据需求者无法获得符合工作要求的真实数据集,例如隐私问题、数据稀缺和数据质量较差等.针对此现状,在SI (sampling-iteration) technique的基础上改进出一种非正态数据合成算法(KMSI).该算法使用混合类型相关系数矩阵以减小SI technique在目标设定、控制循环等步骤中的度量误差,通过替换Bootstrap采样法为核密度估计采样法以避免使用真实数据.实验结果表明,KMSI相较SI technique能够应对复杂分布和混合类型的数据集,且在合成结果中不包含真实数据;相较于其他改进方法,KMSI在合成数据集样本量上能够给予使用者更大的自定义空间.

大数据时代下精细化学品合成课程教学改革与创新

探讨了在大数据时代背景下精细化学品合成课程的教学改革与创新。通过分析大数据对教学的影响,提出了一系列改革措施,如加强数据素养教育,引入多元化教学资源,实施个性化教学,开展实践教学,建立学习共同体等。这些建议都是为了帮助学生打下扎实的职业发展基础,意在加强学生的数据分析和创新能力。在大数据时代下,精细化学品合成教学需要进行改革和创新,以适应新的技术环境和社会需求。

数据深度合成技术应用的法律风险和规制路径研究

深度合成技术提升生活便利但也带来数据安全新风险,需总结法律风险,如数据安全、人格利益等,并梳理法律规制困境。为平衡发展与安全,该文提出完善立法、明确版权、加强技术监管合作的法律规制建议,以此促进技术合理应用,防范潜在风险。

大数据与计算模型

当前,人工智能持续升温,大语言模型吸引了众多人士的关注,并在全球范围内掀起了一股热潮。人工智能的成功本质上不是大算力“出奇迹”,而是改变了计算模型。首先,肯定了数据对于人工智能的基础性作用,指出合成数据将是未来数据的主要来源。然后,回顾了计算模型的发展历程,重点介绍了神经网络模型与图灵模型的历史性竞争;指出了大模型的重要标志是机器涌现智能,强调大模型的本质是“压缩”;分析了大模型产生“幻觉”的原因。最后,呼吁科技界在智能化科研中要重视大科学模型。

深度合成技术背景下刑法数据治理模式的转换

我国刑法中关于数据治理侧重于保护数据主体对数据的控制力,只规定了出售或收集数据的行为类型,非法获取计算机信息系统数据罪存在入罪行为类型过少的问题。现行刑法数据治理模式无法应对深度合成技术引发的数据依赖、数据伪造、数据偏见等风险。为了更好地应对深度合成技术带来的风险,保护数据法益,应当将数据控制安全保护模式转变为数据利用安全保护模式,以整合数据资源为重,兼顾维护数据主体的权利,将治理重心放在“规制数据利用行为”。实现治理模式的转换具体可以从以下几方面入手:明确数据法益的内涵;防止对“知情同意”规则的不当使用;在刑法分则条文中增加篡改、编造、储存、滥用数据和恶意植入数据偏见等行为类型。

基于不同数据源的数字孪生小流域底板模型精度检验

为解决小流域综合治理规划设计中基础地形数据获取困难等问题,基于合成孔径雷达卫星遥感影像、倾斜摄影影像、光探测测距影像等3种主流遥感数据源,分别建立栖龙湾小流域数字孪生底板模型,进而提取主沟道纵断面、2块梯田样地边界、10个林地样区的郁闭度,与人工解译和实测结果对比进行精度检验,结果表明:以光探测测距影像为数据源的提取精度最高,以倾斜摄影影像为数据源的提取精度次之,以孔径雷达卫星遥感影像为数据源的提取精度最低。鉴于3种数据源小流域底板模型各有优缺点,可根据实际工作需要进行多源数据融合,以改善数字孪生技术在小流域综合治理规划设计中的应用效果。在栖龙湾小流域内选择石坎梯田地块进行合成孔径雷达卫星遥感影像与倾斜摄影影像数据融合、选择科普展览馆进行倾斜摄影影像与光探测测距影像数据融合,均取得良好的效果。

基于长短路融合及数据平衡的SAR船舶检测算法

针对SAR图像检测船舶任务中的目标小、近岸样本目标检测困难等问题,文章提出一种名为长短路特征融合网络(Long and Short path Feature Fusion Network,LSFF-Net)的船舶检测网络。该网络通过长短路特征融合模块有效协调了大目标与小目标检测,避免小目标特征信息的丢失。网络中应用结构重参数化结构提高了模块学习能力。为了满足多尺度目标检测,加入特征金字塔网络,融合多尺度特征。为了应对近岸样本目标检测,设计数据重分配算法,提高了对近岸样本目标的检测精度。实验结果表明:在公开数据集检测时,算法的平均精度(Average Precision,AP)达到97.50%,优于主流目标检测算法。该方法为提高SAR图像中小目标和近岸样本目标检测精度提供了新的实现方案。

数据不平衡情况下的柴油机故障诊断方法

由于强调整体分类的准确率,机器学习方法在数据不平衡情况下的柴油机故障诊断效果不佳.因此,本文提出一种改进合成少数过采样技术(SMOTE)与机器学习技术相结合的故障诊断方法.首先对SMOTE算法进行改进,采用k近邻算法滤除多数类中的噪声样本,从而减少各种故障类别之间的重叠.同时,使用k-means算法确定少数类稀疏度和采样权重,减轻类内不平衡.然后,使用改进SMOTE算法平衡柴油机故障数据,并利用机器学习方法进行最终故障诊断.在二维数据集上的实验表明,改进SMOTE算法能有效减轻原始数据中存在的类重叠和类内不平衡问题.柴油机故障诊断实验表明,改进SMOTE算法生成的故障样本能更好地模拟原始故障样本,使用改进SMOTE算法能提高故障诊断方法的准确率.

不平衡数据集的DC-SMOTE过采样方法

针对不平衡数据集在分类任务中表现不佳的问题,提出基于局部密度与集中度的过采样算法。针对数据集中所有的少数类样本点,分别利用高斯核函数与局部引力来计算局部密度与集中度;对于局部密度较小的部分有针对性地合成第一类新样本,解决类内不平衡问题。根据集中度的不同,区分出少数类样本的边界,有针对性地合成第二类新样本,达到强化边界的作用;同时,通过自适应生成新样本,有效解决大部分过采样算法没有明确过采样量或者盲目追求样本平衡度相等的问题。最后,在公开的12个不平衡数据集上进行了实验,实验结果表明,本算法在低不平衡数据集与高不平衡数据集上的应用均拥有良好的表现。

语言学知识驱动的空间语义理解能力评测数据集研究

近20年来,深度学习技术显著提升了机器的自然语言处理能力,使之在诸多任务上接近甚至超过人类水平。机器学习的对象不再是直接来自人类语言学研究成果(知识),而是人类语言材料(数据)。在靠数据和算力驱动的大语言模型几近建成巴别塔的当下,语言学家通过深挖语言现象总结的语言学知识价值何在?本文提出从知识到数据的研究思路,设计了空间语义理解的6项任务:空间信息正误判别、异常空间信息识别、缺失参照成分补回、空间语义角色标注、空间表达异形同义判别、空间方位关系推理,以构建中文空间语义理解能力评测数据集为例,介绍从SpaCE2021到SpaCE2024数据集的设计思想、数据集制作概况以及机器在空间语义理解任务上的表现。总的来看,参加SpaCE赛事的大语言模型,在依赖表面分布特征(形式线索)的任务上容易获得好成绩,在依赖深层语义理解(认知能力)的任务上容易表现不好。因此,在人工智能高速发展使得语言学知识在计算机信息处理领域被动边缘化的当下,语言学知识的价值需要拓展,即用于指导小而精的高品质语言数据,以提升机器学习的效果和效率。为了计算应用的目的,语法研究应该在观察充分、描写充分、解释充分之上,追求更具挑战性的目标——生成充分。

机器内部标准语法的语义识别合成建模

为了解决汉语的语义识别合成,提出了一种新颖的机器内部标准语法,使用神经网络自学习,模拟合成宋词,在小规模宋词写作方面,对其进行了模拟实验,证明这种方法是有效的。为开拓大数据的语义识别合成的前景,提供了一个基础数据库的编制方案,即内部标准语法,借鉴了传统汉语语言学,使用机器语言风格定义设定,简洁明了,预计可以和已有的神经网络自学习理论相结合,解决大数据语义理解的实际运算问题。

“二重性”视角下大数据赋能公安机关执法办案管理中心的逻辑、困境和进路

党的十八大以来,习近平总书记多次对“大数据战略”“数字中国”“新时代公安工作”做出了一系列重要论述,为公安工作现代化指明了方向。在法治公安和科技兴警战略指引下,大数据赋能公安机关执法办案管理中心经过10年发展,取得长足进步,在执法办案、监督管理、合成作战中发挥了重要作用,成为实现执法办案“安全、规范、集约、智能、高效”目标的重要手段,推动执法规范化建设的重要路径和深化智慧法治公安建设的重要载体。

经侦数据化合成作战中存在的问题及对策思考

新时代经济犯罪复杂多变,新业态经济的发展在一定程度上促使经济犯罪类型与手法不断翻新,经侦数据化合成作战建设所面临的困境更加突出,令公安机关开展经济犯罪侦查面临严峻挑战。公安机关经济犯罪侦查部门(以下简称经侦部门)应从警务实践的需求出发,不断探索经济犯罪侦查“数据化实战”的实践应用,通过创建“一体化作战”警务合成作战机制完善公安机关打击经济犯罪路径,实现大数据技术应用背景下系统资源的整合与应用,强化经侦部门与各警种、各部门间协同的数据合成化作战效能,为提升公安机关办理经济犯罪案件的执法水平奠定现实基础,有效提高公安机关打击经济犯罪效能。

基于域随机化的绝缘子缺损数据自动生成与评价方法

机器代人巡检已逐步在电力巡检场景中得到广泛应用,绝缘子作为维护电力系统安全可靠稳定运行的重要设备,对其缺陷进行准确有效检测具有重要意义。绝缘子缺损识别是绝缘子缺陷检测中的重要任务,针对当前绝缘子缺损数据样本较少且样本不平衡,模型泛化能力差、数据标注不精确的问题,该文提出基于域随机化的缺损样本自动生成框架与样本图像质量评估方法,在虚拟域到真实域的绝缘子缺损检测域适应问题上取得了较好的效果,并基于该方法生成图像标注数据供开源使用。该文提出的域随机化数据生成方法首先基于程序化建模生成结构可调的绝缘子伞盘模型并基于纹理噪声模型建立了包含陶瓷绝缘子常见色彩、纹理信息的程序化纹理模型,进而基于网格噪声模型建立了绝缘子缺损切割模块,随后通过域随机化生成完整的绝缘子结构、纹理模型、缺损结构、背景信息与场景物体。在图像渲染和自动标注环节,首先基于相机对准与能见度自动生成与调整拍摄点及相机参数,进而提出了基于光线投射方法建立数据标注类别判定方法,设置实例对应的图像渲染通道进行图像渲染,完成批量数据生成。该文采用域随机化生成的3000张虚拟数据在不修改YOLO V5网络结构、模型参数的基础上训练模型,在300张真实绝缘子缺损图像上进行测试,正常绝缘子识别准确率达到97.8%,召回率92.1%,缺损绝缘子识别准确率79.0%,召回率75.9%,各检测类别的准确率和召回率均高于基于400张真实图像训练得到的检测模型的推理结果。该文提出的图像样本质量评估方法考虑了与真实域数据的相似度和样本在数据集中的独立性,将所得评价结果代入损失函数权重计算,进一步提升了推理结果,缺损绝缘子识别准确率85.3%,召回率77.8%。