面向机器阅读理解的高质量藏语数据集构建

机器阅读理解是通过算法让机器根据给定的上下文回答问题,从而测试机器理解自然语言的程度。其中,数据集的构建是机器阅读理解的主要任务之一。目前,相关算法模型在大多数流行的英语数据集上都取得了显著的成绩,甚至超过了人类表现。但对于低资源语言,由于缺乏相应的数据集,机器阅读理解研究尚处于起步阶段。该文以藏语为例,人工构建了藏语机器阅读理解数据集(TibetanQA),其中包含20000个问题答案对和1513篇文章。该数据集的文章均来自云藏网,涵盖了自然、文化和教育等12个领域,问题形式多样且具有一定的难度。另外,该数据集在文章收集、问题构建、答案验证、回答多样性和推理能力等方面,均采用严格的流程以确保数据的质量,同时采用基于语言特征消融输入的验证方法说明了数据集的质量。最后,该文初步探索了三种经典的英语阅读理解模型在TibetanQA数据集上的表现,其结果难以媲美人类,这表明藏语机器阅读理解任务还需要更进一步的探索。

人工智能囊胚形态评估数据集构建与质控专家共识

囊胚形态人工智能(AI)评估是AI医疗器械发展的新兴方向,也是AI在辅助生殖领域的重要应用。AI在新领域应用的起步阶段,数据集的构建与质控对产品质量有重要影响。目前,囊胚形态学AI评估在数据采集、标注、质控等方面尚未形成统一的规范。在参考AI医疗器械、辅助生殖医疗器械现有国家行业标准的基础上,本文以囊胚形态AI评估数据集为主题,对数据集构建与质控要求进行了探讨,对数据集质量特性进行了解析,旨在指导数据集制造责任方加强数据集全生命周期管理,更好地为产品研发、测试、临床试验等环节提供质量保障,助力产业发展。

积极心理学更智能:机器学习与自发生成数据集的新途径

本文探讨了积极心理学在计算智能快速发展时所面临的具体挑战,分析了机器学习和自发生成数据集在应对这些挑战时的巨大潜力。机器学习可从高维数据中提取与人类认知相关的非线性关系,成为研究人类认知和情感的新途径。自发生成数据集能更真实地反映人类行为和心理过程,为研究者提供高效的研究素材。这些新兴技术为积极心理学提供了全新视角,能更全面地认识人类行为和心理并推动文化差异性研究、理论更新和干预策略评估。未来研究需探索机器学习、自发生成数据集与积极心理学理论的结合,以深入理解人类行为和情感的多样性和复杂性。

GPR图像的数据集构建及其DRDU-Net去噪算法

为了解决生成对抗网络(Generative Adversarial Network,GAN)在生成探地雷达(Ground Penetrating Radar,GPR)图像时存在训练不稳定的问题,提出利用带有梯度惩罚的Wasserstein距离生成对抗网络(WGAN-GP)生成GPR图像,并结合时域有限差分法和实地采集图像提出了一种构建GPR图像数据集的方法.相较于原始GAN与Wasserstein GAN等方法,WGAN-GP具有更好的稳定性,而且生成的GPR图像更接近真实图像.在此基础之上,将密集残差块和U-Net相结合提出了一种适合于GPR图像的密集残差去噪U-Net方法.该方法利用U-Net中编码-解码结构提高了GPR图像的去噪性能;同时,密集残差块的引入加强了GPR图像的特征复用,且使U-Net训练更加稳定.最后,利用仿真实验验证了所提去噪方法的性能,并与三维块匹配(BM3D)和U-Net方法进行了对比.结果表明:所提方法与BM3D以及U-Net去噪方法相比,具有更好的去噪效果.当σ等于20时,在模拟和实测数据上取平均值,其峰值信噪比分别提升了约6.5 dB和2.4 dB;结构相似性分别提升了约0.09和0.04.

面向兵棋推演复盘分析的机器学习数据集构建

运用机器学习进行兵棋推演复盘分析,首先要解决的是数据集构建问题。由于机器学习对数据结构的规范化要求,以及算力和存储限制,通过兵棋推演数据构建机器学习数据集,在如何描述兵棋推演状态,如何描述推演过程,如何处理高维数据,如何数据保真等方面,还面临不少问题。针对此类问题,构建了兵棋推演过程数据向机器学习数据集映射模型,在总体框架上对数据集构建的映射流程、态势描述数据范围和数据统计计算规则进行规范,并从时间关联数据、地理空间关联数据和高维数据降维3个视角设计针对性处理方法,以保证构建数据集的数据结构统一、高维数据降维需求和数据集保真要求。通过数据集构建实验进行了验证,结果表明:在时间分辨率和地理空间分辨率适中情况下,所构建数据集映射模型,既能较好对兵棋推演高维数据进行降维,又能较好防止构建的数据集失真。

多源地理产品数据的元数据统一设计与采集管理技术

面向多源地理产品数据管理应用的需求,明确了本文讨论的地理产品数据的范畴,分析了地理产品数据的存储组织及应用特点。基于存储组织需求,统一设计了数据大类小类两级分类目录及类别编码,设计了地理数据产品的元数据采集规范。提出了数据集-数据单元两级元数据的设计理念以便满足不同数据粒度的管理需求,分别设计了数据集元数据和数据单元元数据的详细组成,统一设计了空间地理产品数据与非空间地理产品数据的元数据,明确了数据集目录和数据单元的命名原则。设计并实现了能够自动采集多源地理产品元数据的软件,实现了基于统一元数据设计的数据管理软件。结果表明,这种方法能够满足用户对多源地理产品数据的统一存储组织、多粒度管理、高效便捷检索等需求。

面向对海监视的舰船目标跟踪与航迹融合数据集

对海监视中航迹实时关联与轨迹融合任务是安全防控、区域态势监视、远程精确打击等军民应用领域的热点和难点问题,高质量的数据集对推动目标跟踪与融合技术在该领域的研究有重要作用。本研究针对目标跟踪与融合领域技术研究的数据需求以及目前公开数据集所存在的数据缺乏、场景设计针对性差、数据格式单一、数据描述不全等问题,通过仿真软件对复杂场景中多传感器多目标探测数据进行仿真,提供了一套面向典型对海监视场景(以舰船为探测对象的2D雷达与侦察传感器﹝ESM﹞)的目标跟踪与航迹融合数据集。其中仿真软件包括剧情发生器和传感器模拟器两部分,是一套成熟的目标跟踪场景仿真环境,提供逼真的探测数据模拟能力。本数据集涵盖的传感器对象包括2D雷达与侦察传感器,目标包括典型的海上舰船类别,并支持携带辐射源配置,设计了高速运动、密集交通、多传感器数据融合、特定舰船侦测和交叉定位等多种典型场景。本数据集中共包含368155条目标点迹,舰船数量为101条,时间范围15000秒,数据格式符合实际设备上报情景、探测误差模型符合实际。本数据集通过对数据误差进行正态性检验、对检测率、虚警率的场景检验以及实地调研,完成了对数据的准确性评估与数据完备性控制,可为舰船目标跟踪、轨迹融合等算法研究与验证提供基础数据。

2D-3D医学图像配准临床数据集标定结果的分析与评价

目的构建采自临床的2D-3D医学图像配准数据集,是实现各种学习算法应用于实际医疗的重要环节。然而临床数据的获取过程中存在多种不确定因素,致使数据集的标定结果需要分析和评价。本文对采自胸主动脉腔内修复术的一组X线和CT图像的几组标定数据进行分析和评价,并确定正确标定结果。方法分别采用相似性度量法和投影距离误差法对标定结果进行分析和评价。选用相似性准则,计算CT图像生成的二维数字放射重建图像和X线图像的相似性,相似程度越高,对应的标定值越接近真实值。读取X线图像中的标记物影像位置作为参考位置;将计算得到的CT图像中标记物位置在X线图像上投影,得到投影位置;计算参考位置和投影位置的距离,距离值越小,对应的标定值越接近真实值。结果提供的几组标定数据,在比较数字放射重建图像和X线图像相似性方面,相似度接近,没有明显指向性;而投影距离误差法的分析结果指向性明显,能够定量描述标定结果的优劣。主要原因在于各组标定值之间差别不突出;生成的数字放射重建图像和X线图像之间模态差异较大等。结论投影距离误差法是评价2D-3D医学图像配准数据集标定结果的有效手段。另外,若提供的标定结果计算数据差异明显,或者可以提供高质量的数字放射重建图像时,相似性度量法也是评价标定结果的可选途径。

一种多模态隐喻数据集的构建和验证方法

隐喻的目的是启发理解、说服他人。目前,隐喻呈现文本、图像、视频等多模态融合的趋势,因此,识别多模态信息中蕴含的隐喻语义对互联网内容安全具有研究价值。由于缺乏多模态隐喻数据集,难以建立研究模型,因此,当前学者更关注基于文本的隐喻检测。针对这一不足,作者首先从图像-文本、隐喻出现、情感表达和作者意图等角度构建新型多模态隐喻数据集;其次,对数据集的标注者进行Kappa分数计算;最后,借助预训练模型和注意力机制融合图像属性特征、图像实体对象特征和文本特征,构建多模态隐喻检测模型,验证多模态数据集的质量和价值。实验结果表明:具有情感和意图表达的隐喻数据集可提升隐喻模型检测效果,多模态信息间相互关系有助于隐喻的理解。

浙江一体化培育数据要素产业集群的路径研究

在数字经济快速发展的时代背景下,数据要素流通市场的巨大蓝海已然呈现。浙江省深入实施数字经济“一号工程”,浙江制造、平台经济使得浙江数据资源丰富、产业基础雄厚、数据融合价值驱动的应用场景广泛,数据要素产业已具先发优势。但打造数据要素产业集群仍然面临数据壁垒、数据要素制度体系尚不健全和数据要素安全保障等制约因素。本文提出了通过“全过程+全链条+全要素+全域”一体化培育数据要素产业集群,构筑全球数字产业高地、赋能经济高质量发展的路径。

基于AIXM数据集和改进A^(*)算法的直升机路径规划

针对AIXM数据集(aeronautical information exchange model dataset)在通航应用研究缺乏,以及经典A^(*)算法在直升机路径规划问题中转弯节点多等问题,提出了一种基于AIXM数据集的改进A^(*)算法直升机路径规划方法。首先,分析了AIXM数据集的时空属性,设计了基于时空属性搜索的AIXM障碍物数据查询方法,为进行直升机路径规划奠定了数据环境基础;然后结合直升机性能限制构建了碰撞判断包围盒,基于碰撞包围盒改进经典A^(*)算法,利用AIXM数据障碍物数据与航线数据,提出了一种直升机路径规划方法;通过python与Luaid AIXM 5 Viewer对该方法进行了仿真实验表明,所提方法规划的直升机路径转弯节点少,降低了直升机转弯的频率,规划路径短且符合路径与障碍物之间的安全距离要求。本文研究是将AIXM数据集利用于通航航空情报服务的创新尝试。

基于模型驱动和自动演进理论的矿集区找矿预测数据模型应用软件开发

本文旨在构建一个系统而全面支持矿集区找矿预测数据模型应用的软件体系架构。采用模型驱动和自动演进的软件研发理论,服务和支持矿集区找矿预测数据模型应用。研发工作主要集中在3类核心应用软件的研发:数据模型管理类软件、数据模型使用类软件和数据质量控制类软件,推出这些软件将有效地管理数据模型,提高矿集区找矿效率,并确保数据质量可靠性和准确性。提出了一个包含9个层次且完备的支持软件体系架构,全面覆盖数据模型从需求、设计到实际应用和用户层面各个环节。通过构建和研发支持矿集区找矿预测数据模型应用的软件体系架构及一套核心应用软件,成功为矿集区找矿预测提供了有效信息技术支持。这项工作不仅提高了找矿预测理论方法研究层次,还显著提升了软件技术应用水平,并可推广使用,具有重要的找矿指导意义。

配电网监测数据索引集群的分布缓存方法

针对配电网监测数据急剧增加导致配电网监控系统响应时间过长的问题,本文提出一种热点数据部分链表分布缓存方法。首先,引入缓存技术并分析原有热点数据链表缓存方法的局限性,提出一种新的缓存方法以提高缓存管理效率;然后,设计预热查询实现索引系统的热启动从而提高索引系统的缓存命中率;最后,以配电网监测数据为算例,验证所提方法的效果。测试结果表明,所提出的缓存方法及设计的预热查询能在不同查询条件下大幅减少索引集群的查询时间,有效提高配电网监测数据索引集群的查询效率。

2016—2022学年广东外语外贸大学图书馆用户行为记录数据集

本数据集采集了2016—2022学年广东外语外贸大学图书馆用户管理平台、门禁管理系统、学习空间管理系统、Aleph500图书集成管理系统中的用户信息、进馆记录、学习空间使用记录和借阅记录,经清洗、脱敏、加工后,共获得4个数据文件,合计14208746条记录。该数据集有助于分析“十三五”规划、“十四五”规划以来图书馆空间资源、图书资源的利用情况,探究用户在图书馆场馆内的行为规律及变化趋势,为图书馆的空间布局调整、资源建设与利用方面的服务提供决策支持,为同类院校图书馆的横向分析研究提供支持。

基于改进级联算法的不平衡数据集分类检测算法

以提升不平衡数据集分类检测为研究目标,提出基于改进级联算法的不平衡数据集分类检测算法.首先,采用卡尔曼滤波法进行数据去噪预处理,利用小波阈值去噪算法二次消除噪声数据,并对去噪结果进行归一化预处理;利用DPC算法提取数据的局部密度特征,利用时间编码挖掘数据的时序性特征,采用Apriori算法的强关联规则提取数据集特征;利用模糊层次聚类算法对支持向量机进行优化,实现数据类型的划分;利用改进的级联算法联合布谷鸟算法实现不平衡数据集分类检测.实验结果表明本方法的分类协方差低于0.15,检测准确率高于95%,检测时间低于2.2 ms,有效提升了不平衡数据集分类检测效果.

不平衡数据集的DC-SMOTE过采样方法

针对不平衡数据集在分类任务中表现不佳的问题,提出基于局部密度与集中度的过采样算法。针对数据集中所有的少数类样本点,分别利用高斯核函数与局部引力来计算局部密度与集中度;对于局部密度较小的部分有针对性地合成第一类新样本,解决类内不平衡问题。根据集中度的不同,区分出少数类样本的边界,有针对性地合成第二类新样本,达到强化边界的作用;同时,通过自适应生成新样本,有效解决大部分过采样算法没有明确过采样量或者盲目追求样本平衡度相等的问题。最后,在公开的12个不平衡数据集上进行了实验,实验结果表明,本算法在低不平衡数据集与高不平衡数据集上的应用均拥有良好的表现。

数据集市云平台赋能商业银行数字化转型

党的二十大报告强调,加快发展数字经济,促进数字经济和实体经济深度融合,打造具有国际竞争力的数字产业集群。数字经济是以数据资源为关键要素,以现代信息网络为主要载体,以数字技术融合应用、全要素数字化转型为重要推动力,促进公平与效率更加统一的新经济形态。

基于邻域粗集神经网络的大数据特征分类系统

为提升主机元件对大数据的分类准确性,尽可能地避免数据误传,提出基于邻域粗集神经网络的大数据特征分类系统。在邻域粗集神经网络中,完成对邻域系数的粒化处理,通过逼近运算的方式,使神经网络模型快速趋于稳定。选取大数据特征调制信息,借助调制识别器元件控制大数据特征的导出方向,结合关联信道组织完成数据特征的多标合并处理。实验表明,利用该系统可将大数据的单位召回率提升至65%,能够促进主机元件对大数据的准确分类。

基于本土对象数据集的人工智能教学

本文围绕具有跨学科特性的利用人工智能进行校园植物观测的活动,探讨用于人工智能学习的本土对象的数据集构建的相关问题,提出应该从学生日常生活出发,结合真实情境,为数据采集和分类任务建立具有一定合理性、真实性的目标框架,可以为分类目标限定范围,分类任务中的对象的特征既要有相似性又要有区分度,可以通过计算机视觉库的自动化处理来提高特征数据采集和记录的效率。

基于最小数据集的集约化葡萄园土壤健康评价

健康土壤是生产高产优质葡萄的基础,目前葡萄园不合理管理导致果园土壤生产力下降和生态失衡。为摸清集约化葡萄园土壤健康状况,该研究以河北省曲周县典型葡萄园为研究对象,通过测定20项土壤物理、化学和生物学指标,利用主成分分析法构建最小数据集,开展土壤健康评价并揭示葡萄园存在的主要障碍因子。结果表明,集约化葡萄园土壤健康评价最小数据集由有机碳、亚表层土壤硬度、交换性钠、容重、含水率和水稳性团聚体6个指标构成。利用线性和非线性评分函数,基于全数据集和最小数据集计算的土壤健康指数间呈显著正相关(P<0.01),这说明最小数据集可以代替全数据集用于葡萄园土壤健康评价。基于最小数据集,利用线性和非线性评分函数获得的葡萄园土壤健康指数范围分别为0.39~0.59和0.36~0.66,平均值分别为0.52和0.51,处于中等水平。不同树龄葡萄土壤健康指数差异不显著(P>0.05)。集约化葡萄园土壤障碍因子主要有土壤压实、养分不平衡和有机碳含量低等问题。通过适当减少田间管理频率,结合增施(生物)有机肥、种植覆盖作物和养分综合管理能有效消减土壤障碍因子,提升葡萄园土壤健康水平,促进当地葡萄产业可持续发展。