基于大数据流水线系统的算法模型整合方法研究——以基于机器学习方法的LiDAR数据树木生物量反演为例

【背景】激光雷达(LiDAR)数据在森林资源分析利用方面有着广泛应用,科研人员研制了很多涉及大数据管理和人工智能的专业算法模型,这些算法模型目前多数散落在研究人员手里,尚缺乏新型信息化平台对其进行整合。【方法】大数据流水线系统πFlow软件具有大数据管理能力和大数据算法集成能力,并可以所见即所得方式构建流水线并调度运行流水线,适合于LiDAR数据复杂算法模型的整合,且流水线可定制、可复用。【内容】本文介绍了πFlow的特点和功能,并以基于LiDAR冠层高度模型(CHM)数据的树冠解析及利用机器学习方法估测树木生物量为例,介绍了将算法整合到πFlow并构建LiDAR数据分析处理流水线的方法和技术,且对流水线进行了测试运行。【结果】利用πFlow构建的可重复信息化平台可支撑野外站观测网络的LiDAR数据生物量快速反演,为数据密集型的专业数据处理算法模型的整合提供了创新方法技术。

颗粒度动态控制的负载均衡算法的大数据分析

本文提出了一种创新的动态颗粒度控制算法,此算法融合了延迟进程生成与负载内联的特点,通过构建数学模型、优化算法,解决了传统负载均衡方法在动态环境下处理并行任务的难题。旨在最大化并行处理效率并削减不必要的开销。为大数据分析和并行处理提供了一种高效、灵活的负载均衡方案,对提升系统性能与降低成本有一定的参考价值。

人工智能与大数据分析在新一轮找矿突破战略行动中的应用与挑战

在全球矿产资源的不断耗竭和社会经济发展的背景下,新一轮找矿已成为地质领域的重要议题。该文探讨人工智能和大数据分析在新一轮找矿中的应用与挑战,分析人工智能和大数据分析在地质领域的发展趋势和应用潜力,提出现阶段面临的问题及解决方案,阐述人工智能与大数据分析在新一轮找矿中的前景,并展望未来的发展方向。通过该文的研究,将有助于加深对新一轮找矿中人工智能和大数据分析的理解,为相关研究和实践提供指导,促进地质勘探行业的创新和发展。

基于模型算法的注塑制品质量预测控制研究进展

介绍了模型算法在注射成型技术中的应用,综述了相关模型算法在注射成型各阶段的预测控制成效,最后提出模型算法在注塑制品质量预测控制中的未来研究方向和相关技术发展趋势。

公交GPS历史轨迹数据挖掘方法研究与应用

通过分析公交数据更新的基本要素和挖掘类型,利用大数据挖掘原理,结合公交GPS历史数据的特点,提出了适用于公交GPS历史数据挖掘和更新的专用方法和算法,并引入机器学习模型提升挖掘算法能力,在此基础上设计了挖掘作业流程,通过结果对比,可得出在数据优化周期内,可作业率由15%提升至50%,线上数据更新频率由周级更新变为天级更新。以上数据挖掘方法和算法有效提高了更新效率,改进了更新准确率,在公交数据更新作业中发挥了重要作用,方便了公交用户出行,并助力绿色出行。

数字时代大数据辅助司法证明的构造及其风险防控

“大数据辅助证明”有助于提升事实认定的科学性与准确性。大数据辅助证明以整体主义为指引,在证据推理环节通过大数据技术高效组织数据,整合经验概括对个案中的推论命题和要件事实等的确定形成类型化指引;在证据评价环节可以辅助证据标准的数据化校验与证明力概率评价的科学化。如果对大数据智能产生非理性崇拜,那么其有可能异化为新的神明裁判方式,侵蚀理性主义传统,导致认知偏差难以得到控制,证明责任的界限模糊化,以及用“客观规律”代替“认识论概率”等问题,而且会增加事实认定在各方面的附随风险。为应对挑战,司法证明的重心应当从“信息规制”迈向“风险防控”,并坚守数据技术的辅助性,诉讼主体的认知交互性和证明的外部可检验性原则。当大数据辅助证明诱发的风险无法通过隔离、警示和对抗等手段预防时,应当合理分配证明过程中的风险。

基于MOPSO算法改进的异常点检测方法

挖掘工业大数据的隐含价值是智能制造的一个重要研究方向,针对工业大数据特点开展异常点检测是实现数据分析的前提。首先,介绍了工业大数据异常点检测解决的主要问题,提出相关定义。其次,基于多目标粒子群算法(MOPSO),提出一种工业大数据异常点检测的改进DBSCAN模型,介绍了模型的算法设计思想、算法步骤,完成了算法伪代码的编写,并提出了算法时间复杂度的计算方法。最后,通过某电芯工厂制造数据,进行了模型仿真与实验,经实验验证,所提模型提高了工业大数据异常点检测的准确率,为数据挖掘在工业异常点检测中的应用提供了参考。

深度学习方法应用于中医药领域的优劣势及展望

深度学习是人工智能在机器学习领域的一大分支,其应用过程不需要做大量特定领域知识的特征提取便可以得到传统方式难以提取到的数据特征,完成复杂的数据分析,相对于传统机器学习更为高效准确。当前深度学习在中医学领域已有初步发展,在辅助中医诊断、构建中医诊断模型、医案数据处理等方面具备显著成果。本文基于深度学习在语音识别、数据图像处理及自然语言理解方面的优势,结合其在中医药研究中的应用现状,对深度学习的发展前景和当下存在问题进行思考讨论,认为在今后深度学习和中医药融合发展的过程中,应注意算法模型的性能水平及数据样本的数量和质量,为深度学习的发展提供规范的中医专业数据库是当前亟需解决的问题。

基于大数据技术的市场细分策略分析

阐述大数据分析在市场细分中的应用,介绍应用范围和优势、市场细分的步骤。提出基于大数据分析的市场细分模型构建,对数据预处理、变量选择和聚类算法进行分析。

时空大数据下城市建筑空间规划寻优仿真

城市建筑空间规划涉及多个冲突的优化目标,如建筑利用率、交通拥堵和绿地覆盖率等。由于目标之间存在相互制约和矛盾,在对其规划时,难以达到较好的收敛速度和精度。因此,提出时空大数据下城市建筑空间规划寻优算法研究。上述方法针对城市建筑空间规划所需费用、空间紧凑度、适宜性以及环境兼容性等要素分别构建目标函数,并将各要素结合获取城市建筑空间规划模型;在时空大数据支持下,利用多目标寻优算法对城市建筑空间规划模型以及相应要素目标函数展开寻优处理,以此获取较为理想的城市建筑空间规划结果。经实验验证,所提算法的收敛速度快、收敛精度高,且利用以上算法获取的城市建筑空间规划结果与理想结果偏差小。

基于通信网络的大数据防诈模型设计和研究

近年来,电信网络诈骗犯罪形势十分严峻,已成为发案最多、上升最快、涉及面最广、人民群众反映最强烈的犯罪类型。基于电信通信网络,通过对公安、工信部通报诈骗号码的大数据挖掘分析,提取相似特征,利用机器学习、大数据、神经网络、遗传算法等开发大数据防诈模型,从数据采集、中间处理、模型生成、用户匹配、用户停机等全流程,及时关停疑似诈骗分子的号码,避免更多人蒙受诈骗,遭受损失。

改进决策树算法的大数据分类优化方法

针对当前海量数据的结构和特征较为复杂,对其分类时很难确保较高的精准度与效率的问题,提出了改进决策树算法的大数据分类优化方法。构建模糊决策函数检测大数据的序列特征,并将其输入决策树模型中挖掘和训练规则;利用灰狼优化算法改进决策树模型,使用改进后模型对大数据简化、粗略分类,再建立分类器准确度目标函数,实现对大数据的精准分类。实验结果表明,所提方法取得分类结果准确度最高、假正例率最低,保证了算法整体具有较高的吞吐量,提高了算法分类效率。

基于大数据与卡尔曼滤波算法的切纸机速度自动化控制方法

造纸技术的提升使人们对于纸张剪切质量的要求越来越高,为提升剪切纸张的品质,切纸机必须保持较高剪切精度,设计一种基于大数据与卡尔曼滤波算法的切纸机速度自动化控制方法。通过局部加权回归散点平滑法对切纸机非线性运行数据实施平滑处理。构建切纸机的非线性系统运动模型,代入处理后的非线性运行数据,完成模型最终搭建。设计切纸机速度观测器,运行步骤为初始化、采样、时间更新、测量更新,通过可编程逻辑控制器实现切纸机的速度自动化控制。测试结果表明,设计方法速度控制中的平均指令延迟时长均低于35ms,稳态控制精度测整体高于99%,操作次数为200次时,切纸机的最大切纸误差仅为0.318mm。

大数据分析的智慧景点智能推荐模型

为了保证游客对推荐景点的满意度,以西安寺院为例,提出了大数据分析下的智慧景点智能推荐模型。采用Petri网景点游客分流模型获取超载景点以及可分流的目标景点集合,得出符合规则的目标分流游客信息集合后,通过协同过滤算法和情景上下文信息的结合,挖掘该信息集合内游客基本属性相似度、外部环境相似度以及综合相似度,依据评分值形成景点推荐集,完成智慧景点智能推荐。测试结果表明:该模型可有效完成游客负载分流,折扣累积利润和排序偏差准确率值均在0.9以上,实现游客数量最大化接纳,提升景点管理水平。

船舶与海洋大数据算法模型资源共享系统

为了解决船舶与海洋大数据算法模型资源共享问题,本文构建船舶与海洋大数据算法模型资源共享系统,系统具备研制、优化、集成船舶行业和海洋领域专用算法模型资源能力,以源代码或二进制库方式对船舶行业和海洋领域专用算法模型资源进行集成,通过RestfulAPI接口方式为外部授权应用系统提供模型算法计算服务。性能测试结果表明,船舶与海洋大数据算法模型资源共享系统具备多用户并发算法模型资源共享服务能力和性能可扩展性。

基于大数据算法分析的混合式教学模式的研究与应用

当前各高校已经在教学中广泛运用了混合式教学模式,并取得了一定的成果,而在新的研究阶段,探索如何更好地利用信息技术已经成为了提升混合式教学模式质量的关键和热点。基于此,探究当前混合式教学模式的现状,并且介绍当前主流的大数据算法,开发研究出一种基于大数据算法分析的混合式教学新模式,以期有助于激发学生的学习热情、提高学生自主学习能力,科学合理地评价学生的学习效果,同时提高教师在教学中的监管和干预能力,对混合式教学效果能够产生非常好的正向促进作用。

基于大数据算法技术的课堂教学管理模式研究——以无锡科技职业学院为例

大数据算法技术为高职院校传统教学管理模式带来了一系列的革新,“智慧课堂”改变了过往教学管理中的内容管理、活动管理、时间管理、行为管理和评价管理模式。大数据算法技术基于文本数据库、语音数据库、情态数据库和行为数据库,可以为教学、学习、管理“三位一体”教学管理模式提供良好的支撑。以无锡科技职业学院为研究对象,基于在校学生课程教学数据与毕业生职业发展数据采集,采用问卷调查与访谈的方式挖掘传统课堂教学管理中存在的问题,进而梳理出当前高职院校传统课堂教学管理的优势与存在的问题,对部分数据采用蒙特卡罗法以揭示对应课程教学成效的特征。最终,基于梳理结果来完成大数据算法技术支持下的课堂教学管理模式的构建及管理策略分析。

区块链框架下基于优化决策树模型的大数据分类算法研究

近年来,虽然我国大数据技术的发展水平有所提升,但是分类算法存在分类准确性问题和计算能力问题,而在区块链框架体系下,以优化决策树模型为基础的大数据分类算法,具有数据加密的特点,能够形成分布类型的决策树模型,精准进行数据的分类处理,优化决策树算法,有效解决传统大数据分类算法的问题。基于此,分析区块链框架下基于优化决策树模型的大数据分类算法应用意义,提出几点算法技术的应用措施,旨在为增强技术发展水平而提供帮助。

基于融合深度学习的物联网传感器应用雾大数据分析

物联网传感器的应用数量急剧增长,产生了大量数据,需要非常有效的数据分析程序。然而,不同的物联网基础设施和物联网传感器设备在发送和接收消息方面存在协议限制,给智能物联网传感器应用的开发带来了障碍,使得现有物联网传感器无法适应其他物联网传感器应用。文中研究和分析了物联网传感器如何为大数据分析生成数据,并强调了智能解决方案的现有挑战。物联网传感器应用需要在雾计算环境中进行大数据分类和分析。提出的雾大数据分析模型和基于反向传播神经网络分析模型相结合的融合模型为潜在的机器通信实践带来了新的挑战。将提出的模型应用于智能城市数据集,取得了较好结果,并在不同的物联网应用环境中比较了不同的深度学习和机器学习算法的性能。

基于大数据理论的数据分析模型在新疆中小型水库安全监测平台中的应用

目前新疆中小型水库安全监测云服务平台已搭建完毕,各地区监测数据汇聚到云平台,逐渐积累了大量安全监测数据,具备了大数据的基本特征。随着物联网、人工智能和机器学习算法等技术的高速发展,智慧水库逐渐成为当下的发展目标。笔者主要介绍基于大数据理论的数据分析模型在新疆中小型水库安全监测平台中的应用,实例结果表明依据大数据理论的数据分析模型应用效果良好,验证了大数据理论在安全监测中的可用性及大数据分析模型的可靠性,为中小型水库安全监测数据分析提供参考。