Big Data with Cloud Computing:Discussions and Challenges

With the recent advancements in computer technologies,the amount of data available is increasing day by day.However,excessive amounts of data create great challenges for users.Meanwhile,cloud computing services provide a powerful environment to store large volumes of data.They eliminate various requirements,such as dedicated space and maintenance of expensive computer hardware and software.Handling big data is a time-consuming task that requires large computational clusters to ensure successful data storage and processing.In this work,the definition,classification,and characteristics of big data are discussed,along with various cloud services,such as Microsoft Azure,Google Cloud,Amazon Web Services,International Business Machine cloud,Hortonworks,and MapR.A comparative analysis of various cloud-based big data frameworks is also performed.Various research challenges are defined in terms of distributed database storage,data security,heterogeneity,and data visualization.

Big Data; Definition and Challenges

In recent years, due to the widespread use of electronic services and the use of social network as well, large volumes of information are being made that this information contains various types of things such as videos, photos, texts etc. besides large volume. Due to the high volume and the lack of specificity of this information, covering them through traditional and relational databases is not possible and modem solutions should be used for processing them, so that processing speed is also covered. Data storage for processing and the way of accessing to them in memory, network communication, covering required features for distributed system in solutions that are in use for storing big data, are the items that should be covered. In this paper, a collection of advantages and challenges of big data, special features and characteristics of them has been provided and with the introduction of technologies in use, storage methods are studied and research opportunities to continue the way will be introduced.

Components and Development in Big Data System: A Survey

With the growth of distributed computing systems, the modern Big Data analysis platform products often have diversified characteristics. It is hard for users to make decisions when they are in early contact with Big Data platforms. In this paper, we discussed the design principles and research directions of modern Big Data platforms by presenting research in modern Big Data products. We provided a detailed review and comparison of several state-ofthe-art frameworks and concluded into a typical structure with five horizontal and one vertical. According to this structure, this paper presents the components and modern optimization technologies developed for Big Data, which helps to choose the most suitable components and architecture from various Big Data technologies based on requirements.

Cloud-based storage and computing for remote sensing big data:a technical review

The rapid growth of remote sensing big data(RSBD)has attracted considerable attention from both academia and industry.Despite the progress of computer technologies,conventional computing implementations have become technically inefficient for processing RSBD.Cloud computing is effective in activating and mining large-scale heterogeneous data and has been widely applied to RSBD over the past years.This study performs a technical review of cloud-based RSBD storage and computing from an interdisciplinary viewpoint of remote sensing and computer science.First,we elaborate on four critical technical challenges resulting from the scale expansion of RSBD applications,i.e.raster storage,metadata management,data homogeneity,and computing paradigms.Second,we introduce state-of-the-art cloud-based data management technologies for RSBD storage.The unit for manipulating remote sensing data has evolved due to the scale expansion and use of novel technologies,which we name the RSBD data model.Four data models are suggested,i.e.scenes,ARD,data cubes,and composite layers.Third,we summarize recent research on the application of various cloud-based parallel computing technologies to RSBD computing implementations.Finally,we categorize the architectures of mainstream RSBD platforms.This research provides a comprehensive review of the fundamental issues of RSBD for computing experts and remote sensing researchers.

MobSafe:Cloud Computing Based Forensic Analysis for Massive Mobile Applications Using Data Mining

With the explosive increase in mobile apps, more and more threats migrate from traditional PC client to mobile device. Compared with traditional Win＋Intel alliance in PC, Android＋ARM alliance dominates in Mobile Internet, the apps replace the PC client software as the major target of malicious usage. In this paper, to improve the security status of current mobile apps, we propose a methodology to evaluate mobile apps based on cloud computing platform and data mining. We also present a prototype system named MobSafe to identify the mobile app＇s virulence or benignancy. Compared with traditional method, such as permission pattern based method, MobSafe combines the dynamic and static analysis methods to comprehensively evaluate an Android app. In the implementation, we adopt Android Security Evaluation Framework （ASEF） and Static Android Analysis Framework （SAAF）, the two representative dynamic and static analysis methods, to evaluate the Android apps and estimate the total time needed to evaluate all the apps stored in one mobile app market. Based on the real trace from a commercial mobile app market called AppChina, we can collect the statistics of the number of active Android apps, the average number apps installed in one Android device, and the expanding ratio of mobile apps. As mobile app market serves as the main line of defence against mobile malwares, our evaluation results show that it is practical to use cloud computing platform and data mining to verify all stored apps routinely to filter out malware apps from mobile app markets. As the future work, MobSafe can extensively use machine learning to conduct automotive forensic analysis of mobile apps based on the generated multifaceted data in this stage.

数字经济背景下“新零售”驱动产品全渠道供应链整合优化

随着数字经济的高速发展,“新零售”模式应运而生,成为零售业一大变革。“新零售”整合线上线下多渠道资源,推动了商品供应链管理的革命。通过探讨在数字经济背景下,如何通过“新零售”模式驱动产品全渠道供应链整合优化,进而提高供应链管理的效能和响应速度。研究发现:利用大数据预测分析及其算法在精准需求预测上具有显著效果,能够有效降低库存成本,提高存货周转率;而云计算在供应链节点的信息集成处理方面显示出较强的数据处理能力和资源优化配置功能。研究结论指出:全面推进供应链的数字化变革是实现供应链体系在“新零售”发展下整合与优化的关键。

基于大数据分析的计算机网页设计系统研究

针对当前计算机网页设计中缺乏对用户行为的深入分析和个性化设计反馈的问题,文中提出了一种基于大数据分析的计算机网页设计系统。该系统旨在通过综合利用用户交互数据,提高网页设计的个性化程度和用户体验质量。通过引入大数据分析,该系统能从大量的用户交互数据中提取关键信息,为设计师提供数据支持。实验结果显示,该系统有效提高了网页设计的用户交互质量和满意度,证明了大数据分析在计算机网页设计中的应用价值。其为网页设计领域提供了一种新的工作模式,有助于设计师更好地理解用户需求,创造出更具吸引力和有效性的网页设计方案。

云计算技术在计算机大数据分析中的应用研究

本研究针对云计算技术在计算机大数据分析中的应用进行了深入探讨。通过理论分析和实验验证相结合的方式,研究了云计算技术对大数据分析处理效率、成本及可扩展性的影响。实验结果表明,云计算技术能够显著提升大数据处理的速度和效率,同时降低运算成本,为大数据分析提供了强大的技术支持。

云计算技术在计算机大数据分析中的运用

互联网和信息技术的快速发展,大量的数据被产生和积累,这些数据往往具有高维、高速和多样的特点,传统的数据处理技术已无法有效处理和分析这些海量数据,因此大数据分析技术应运而生。基于云计算技术的弹性计算能力、高效的储存和数据管理功能、实现分布式计算和并行处理,提出云计算技术在计算机大数据分析中的具体应用,分别是构建高效的数据处理模型、创建计算机网络分析模块、打造易于读取的数据储存平台、实现安全扫描和链路加密,进而保证大数据的收集、处理和分析都能更高效。

云计算的大数据分析技术在智能电网中的应用

探究了云计算的大数据分析技术在智能电网中的应用。通过分析智能电网所产生的数据量,介绍了云计算在数据存储、处理方面的优势。结合智能电网的需求,讨论了云计算大数据分析技术在智能电网运行优化、故障预测与管理、能源调度等方面的应用。最后,展望了云计算大数据分析技术在智能电网未来发展中的潜力。

数字化技术在结构健康监测中的应用与探索

随着基础设施建设步伐的加快,工程结构的安全性和可靠性愈发受到重视。结构健康监测作为土木工程领域的关键技术,通过数字化技术实现了自动化、实时化和智能化的监测,显著提升了监测效率和准确性。论文综述了结构健康监测的基本概念、关键技术及其应用领域。BIMBase 等数字化平台整合了传感器数据与分析结果,为工程安全提供了有力的数据支撑。物联网技术则实现了实时连续监测,降低了人力成本。然而,结构健康监测仍面临数据复杂性和实时性处理的挑战。大数据分析与智能诊断技术成为研究热点,为结构性能评估和故障诊断提供了新途径。未来,人工智能和区块链技术的融合将为结构健康监测带来革命性变革,推动土木工程领域向更安全、更高效的方向发展。

核电站数字化升级与转型研究

云计算、大数据分析、物联网(IoT)、人工智能(AI)、机器学习(ML)和数字孪生等技术的兴起和快速发展,为核电站等重要基础设施的数字化转型提供了强大的技术支持和广阔的应用前景。本文旨在探讨核电站数字化现状、数字化升级与转型的关键技术及关键问题,为迎接数字化转型浪潮提供参考。

数据挖掘技术在社交媒体大数据分析中的应用及挑战

社交平台的普及使得海量用户数据持续积淀于数据库,为广大研究者呈现了一批宝贵且稀缺的知识资源。数据挖掘技术被认为是高效的应用方法,社交媒体大数据分析在诸多领域中具有重要应用价值。文中主要探讨了数据挖掘在处理社交媒体大数据中遇到的机遇与挑战,详述了社交媒体大数据的特性,及数据挖掘在此领域的基础运作原理。经过对数据挖掘技术在社交媒体大数据分析领域的深入研究,归纳出了涉及用户行为分析、情感解读、社交网络探究等的关键应用。

大数据时代下的数据处理与分析技术研究

本文介绍了大数据处理与分析技术的体系及其核心组成部分,重点介绍了基于人工智能的大数据处理技术和云计算平台下的大数据处理技术,阐述了其技术优势以及应用场景。本研究通过案例展示了A电商企业在云计算平台支持下构建的大数据处理与分析平台的应用,体现了云计算平台在大数据分析中的价值和应用前景。

基于大数据分析的能源行业电商平台用户行为预测模型研究

近年来,大数据技术飞速发展,在各领域的应用范围持续扩大。基于此背景,为了提高电商平台的运营效率,增强用户体验,在竞争激烈的市场中取得竞争优势,文章研究并开发一种基于大数据分析的能源行业电商平台用户行为预测模型。文章明确大规模电商平台用户行为数据的采集思路,通过数据预处理、特征工程和机器学习建模,构建强大的用户行为预测模型。在此基础上,文章利用真实电商平台数据对模型进行验证。结果显示,所提模型在用户行为预测方面表现出色,具有较高的准确率和召回率。

大数据背景下高校图书馆参考咨询服务创新研究

大数据时代的到来为高校图书馆带来了信息资源管理模式的转变、用户行为分析的深化,以及服务流程的优化等新的需求和挑战。传统的图书馆服务模式在面对大数据时显现出一系列局限性,这促使图书馆必须寻求创新的服务模式以适应新时代的需求。该文通过阐述大数据的核心定义和特征,探讨其在当代社会的广泛应用及其对高校图书馆参考咨询服务的深远影响。研究发现,通过利用大数据进行资源优化、提供个性化的用户服务,以及对服务流程进行优化和创新,可以显著提升图书馆服务的质量和效率。这些创新措施不仅有助于高校图书馆更好地满足用户的需求,也为图书馆学和信息管理学科的未来发展提供了新的视角和启示,为高校图书馆在大数据时代下的服务创新提供理论支持和实践指导,推动图书馆服务在数字化、信息化背景下的持续发展和进步。

云计算技术在计算机大数据分析中的应用

在信息技术创新发展的同时,计算机存储数据呈现出了种类多、标准化、体量庞大化的发展趋势。为了保障计算机大数据分析工作的优质且高效开展,阐述了计算机大数据分析中常用的云计算技术,并立足数据处理系统构建、计算机网络分析平台创建、数据存储应用平台打造、数据安全传送链路构建4个方面,探讨了云计算技术在计算机大数据分析中的应用,旨在发挥云计算技术优势,提高计算机大数据处理的质量和效率,保障数据存储和利用的安全。

基于大数据分析的城市轨道列车运行速度自动化控制系统设计

为提升城市轨道列车的运行效率,该文设计基于大数据分析的城市轨道列车运行速度自动化控制系统。利用云计算框架搭建自动化控制系统,采集列车的速度、位置信息后传送至控制层,控制层的智能控制部分利用K-means聚类算法对城市轨道列车运行数据聚类处理,构建列车运行速度自动化控制优化模型,识别列车运行状态,计算列车的最佳速度曲线。利用灰色速度控制器,控制列车的执行机构输出理想速度。系统测试结果表明,采用该系统自动化控制列车运行速度,列车的停车时间误差低于10 s,停车距离误差低于15 cm,满足列车高效率运行需求。

基于云计算的食品大数据分析平台设计与实现

通过全面、深入的数据分析,发现基于云计算的食品大数据分析平台的设计有助于加强食品安全监管、优化生产流程、分析市场需求等。平台依托云计算的弹性资源和大数据技术,可实现多源异构数据的实时采集、高效存储、深入分析及可视化展示,为食品行业提供全方位的数据支持。本研究旨在通过全面、深入的数据分析,提升食品行业的整体运营效率和竞争力。

基于大数据分析技术的关口表计量故障识别方法研究

为了提高电力系统中关口表计量装置的检测效果,及时发现运行过程中出现的异常情况和故障,基于大数据框架设计出关口表故障识别系统,并结合云计算技术完成计算资源的虚拟化和网络资源的整合。在关口表检测装置中,主控模块使用STM32F103RBT6芯片,根据零序电压与中性点零序补偿电压判断是否出现故障。在系统的故障识别模型中结合变分模态分解和小波半软阈值分解的方法,对关口表初始故障特征信号进行处理分离噪声信号,通过长短期记忆神经网络完成故障识别。实验结果显示,该研究系统的二次压降计量误差最低为0,故障识别准确率最大为0.98,具有较好的故障检测精度,大大提升了故障识别的效率。