Adaptive Cache Allocation with Prefetching Policy over End-to-End Data Processing

With the speed gap between storage system access and processor computing, end-to-end data processing has become a bottleneck to improve the total performance of computer systems over the Internet. Based on the analysis of data processing behavior, an adaptive cache organization scheme is proposed with fast address calculation. This scheme can make full use of the characteristics of stack space data access, adopt fast address calculation strategy, and reduce the hit time of stack access. Adaptively, the stack cache can be turned off from beginning to end, when a stack overflow occurs to avoid the effect of stack switching on processor performance. Also, through the instruction cache and the failure behavior for the data cache, a prefetching policy is developed, which is combined with the data capture of the failover queue state. Finally, the proposed method can maintain the order of instruction and data access, which facilitates the extraction of prefetching in the end-to-end data processing.

A Review of the Status and Development Strategies of Computer Science and Technology Under the Background of Big Data

This article discusses the current status and development strategies of computer science and technology in the context of big data.Firstly,it explains the relationship between big data and computer science and technology,focusing on analyzing the current application status of computer science and technology in big data,including data storage,data processing,and data analysis.Then,it proposes development strategies for big data processing.Computer science and technology play a vital role in big data processing by providing strong technical support.

Design of high-speed signal acquisition system and analysis of signal integrity

The device is used for the test on the fuze detonating time according to the initial velocity of the projectile and the altitude and speed of enemy aircraft flight. For the special requirements of the high-speed signal acquisition in the process, the characteristics of the measured signal are analyzed. The system is investigated in chip selection, signal transmission, signal processing, signal storage, post-production PCB design, etc. The appropriate measures and solutions which affect the integrity and accuracy of the signal in each process are proposed. The rules for the layout of the device and wiring are made. The result show that the measurement values are accurate without loss of data.

A fault prediction method for catenary of high-speed rails based on meteorological conditions

Fault frequency of catenary is related to meteo-rological conditions. In this work, based on the historical data, catenary fault frequency and weather-related fault rate are introduced to analyse the correlation between catenary faults and meteorological conditions, and further the effect of meteorological conditions on catenary oper-ation. Moreover, machine learning is used for catenary fault prediction. As with the single decision tree, only a small number of training samples can be classified cor-rectly by each weak classifier, the AdaBoost algorithm is adopted to adjust the weights of misclassified samples and weak classifiers, and train multiple weak classifiers. Finally, the weak classifiers are combined to construct a strong classifier, with which the final prediction result is obtained. In order to validate the prediction method, an example is provided based on the historical data from a railway bureau of China. The result shows that the mapping relation between meteorological conditions and catenary faults can be established accurately by AdaBoost algorithm. The AdaBoost algorithm can accurately predict a catenary fault if the meteorological conditions are provided.

指控中心任务软件集中管控系统研究与关键技术

随着武器航天试验任务的增多,指控中心对任务软件快速部署、多任务并行的需求愈发迫切。设计了基于B/S架构的指控中心任务软件集中管控系统,实现了任务软件配置与监控的一体化管理;通过基于DBus与Kafka结合的数据传输机制,打通了任务软件与系统前后端数据高效交互链路;最后,重点分析了任务软件自动化部署技术、多任务并行技术、高速数据分级处理技术以及任务数据高效存储技术。

期刊论文结构化数据加工存储标准的研究与探索

期刊论文结构化加工在期刊界已经逐步形成共识,国内期刊平台多采用新版期刊文章标签集(Journal Article Tag Suite,JATS)标准进行加工,但JATS标准仅对数据属性提出建议值,自行拓展空间较大,导致实际的数据加工结果千差万别,数据交换困难重重。本文分析了国内外数字化加工和标准进化的历程及我国在XML结构化数据加工中存在的问题,进一步分析了存档及交换标签集、出版标签集等不同子集的特点,提出既能完整保留论文原始信息,又便于提取各类结构化信息的数据加工及存储解决方案,可以根据需要通过减法转换生成符合各平台标准的数据加工存储格式,从而真正实现一次加工、多渠道投放和传播。

基于USB 3.0的NAND FLASH数据存储设计

由于目前采用的串口和USB 2.0检测坏块、实现数据读取的方法存在数据读取慢以及数据稳定性低的问题,而在高速大容量存储装置设计中,存储器通常采用NAND FLASH,故提出一种基于USB 3.0总线的NAND FLASH数据存储设计。采用FPGA作为逻辑主控单元,选用USB 3.0芯片CYUSB3014作为FPGA与上位机的通信桥梁,并在FPGA软件上设计ECC数据校验纠错以及NAND FLASH的坏块管理。用户可通过上位机实现数据读取、擦除以及分析。实验结果表明,所设计系统可通过USB 3.0接口将NAND FLASH中存储的数据传输到上位机,传输速度实际可达39 MB/s。

多源异构数据统一存储共享管理系统

大数据环境下,基于多源异构的专业数据,针对数据存储与共享管理业务,对多源异构数据统一存储共享系统及其功能组成进行了梳理,设计了一种面向文本、图片、专业领域数据等多源异构数据的跨模态统一存储与共享访问系统架构。采用分布式异构数据存储技术、数据模型管理技术,集数据获取、数据准备、可视化分析、数据共享与访问管理于一体,实现多源异构数据的统一存储与共享,并对系统的存储与访问性能进行评估分析,具备较高的稳定性和可靠性。验证了系统的实用性,从而达到了更好地为业务应用赋能,强力支撑各类应用开发的目的,具有广泛的适用性。

基于随机森林的电网GIS数据分布式存储方法

内部电网地理信息系统(Geographic Information Systern,GIS)数据体量增加,对电网数据存储性能造成了极大的困难,为此,提出一种基于随机森林的电网GIS数据分布式存储方法。以跨域资源共享(Cross-Origin Resource Sharing,CORS)技术在电网GIS空间信息服务平台中获取的电网GIS数据为基础,根据类区分度数值选择电网GIS数据特征,引入随机森林算法分类处理电网GIS数据,将其合理分发给不同的服务器,采用并行处理手段存储分类数据,从而实现了电网GIS数据的分布式存储。实验数据显示:应用所提方法后,电网GIS数据分类精度达到了96.8%,电网GIS数据分布式存储时间最小值为5.2 s,充分证实了所提方法数据存储性能更佳。

一种人工智能无线射孔器的交互控制系统设计

作为信息传输和信息处理的平台,交互控制系统扮演着十分重要的角色,广泛应用于自动化控制等相关领域。现如今的油气开发仍旧通过人工进行射孔器的深度判别和射孔控制,存在深度判断有误、效率低等问题。嵌入式人工智能的兴起,为射孔技术的发展提供新的方向,同时也对数据的处理、传输、存储等提出新的要求。针对这些问题,基于STM32嵌入式平台和PyQt5设计开发一套应用于人工智能无线射孔器的交互控制系统,以高效的状态机控制决策实现人工智能无线射孔器的功能控制和调试,上位机通过921600波特率实现与嵌入式平台的数据通信,同时实现板载Flash闪存的读写控制,以及接箍信号识别标记,经试验结果论证,该交互控制系统满足设计要求。

云环境下大数据计算机处理技术应用研究

云环境中,通过大数据可以实现冗余信息的处理与分析,通过数据挖掘等技术手段的支持可以实现信息资源的优化与处理。为了充分满足云环境中数据处理的需求,通过现代技术手段综合分析,可以切实保障信息数据的安全性。大数据时代,计算机技术高度发展,可以实现多种信息数据与资源的整合,对于国家、企业以及人们的信息安全具有重要的影响。在云环境中,为了实现信息数据处理的安全性、高效性,要基于实际状况对信息数据的采集、存储以及安全管理等方面进行综合分析。

基于大数据技术的非关系型数据库分布式存储方法研究

在当今信息时代,数据的复杂性不断增加,传统的关系型数据库在大规模数据存储和处理方面面临着挑战。非关系型数据库(Not Only SQL,NoSQL)作为一种新的存储和处理数据的方法,受到了广泛关注,并在分布式存储领域取得了显著的成就。文章重点探讨基于大数据技术的非关系型数据库分布式存储方法,并通过实验进行评估,发现其在可扩展性和安全性方面具有优势,可以为相关研究提供参考。

基于大数据技术的气象数据存储与处理系统设计研究

随着气象观测技术的进步和观测站点的密集化,气象数据的体量正在以前所未有的速度增长,这些庞大的数据集对存储与处理提出了新的挑战。文章围绕基于大数据技术的气象数据存储与处理系统的设计进行研究,旨在提出一种高效、可扩展且稳定的系统设计方案。首先,分析了气象数据的特点及其对存储与处理系统的要求;其次,探讨了现有大数据技术在大数据处理方面的应用;最后,研究并设计了一个适用于气象数据的存储与处理系统,对系统的架构、关键技术及实施方案进行了详细阐述。

基于过程管理的输变电工程造价管控系统设计

以实现输变电工程造价全过程管控为目的,设计基于过程管理的输变电工程造价管控系统。将输变电工程相关数据导入到数据存储器中,数据由Web应用服务传输到过程管控模块中,利用工程造价模块对输变电工程实施分阶段结算计划制定、工程量分析与对比,采用工程造价估算优化模型实现全过程输变电工程造价管控。结果表明:该系统可靠性高,可移植性好,可有效呈现输变电工程项目结构和造价,具备较好输变电工程造价管控效果。

基于大数据的电子信息存储与处理方案比较分析

阐述并比较大数据环境下的电子信息存储与处理方案,包括传统关系型数据库、NoSQL数据库和分布式文件系统。通过评估性能、扩展性、容错性和成本,提供最佳的方案选择建议。

云计算技术在计算机大数据分析中的应用

文中针对大规模数据处理和分析中的高成本和计算复杂性问题,探讨了云计算技术的应用策略。首先,介绍了云计算的核心架构及其在大数据存储与管理中的优势,如分布式存储和弹性伸缩能力。其次,分析了云计算在大数据处理和计算中的作用,特别是对数据处理的高性能计算需求和复杂的分析任务。最后,探讨了云计算环境中大数据分析工具和技术的集成以及如何通过这些集成的工具实现更高效和成本效益更高的数据分析。在处理大规模数据分析中应用云计算技术,能显著降低成本,提高数据处理速度和分析效率,为企业和研究机构提供强大的数据处理和分析能力。

企业集团的中央数据系统设计与实现

阐述数据平台建设的关键技术和特征,包括数据质量管理、数据存储与处理、数据安全和隐私保护。从实践出发,对集团级中央数据平台建设的策略和实施进行系统性探讨和总结。

基于云计算的大数据处理与存储系统的设计与实现

随着大数据时代的到来,高效处理和存储海量数据成为云计算领域的重要挑战。针对数据处理效率较低和存储成本较高的问题,文中提出了一种基于云计算的大数据处理与存储系统。该系统由3个核心模块构成,分别是数据收集模块、数据处理模块和数据存储模块。通过集成数据管道优化、分布式计算和先进的存储技术,该系统显著提高了数据处理速度,降低了存储成本,并增强了数据的安全性和可访问性。实验结果表明,相较于传统方法,该系统在处理大规模数据集时,不仅将处理速度提高了约40%,存储效率也提高了约30%,为大数据时代下的高效数据处理和存储提供了一种创新且实用的解决方案。

大规模物联网数据的实时处理与存储

详细探讨大规模物联网数据的实时处理与存储技术及其在智能城市交通管理等应用中的重要性。针对物联网数据的多样性、高并发、时变性以及异构性等特点,介绍流式处理、复杂事件处理(Complex Event Processing,CEP)、时序数据库以及分布式文件系统等主流技术,并结合智能交通管理案例,阐述这些技术在实时监测、交通调控、事件预警和长期趋势分析等方面的应用效果,为构建高效、实时的物联网数据处理与存储系统提供了理论支持和实践指导。

云计算金融主要应用与发展现状

随着信息技术的快速发展,云计算作为一种新兴的计算模式,正在改变金融行业的应用方式和服务模式。本文探讨了云计算在金融数据处理与存储、金融交易与风险管理中的应用,分析了云计算金融应用的现状及国内外云计算金融应用案例,并对其未来的发展趋势和前景进行了展望。