基于大数据随机样本划分的分布式观测点分类器

观测点分类器(OPC)是一种试图通过将多维样本空间线性不可分问题转换成一维距离空间线性可分问题的有监督学习模型,对高维数据的分类问题尤为有效。针对OPC在处理大数据分类问题时表现的较高训练复杂度,在Spark框架下设计一款基于大数据的随机样本划分(RSP)的分布式OPC(DOPC)。首先,在分布式计算环境下生成大数据的RSP数据块,并将它转换为弹性分布式数据集(RDD);其次,在RSP数据块上协同式地训练一组OPC,由于每个RSP数据块上的OPC独立训练,因此有高效的Spark可实现性;最后,在Spark框架下将在RSP数据块上协同训练的OPC集成为DOPC,对新样本进行类标签预测。在8个大数据集上,对Spark集群环境下实现的DOPC的可行性、合理性和有效性进行实验验证,实验结果显示,DOPC能够以更低的计算消耗获得比单机OPC更高的测试精度,同时相较于Spark框架下实现的基于RSP模型的神经网络(NN)、决策树(DT)、朴素贝叶斯(NB)和K最近邻(KNN),DOPC分类器具有更强的泛化性能。测试结果表明,DOPC是一种高效低耗的处理大数据分类问题的有监督学习算法。

企业生产安全事故应急救援预案编制技术的研究

企业编制生产安全事故应急救援预案是企业建立生产安全事故应急管理体系的基础工作,对于企业提高生产安全事故应急救援能力,降低企业生产安全事故损失具有重大意义。笔者在对广州发展油品经营有限公司南沙油库事故应急救援预案编制技术的研究基础上,进一步阐述了企业生产安全事故应急管理体系结构,指出了企业生产安全事故应急救援预案编制的总体思路,并从企业生产安全事故应急救援预案编制的技术层面,论述了企业生产安全事故应急救援预案的体系框架及文件要素,指出企业生产安全事故应急救援预案的体系框架可以由总预案和程序文件体系两大部分组成,文件要素可以由2个一级要素、18个二级要素和2 8个三级要素组成。笔者论述的企业生产安全事故应急救援预案编制技术已经在广东省数百家企业得到宣传应用,取得了良好的社会效益。

基于云存储的教学资源共享平台的设计与实现

为解决传统平台资源存储的瓶颈和提升用户在海量信息中检索所需教学资源的速度,对云平台中教学资源的存储结构、融合Hbase和My SQL两类数据库优势的混合式数据库系统以及基于J2EE中主流SSH2框架的WEB系统进行设计,使用Hadoop的分布式文件系统来存储教学资源,实现了一个基于Hadoop的云教学资源平台。

基于MVC的文件备份后台管理系统的设计与实现

为了提高文件备份系统的效率,并为文件备份系统的远程备份中心提供全面的管理功能,提出了基于MVC(model-view-controller)设计模式的文件备份后台管理系统。介绍了文件备份系统的架构,研究了MVC的设计思想以及Joomla框架的原理,在此基础上,将基于MVC设计模式的Joomla框架引入到文件备份后台管理系统的开发中,并基于LAMP平台设计与实现了文件备份后台管理系统,确保了系统的高效,结构清晰以及良好的可扩展性、可维护性与可重用性。

农业海量信息资源管理平台设计与实现

随着农业信息化的深入,如何描述、存储、管理和处理海量分布信息资源成为农业应用的首要问题。提出基于XML/XML Schema的统一农业信息资源描述框架,将XML描述与元数据约束相结合,采用层次化管理结构实现元数据与资源信息的组织;在HDFS(Hadoop Distributed File System)云存储架构适应性改进基础之上,设计实现了农业海量信息资源管理平台,实现了海量、分布、异构资源的分类组织、存储和访问服务。平台覆盖了全国6个省市资源节点,实现了3.2 TB农业资源存储管理,与传统资源检索方法相比,平台资源检索时间缩短73%;同时,用户在同一检索条件下能更多地获得相关资源,不仅查准率平均提高5%,而且资源利用率平均提高17.7%。平台在海量资源检索和利用效率方面获得提升。

基于Hadoop架构的国产化分布式集群平台

面对军事信息系统在大数据时代的海量数据分析及数据安全需求,传统的集中式处理平台已无法满足数据增长对存储和计算能力的要求,分布式处理平台应运而生。鉴于国产化软硬件在军事信息系统中的重要地位,大数据与国产化平台相结合成为军事信息系统发展的必然趋势。介绍了Hadoop架构的主要组成,分析了分布式计算框架和Hadoop分布式文件系统(HDFS)的实现机制,梳理了国产化软硬件发展状况,探讨了国产化分布式集群平台迁移技术,以期对大数据和国产化软硬件结合应用提供借鉴。

Spark下遥感大数据特征提取的加速策略

提出一种基于Spark分布式内存计算框架的遥感大数据特征提取策略。采用Landsat8为数据源,以计算归一化植被指数(NDVI)、差值植被指数(DVI)、比值植被指数(RVI)为例开展实验。实验结果表明,在相同硬件环境、处理任务、数据量的条件下,Spark处理遥感大数据的速度较单机模式下的处理遥感大数据提升了约2倍,基于Hadoop分布式文件系统(HDFS)处理模式较Spark-standalone处理模式处理速度提升了约1.2倍,基于Spark下的HDFS存储模式下,栅格切分遥感大数据较非栅格切分处理速度提高了约1.5倍。

解析FAT文件系统对长文件名的支持

详细介绍了了FAT文件系统对8.3格式文件名和长文件名之间的结构差异。并通过对各类磁盘上FAT16和FAT32文件系统数据结构的分析,着重讨论了这两个文件系统在使用长文件名存在的问题和需要注意的技术要点。

FAT32与FAT16文件系统的结构差异

详细介绍了FAT32和FAT16在数据组织结构上的差异,并着重讨论了这两个文件系统在不同数据组织结构上的功能区别和技术要点。

基于XML的公路养护管理系统通用设计技术

为满足不同公路养护单位的管理需求并适应需求的变化,提出基于XML文件的公路养护管理系统通用化生成技术。该技术在SSH框架基础上,将生成系统的文件分为两层:静态信息层与参数层。静态信息层用于保存生成系统所需的各种数据,包括基础数据与标识符。参数层用于存储用户的参数信息,包括界面元素类型和数据实体信息等参数。根据实际需求在参数层配置界面元素类型和数据实体信息等参数,结合静态信息层的基础数据,生成通用公路养护管理系统。应用实例表明,通过XML文件生成系统既能够实现用户界面的自动配置,又可以配置相关的数据库操作。因此,增强了公路养护管理系统的通用性。

基于.NET框架的Windows日志文件操作方法

介绍了日志在维护网络安全方面有着重要作用,分析了Windows系统下各种日志文件的功能和特点,并在此基础上介绍了基于.NET框架操纵Windows日志文件的方法。

智能卡多应用操作系统的发展趋势及研究

通过对智能卡多应用操作系统及其发展历史的分析,结合当前的技术进步与市场需求,对智能卡多应用操作系统的发展趋势进行了研究。在多应用管理模式、文件系统、通用安全机制和应用开发框架等多个方面进行了前瞻性的探讨,并提出了相应的解决方案。该研究成果已在实验室环境下得到验证,具有可借鉴性。

云计算平台API兼容问题分析和解决方案

对云计算应用中常用的No SQL数据库和云文件系统API兼容问题进行了分析,设计了JPA技术框架和云文件系统统一访问框架来解决云计算平台API兼容问题。以HBase+HDFS私有云计算平台、Simple DB+Amazon S3公共云计算平台为例,实现了医疗领域云计算系统应用,并在不同云平台之间实现了系统迁移。研究结果表明,该技术方案较好地解决了云计算平台API的兼容问题,提高了云计算应用系统开发效率和运行效率。

用三重DES加密.NET数据库连接字符串

南航网上售票系统基于微软的.NET技术,数据库连接信息存放在Web.config配置文件中。通过使用3DES算法对数据库连接字符串进行加密,增强系统的安全性。首先分析.NETFramework提供的密码类,然后设计了具体的3DES的应用类。管理员设置数据库连接信息,并用3DES加密后,放置于Web.config配置文件中。应用程序从Web.config中取出连接字符串,解密后,用其创建ADO.NET数据库连接。

基于健康档案的医患互助信息系统建设研究

目的:设计一种以健康档案为基础、以医生和患者为使用主体,提供家庭、乡村、社区远程网上医学咨询和医疗会诊,运用互联网和移动梦网进行医疗综合服务与管理的信息系统。方法:建立一个能够容纳管理个人健康档案的可扩充的、开放的、可持续发展的构架,项目的技术模型采用国际上最先进的CDA医学文档模型进行设计。结果:医患互助信息系统的广泛应用转变百姓就医观念,养成网上就医习惯,使百姓在就医前就能全面了解医疗机构医学专家诊治水平、医疗设备技术水平、医疗护理服务综合能力。结论:该系统研究能够缓解百姓看病难,看病贵,医疗资源分配不均,资源共享困难等问题。

Solaris10虚拟文件系统分析

介绍了Solaris 10操作系统的文件系统框架,对实现多文件系统共存机制、文件系统注册和安装过程进行分析,并介绍"路径管理"这个Solaris系统中重要的概念。Solaris 10采用虚拟文件系统机制,允许多种文件系统共存,具体文件系统的实现细节被虚拟文件系统层隐藏,用户可以使用一套统一的接口访问不同的文件系统。

影像数据分布并行计算处理平台体系架构研究

遥感影像数据并行处理系统大多依赖于国外商用产品,而国内自主化并行计算处理系统的任务流程化支撑能力以及并行计算性能难以适应规模化生产。为此,基于Hadoop的HDFS,MapReduce集群并行架构、CPU和GPU协同并行处理、内存映像、BMP等技术,提出流程驱动执行的高性能分布式并行计算处理平台体系架构。实验结果表明,工作站集群和工作站内多粒度混合的并行计算架构提高了平台并行处理性能,为海量遥感影像数据产品的批量生产提供一种自主化解决方案。

32位Windows系统下PE文件格式的漏洞研究

基于32位Windows系统下PE文件格式漏洞研究的目的,通过从整体简析PE文件(Portable Executable File)框架结构,结合PE文件自身的结构特点的方法,阐述了PE文件的修改思想,探讨了在Win32 PE文件病毒应用领域的关键技术,得出了Win32体系结构下基于PE文件格式若干漏洞的结论。

基于Spring MVC架构的档案管理系统设计与实现

针对某高校档案馆信息化发展水平滞后,档案管理工作开展速度缓慢的现状,分析了现有的档案管理系统在功能及性能上存在的不足,实现了以Spring MVC架构为基础,集成FastDFS、Lucene、Shiro等框架的适合高校档案馆需求的档案管理系统.该系统能够有效解决现存系统中的问题,提高系统的各项性能.最后针对已经实现的系统进行完整的测试,证明了系统的可用性和实用性.

MDDS:一种面向高性能计算的并行文件系统元数据性能提升方法

随着计算能力的增强、应用课题规模和复杂度的增加,高性能计算机对并行文件系统性能要求越来越高.在海量小文件和大规模并发I/O操作的应用场景中,文件系统元数据的吞吐率成为限制其性能的关键因素.设计并实现了元数据代理(meta data delegation service,MDDS),通过降低元数据服务间的耦合度,保证元数据集群的高可用性;使用目录子树方式管理元数据代理空间,避免跨节点目录引入的分布式原子操作的复杂性和低效性.并针对高性能计算中I/O转发架构,提出基于元数据代理的两种作业调度策略——单作业独占单元数据代理调度和多作业共享多元数据代理调度——实现作业间和作业内的负载均衡.在116台存储服务器上对MDDS进行评估,实验结果表明,元数据代理提供了拟线性的元数据性能,在大规模的环境中较Lustre CMD方案有较好的扩展性;两种调度方式有效分散了作业元数据的负载,改善了高性能计算中的元数据瓶颈问题.