基于大数据随机样本划分的分布式观测点分类器

观测点分类器(OPC)是一种试图通过将多维样本空间线性不可分问题转换成一维距离空间线性可分问题的有监督学习模型,对高维数据的分类问题尤为有效。针对OPC在处理大数据分类问题时表现的较高训练复杂度,在Spark框架下设计一款基于大数据的随机样本划分(RSP)的分布式OPC(DOPC)。首先,在分布式计算环境下生成大数据的RSP数据块,并将它转换为弹性分布式数据集(RDD);其次,在RSP数据块上协同式地训练一组OPC,由于每个RSP数据块上的OPC独立训练,因此有高效的Spark可实现性;最后,在Spark框架下将在RSP数据块上协同训练的OPC集成为DOPC,对新样本进行类标签预测。在8个大数据集上,对Spark集群环境下实现的DOPC的可行性、合理性和有效性进行实验验证,实验结果显示,DOPC能够以更低的计算消耗获得比单机OPC更高的测试精度,同时相较于Spark框架下实现的基于RSP模型的神经网络(NN)、决策树(DT)、朴素贝叶斯(NB)和K最近邻(KNN),DOPC分类器具有更强的泛化性能。测试结果表明,DOPC是一种高效低耗的处理大数据分类问题的有监督学习算法。

.NET Framework中XML序列化研究

介绍了序列化与XML的关系,并讨论了如何序列化一个对象到XML文件和反序列化XML文件到一个对象,解析了XML序列化器的工作原理.利用XML序列化方法可以很容易地将对象序列化为XML文件.

ASP.NET——动态网页开发趋势

以比较与旧版的差别为出发点,详细分析了程序的执行过程和程序接口,简要介绍了的新功能。最后ASP.NETASPASP.NETASP.NET给出文件上传和发送的程序实例。E-mailASP.

企业生产安全事故应急救援预案编制技术的研究

企业编制生产安全事故应急救援预案是企业建立生产安全事故应急管理体系的基础工作,对于企业提高生产安全事故应急救援能力,降低企业生产安全事故损失具有重大意义。笔者在对广州发展油品经营有限公司南沙油库事故应急救援预案编制技术的研究基础上,进一步阐述了企业生产安全事故应急管理体系结构,指出了企业生产安全事故应急救援预案编制的总体思路,并从企业生产安全事故应急救援预案编制的技术层面,论述了企业生产安全事故应急救援预案的体系框架及文件要素,指出企业生产安全事故应急救援预案的体系框架可以由总预案和程序文件体系两大部分组成,文件要素可以由2个一级要素、18个二级要素和2 8个三级要素组成。笔者论述的企业生产安全事故应急救援预案编制技术已经在广东省数百家企业得到宣传应用,取得了良好的社会效益。

基于MVC的文件备份后台管理系统的设计与实现

为了提高文件备份系统的效率,并为文件备份系统的远程备份中心提供全面的管理功能,提出了基于MVC(model-view-controller)设计模式的文件备份后台管理系统。介绍了文件备份系统的架构,研究了MVC的设计思想以及Joomla框架的原理,在此基础上,将基于MVC设计模式的Joomla框架引入到文件备份后台管理系统的开发中,并基于LAMP平台设计与实现了文件备份后台管理系统,确保了系统的高效,结构清晰以及良好的可扩展性、可维护性与可重用性。

使用Eclipse建模框架实现基于公共信息模型系统的开发

基于Eclipse建模框架,提出了一种简洁、灵活、通用的解决方案,帮助开发者高效地开发基于公共信息模型(CIM)的系统。该方案包含3个方面内容:其一,按照CIM所定义的包、类、对象以及对象之间的关联关系自动生成Java代码,使开发者具备快速追踪最新CIM版本的能力;其二,能够以流的方式高速扫描CIM可扩展置标语言(XML)文件,扫描过程中形成CIM对象,扫描结束后建立对象间的关联关系,且能够屏蔽不同厂家、不同版本CIM XML文件之间的差异性,具有较好的兼容性;其三,能够验证对象间关联关系是否满足CIM标准规定的约束。最后,对多个实际系统的CIM数据进行了测试,实验结果验证了该方案的有效性。

基于LabWindows/CVI的ATS软件框架

基于LabWindows/CVI的自动测试系统软件框架使用配置文件实现软、硬件模块之间信息交换和资源的动态配置。在同一个软件主框架下实现了多个UUT测试程序的开发和调试。提供良好的调试维护界面,实现测试软件的模块化、TPS的可移植,大大提高了开发和调试的效率。TPS通过调用格式化类驱动间接调用物理仪器驱动,实现了仪器的可互换。

改进的JDBC框架在数据持久层的应用

为了解决面向构建企业级系统的JDBC数据持久化的问题,详细分析了模板模式和策略模式,并通过这两种设计模式改进了JDBC框架,最终形成了改进后的JDBC扩展框架,它具有不依赖于任何的O/R映射框架和EJB容器,且易学习、易使用、易部署等特点。最后,结合某个电信客户关系管理系统(CRM)中的车辆管理模块的开发,给出了具体的实现。实验结果表明,改进后的JDBC框架有较强的实用性和有效性。

机构规范文档构建方式研究

探索机构规范文档的构建方式,可有效解决信息检索、计量评价等活动中机构名称著录混乱、层级结构模糊的瓶颈问题,为我国机构规范文档建设提供借鉴。通过调研机构规范文档的应用需求以及理论、实践研究现状,在梳理机构名称及其属性特征、机构实体关联关系的基础上,构建机构规范文档元数据框架,设计机构规范文档构建流程。结果表明,机构规范文档的构建流程包括机构数据获取及规范化处理、文档记录的审核以及面向不同需求的应用设置。同时,应从机构规范文档的场景需求分析、智能构建方式、协同共建机制和共享应用能力四个方面共同推进机构规范文档建设工作。

定制服装号型归档与裁剪方案数字化研究

对个体定制服装的号型归档、裁剪方案进行基于数字化技术的结构链研究,得到自动生成与企业实际相符的软件结构模块,为最终实现数字化奠定基础。

基于MFC的高校人事档案管理信息系统的设计与实现

随着高校信息化、数字化、网络化的不断发展,结合高校人员数量不断增加、分工不断细化、彼此间联系不断紧密的现状,提出了基于MFC的人事档案管理信息系统的设计方案和实现方法。

Struts2框架核心配置文件的研究与应用

Struts2是强大的Java Web开源框架,处理过程通过配置文件完成。针对Struts2框架配置文件内容多、配置复杂、难以掌握的特点,对核心配置文件进行研究。首先,列出了Struts2框架的所有配置文件及其之间的相互关系,指出了struts.xml和struts.properties是核心配置文件;接着,研究struts.xml配置文件,包括struts.xml常用配置解析、struts.xml构建步骤及构建方法;最后研究struts.properties配置文件,着重研究struts.properties中包含主要的Struts2属性及配置方法。文中的研究内容,能够使开发者清晰地理解配置文件的写法与调用关系,有利于团队成员并行工作,提高开发效率。

基于Lucene的搜索引擎设计与实现

针对目前教育网庞大的FTP资源检索困难的问题,提出一种基于EdtFTPJ和Lucene的FTP搜索引擎的设计和实现方案。该方案整体上采用基于Struts1.2框架的模型-视图-控制器设计模式,数据采集模块利用基于正则表达式的有限状态自动机抓取数据,索引模块应用倒排索引方法,系统的分词算法使用基于字典的正向最大匹配中文分词法。实验结果表明,该方案具有较高的资源检索率,同时能够保证检索结果的准确性。

面向MapReduce的中间数据传输流水线优化机制

MapReduce是一种适用于大数据处理的重要并行计算框架,通过在大量集群节点上并行执行多个任务,极大地提高了数据的处理性能。然而,由于中间数据需要等到Mapper任务完成之后才能被发送给Reducer任务,由此导致的大量传输延迟成为MapReduce框架性能的重要瓶颈。为此,文中提出了一种面向MapReduce的中间数据传输流水线优化机制,将有效计算与中间数据传输解耦,以流水线的方式重叠执行各个阶段,有效隐藏数据传输开销。文中还给出了中间数据传输流水线执行机制和实现策略,包括流水线划分、数据细分、数据归并和数据传输粒度等。在公开数据集上对所提中间数据传输流水线优化机制进行了评价,当Shuffle数据量较大时,该优化机制比默认框架的整体性能提高了60.2%。

通过CIM/E语言实现变电站端与调度端模型协调共享

在描述变电站模型时,变电站端遵循IEC61850模型,调度端遵循CIM模型,这种不一致限制了自动化、智能化程度的提高。从面向工程应用的角度提出了一种解决方案。该方案利用目前调度端已经开展的CIM/E研究和应用,给出调度端所需要的变电站模型信息的CIM/E方式定义;在变电站端实现变电站配置描述(SCD)文件自动转化为等效的CIM/E文件功能,该CIM/E文件完全符合调度端需求,可以供调度端直接使用,从而实现模型信息的"源端维护";充分利用调度端和变电站之间的数据采集网,对两端的自动化系统和相互通信过程进行合理设计,进一步实现模型的"主动召唤"和"自动更新"。

元数据管理应用系统的设计与实现

针对元数据管理和使用过程中存在的问题,提出一种新的元数据管理应用系统,介绍系统架构和层次划分机制,通过JAXB技术和O/R映射框架实现基于XML文档元数据的存储管理,利用HQL查询语言访问和检索元数据记录,并利用MVC模式实现基于Web的元数据检索。实验结果表明,该设计方案有效可行。

基于Struts框架实现Web应用文件上传

结合实际项目讨论了Web应用中文件上传存在的问题和几种相应方法.根据Jsp上传文件的特点,分析了Struts框架提供的相关支持机制,给出了结合Struts与Jsp的文件上传方法和具体实现过程.进一步揭示了软件框架支持的方法与常规方法在设计和实现中的本质区别。

Spark下遥感大数据特征提取的加速策略

提出一种基于Spark分布式内存计算框架的遥感大数据特征提取策略。采用Landsat8为数据源,以计算归一化植被指数(NDVI)、差值植被指数(DVI)、比值植被指数(RVI)为例开展实验。实验结果表明,在相同硬件环境、处理任务、数据量的条件下,Spark处理遥感大数据的速度较单机模式下的处理遥感大数据提升了约2倍,基于Hadoop分布式文件系统(HDFS)处理模式较Spark-standalone处理模式处理速度提升了约1.2倍,基于Spark下的HDFS存储模式下,栅格切分遥感大数据较非栅格切分处理速度提高了约1.5倍。

农业海量信息资源管理平台设计与实现

随着农业信息化的深入,如何描述、存储、管理和处理海量分布信息资源成为农业应用的首要问题。提出基于XML/XML Schema的统一农业信息资源描述框架,将XML描述与元数据约束相结合,采用层次化管理结构实现元数据与资源信息的组织;在HDFS(Hadoop Distributed File System)云存储架构适应性改进基础之上,设计实现了农业海量信息资源管理平台,实现了海量、分布、异构资源的分类组织、存储和访问服务。平台覆盖了全国6个省市资源节点,实现了3.2 TB农业资源存储管理,与传统资源检索方法相比,平台资源检索时间缩短73%;同时,用户在同一检索条件下能更多地获得相关资源,不仅查准率平均提高5%,而且资源利用率平均提高17.7%。平台在海量资源检索和利用效率方面获得提升。

高校毕业生信用档案管理网络平台的构建

高校毕业生信用档案属于信用档案中的一类,它直接关系到高校学生的信誉问题。高校毕业生在当前社会环境下信用危机具有多种表现形式,为解决信用危机,高校毕业生信用档案管理网络平台的构建具有一定的社会需求性。网络平台采用PHP、MySQL、Yii Framework等作为关键技术,提出主要功能需求及开发环境需求,采用Yii框架MVC系统结构方案。在提出的网络目录结构基础上,给出了JS脚本框架核心Pscm实现及PSCM扩展实现的主要代码。这些为进一步研究实现高校毕业生信用档案网络平台提供了理论与技术支持。