企业资源整合过程中网络适配技术的研究与应用

根据集团公司的具体需求,对相关技术应用做了研究和分析,利用公网结合VPN技术实现异地通信,采用B/S模式使用新的MIS系统,降低企业更新成本;采用VLAN技术,将公司各部门进行划分,有效解决局域网安全问题,结合NAT技术缓解IP地址紧张。使用表明,因地制宜的网络适配技术将提升企业现有的管理水平和运营效率,增长企业对外部市场的竞争能力,发掘企业内部的业务发展潜力。

并行计算框架Spark的自适应缓存管理策略

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用.

基于分配适应度的Spark渐进填充分区映射算法

分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标。根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Reducer计算能力的数据分配方案,有效缩减Shuffle过程的同步延时,提高集群计算效率。实验表明该算法提高了Shuffle过程数据分配的合理性,优化了并行计算框架Spark的作业执行效率。

基于迭代填充的内存计算框架分区映射算法

针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭代填充分区映射算法(IFPM)。首先,分析Spark作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系;然后,根据模型和定义求解,设计扩展式数据分区算法(EPA)和迭代式分区映射算法(IMA),在Map端建立一对多分区函数,并通过分区函数将部分数据填入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据Reduce端已分配数据量建立适应性的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性。实验结果表明,在不同源数据分布条件下,算法均提高了作业Shuffle过程分区映射合理性,缩减了宽依赖Stage的同步时间,提高了作业执行效率。

内存计算框架局部数据优先拉取策略

内存计算框架的低延迟特性大幅提高了集群的计算效率,但Shuffle过程的性能瓶颈仍不可规避.宽依赖的同步操作导致大多数工作节点等待慢节点的计算结果,同步过程不仅浪费计算资源,更增加了作业延时,这一现象在异构集群环境下尤为突出.针对内存计算框架Shuffle操作的同步问题,建立了资源需求模型、执行效率模型和任务分配及调度模型.给出了分配效能熵(allocation efficiency entropy,AEE)和节点贡献度(worker contribution degree,WCD)的定义,提出了算法的优化目标.根据模型的相关定义求解,设计了局部数据优先拉取算法(partial data shuffled first algorithm,PDSF),通过高效节点优先调度,提高流水线与宽依赖任务的时间重合度,减少宽依赖Shuffle过程的同步延时,优化集群资源利用率;通过适度倾斜的任务分配,在保障慢节点计算连续性的前提下,提高分配任务量与节点计算能力的适应度,优化作业执行效率;通过分析算法的相关优化原则,证明了算法的帕累托最优性.实验表明:PDSF算法提高了内存计算框架的作业执行效率,并使集群资源得到有效利用.

基于回归检测的滑动块重复数据删除算法

随着大数据时代的来临,重复数据在存储系统中占有很高比例,如何在保障数据可用性的前提下提高存储系统利用率问题一直是研究人员关注的热点.重复数据删除技术是一种存储系统优化技术,通过比较数据指纹确定冗余并删除,达到保障数据唯一性的目的.在重复数据分块检测过程中,无匹配指纹的块即认定为新数据存储,然而通过研究发现,未匹配块中仍然包含大量的重复数据,若能检测到未匹配块内的重复数据,则能够在一定程度上进一步提高重复数据检测率.本文提出一种基于回归检测的滑动块重复数据删除算法,对传统滑动块技术产生的未匹配数据块进行回归检测,通过对比未匹配块的结构变化进而确定数据操作类型,再根据不同的操作类型执行不同的检测算法,达到去除未匹配块内重复数据的目的.实验表明:本算法在时间开销方面比较合理,并能够有效提高重复数据检测率.

基于MPLS VPN技术的网络监控系统分析与设计

文章以基于MPLS VPN技术的平安城市网络视频监控系统的一期建设项目工程为背景,通过详细的调研,从当前项目系统运行的现状和存在的问题出发,深入分析和研究了该系统的安全性,并提出安全改进的总体解决方案。文章首先针对平安城市网络监控系统现状,提出了安全域的划分原则和方法,并将系统划分为核心网络域、业务计算域、公共服务域和终端接入域4个安全域;接着从安全域的角度对如何在技术上改进系统的安全性提出相应的优化对策,并根据安全域的划分得出详细的安全优化实施技术方案,即采取双PE冗余备份策略加固核心网络性能,制定网络边界防火墙部署方案、流量控制检测部署方案和IDS/IPS入侵检测系统实施方案;最后对该系统安全性能优化解决方案进行了总结并提出持续改进的设想,从安全性能维护角度为该项目的后期建设提供参考。

基于数据经验证据的软件人才岗位需求分析研究

随着网络技术的发展,在线招聘平台已成为招聘人员发布信息和应聘者获取职位的主要途径。为了提高计算机软件专业学生就业率,帮助在校生和应届生、往届生、求职者精准定位企业需求,发挥网络招聘信息的价值,解决就业难的问题。文章基于前程无忧招聘网获取的软件人才岗位描述信息展开研究,主要采用挖掘技术、数据预处理、数据分词、构建招聘词典、词频统计、数据可视化、主题分析等大数据分析处理的方法对招聘数据进行分析。分析结果表明:本科以上学历能满足96.53%的软件人才岗位需求,表明本科比专科求职更有优势;掌握Java语言的软件人才岗位需求量最大;招聘单位关注的重点除了知识能力和实践能力外,对沟通能力和责任心等素质能力也有了更高的需求。

Spark框架并行度推断算法

分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标。最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法(parallelismdeduction algorithm, PDA),通过构建的数据总量、执行区预留比、操作闭包集合、资源表等多个基础数据,计算符合资源需求表且具有最大资源利用率和最小开销的任务并行度;PDA算法在作业的各个Stage中迭代执行,根据计算环境优化调度方案提高性能。实验表明,PDA算法提高了Spark框架的作业执行效率,针对不同类型作业均具有良好的普适性。

高职院校实施创新教育的几点思考

创新教育的提出,是现代社会的要求,是弘扬人的创新本性的需要,是深化教育改革、推进素质教育的必然要求。在国家大力提倡创新教育的大环境下,高职教育面临着新的机遇与挑战,创新教育也必将成为高职教学的主体模式。

基于生成对抗网络的数据增强技术在葡萄叶数据增强中的应用

研究生成对抗网络(Generative Adversarial Networks,GAN)在葡萄叶数据增强中的应用。增强的葡萄叶数据可以提升病害检测的准确性。传统的数据增强方法虽然能在一定程度上缓解数据不足的问题,但是生成的图像往往缺乏多样性和真实感。为此,结合GAN和多尺度注意力机制设计一种改进的对抗生成网络AMSGAN。通过训练该模型的生成器和判别器,最终可生成高质量、多样性的葡萄叶图像。实验结果验证了该模型在葡萄叶数据增强中的有效性和潜力。

基于PBL与OBE的混合教学模式在数据采集技术的应用

文章致力于探索项目导向学习(Project-based Learning,PBL)与成果导向教育(Outcomes-based Education,OBE)融合的混合式教学模式在数据采集技术实践教学中的应用。针对传统教学方法的局限性,文章提出一种创新教学模式,旨在提升学生的实践技能与创新思维。实践结果表明,该教学模式能有效激发学生的学习兴趣,增强学生动手实践和综合应用能力,并提高他们解决数据采集实际需求问题的能力。

设计模式课程渐近式学做一体教学改革探索

设计模式课程是高校软件工程专业的核心课程,与传统编程语言类课程不同,设计模式更加注重软件产品的工程化设计,因此需要对传统的计算机课程教学模式进行改革,以适应设计模式课程教学的要求。本文对设计模式课程的教学内容重新规划,引入故事性的教学情境,制定渐近式学做一体化教学方案,在课堂教学中将理论与实验充分融合,从而提高学生对设计模式课程的学习兴趣,加深知识印象,激发主观能动性。

一种基于用户商业行为的数据采集分析方案

为了有效利用用户在互联网上留下的痕迹数据,提高电子商务平台的购买转化率,提出一种基于用户商业行为的数据采集分析方案。该方案对痕迹数据进行分类采集,通过即定评价指标进行深层次挖掘,与关联规则库进行比对匹配,形成满足用户需求的推荐内容。应用表明,痕迹数据的采集全面可靠,评价体系指标设定合理,推荐内容符合用户满意度。

基于CATBL算法的恶意URL检测

为提高对恶意URL检测的准确率,提出一种结合注意力机制的卷积神经网络和双向长短时记忆网络并联联合算法模型(CATBL)。提取用于表达恶意URL二进制文件内容相似性的纹理图像特征,提取URL信息特征及主机信息特征,将这几种特征进行融合,利用CNN(convolutional neural network)挖掘深层次局部特征,采用Attention机制调整权重和双向LSTM(bidirectional long short-term memory)提取全局特征,用于对网络中的恶意URL进行检测。实验结果表明,使用该算法检测恶意URL的准确率达到98.8%,与传统检测方式相比,具有明显的提升。

技校电子商务专业人才培养模式改革探索

近年来,技校电子商务人才培养正面临着市场需要量大,就业对口率低的尴尬局面.究其原因,就是缺乏与用人企业共同探讨切实可行、循序渐进的课程标准和详细的教学培养目标。为了学校的长远发展,笔者认为每一位教师都应积极参与到学校的发展中去,不应做旁观者,而应去推动它朝正确方向发展,做一个改革的积极实施者。因此本文结合目前电子商务岗位能力要求和内地职业学校的前沿课程理念,试着阐述一下如何进行技校电子商务人才培养模式改革的相关问题。

基于ASP.NET的在线考试系统设计与实现

随着教育信息化改革的逐步深入,计算机技术已逐渐应用到教育教学过程的各个方面,灵活高效的信息化考核方式成为高校教育改革的重要组成部分。在线考试系统通过网络实现考试过程的无纸化管理,不仅能够节约因考试产生的人力物力成本,更提高了工作效率,同时方便教务部门对考试全过程的监督检查。介绍了基于ASP.NET在线考试系统的设计与实现,包括学生管理、试题管理、在线考试、成绩管理、异常恢复等主要功能,详细阐述在线考试系统的分析、设计和开发过程,并运用功能结构图、数据流图等方法对在线考试系统的实现过程作了详细的说明。

异构Spark集群数据倾斜修正调度策略

异构Spark集群存在木桶效应,不合理的并行度导致任务分配与工作节点计算能力的适配性较差,进而影响集群计算效率和资源利用率。针对这一问题,首先建立模型,分析数据分布、并行度参数和节点任务分配的耦合关系,提出算法的优化目标,设计异构Spark集群的数据倾斜修正调度策略DSCS,包括并行度预估算法、数据倾斜修正算法和异构节点任务分配算法。预估算法对并行度进行先期设定,数据倾斜修正算法根据首个计算阶段的统计信息进行数据重新划分和并行度修正,由异构节点任务分配算法对集群不同计算能力的工作节点进行合理的任务分配,从而提高数据计算量与节点计算能力的适配性,优化Spark集群的整体性能。实验结果表明:在不同作业类型、不同数据集条件下,算法均取得了一定的性能提升,并能有效减少工作节点外存溢写的概率。

项目管理信息系统在移动网络建设中的应用研究

随着移动通信网络技术的发展和应用,项目管理信息系统在移动通信工程项目建设中得到了广泛的应用。项目管理信息系统可以满足移动网络建设项目的基本需要,可以有效地对移动通信工程建设过程中复杂数据进行管理。对项目管理信息系统应用特点以及系统的应用模式进行了分析,结合移动网络建设的实际情况的需求,针对项目管理信息系统的模块设计及功能实现等方面,提出了项目管理信息系统在移动网络建设中的应用设计方案并进行了研究。

大数据背景下信息安全的保护研究

信息安全保护是当前大数据时代的一项关键工作,保证政企单位或个人信息系统的安全成为许多学者的研究热点,诞生了许多 著名的信息安全公司,比如奇虎 360、卡巴斯基、瑞星杀毒、江民杀毒、腾讯安全管家,一定程度上提高了信息安全防御水平。但是,当 前的网络病毒和木马多采用更加先进的脱壳技术或双层水印技术,导致常规的防御系统无法识别病毒,不能够提高安全防御能力,为用户 带来了不可估量的损失。