一种分布式实时监控报警系统的研究与实现

近几年,随着运价系统业务不断增长,服务器节点数量呈现几何式扩张。如何对生产系统近千台服务器及应用进行有效的监控报警,成了企业亟须解决的问题。现有监控系统(如Nagios、Zabbix、Prometheus和Open-Falcon)均无法满足系统对于日志数据深度分析处理并监控报警的能力。基于上述原因,以民航客运运价系统为背景,基于ELK体系架构和Elastalert日志告警插件,实现了一种分布式实时监控报警系统,不仅能够提供硬件监控、服务器基础监控和应用监控,还拥有强大的日志分析处理能力,可识别出异常的微小波动并及时发出警报,帮助运维人员迅速定位问题,并采取相应的措施,为民航客运运价系统的稳定运行提供了坚实的技术保障,也为处理复杂多变的监控需求提供了有力的工具。

一种云上日志采集与分析系统的研究与实现

民航客运运价搜索业务与用户访问量息息相关,且日志量与访问量成正比,高峰时每天日志量可达TB级,而低谷时日志量仅几百MB,因此利用云服务自身的弹性扩展能力,对日志量高峰和低谷时的服务器资源进行动态调整,就变得尤为重要,这样不但可以节省服务器资源的使用,带来巨大经济效应,还可以降低运维成本。以民航客运运价搜索系统上云为背景,基于ELK体系架构,提出了一种云上日志采集与分析系统的研究与实现,完成对云上产生的海量日志进行数据收集、处理、查询和可视化构建。与云下的日志采集与分析系统相比,在功能相同的情况下,使用了近一半的服务器资源实现了云下两倍的日志数据存储。

基于特征分析的HPC失败作业的检测和根因分析

【背景】在高性能计算系统中,更早、更快地发现计算作业异常及其退出原因,可以帮助用户缩短纠错时间,更有效地使用价格不菲的计算资源。【目的】为了实现对计算作业异常的预警,快速定位作业失败根因,提高用户使用体验。【方法】本文基于某超大型超级计算集群的监控数据,针对特定应用分析了运行特征与计算作业运行成败的关系。采用Isolation Forest算法对作业运行时所在计算节点的运行状态进行异常检测,并对作业是否失败进行预测;通过特征分析,同时结合日志和其他故障数据构建HPC作业失败根因图谱。【结果】通过对算法的数值分析,发现Isolation Forest能够较准确地预测作业失败。基于应用运行特征关联分析构造的根因图谱,可较好地融汇作业运行和资源使用情况的所有影响因子,并展现所有因子的因果关系。【结论】本文的研究可以帮助高性能计算系统,特别是超大型超级计算系统的管理人员、用户尽早发现计算作业异常,并快速提供问题定位依据,对减少计算资源浪费、提高计算效率具有重要意义。

嵌入式实时系统

随着计算机的发展和应用的普及,嵌入式实时计算机系统(以下简称嵌入式实时系统)已经在工业、交通、能源、科学研究和科学试验、国防等各个领域发挥极其重要的作用。本文介绍了嵌入式系统的特征,分析了嵌入式实时软件的结构及发展动向,并提出了嵌入式实时软件的开发步骤。

RFID系统中识读器的设计与研究

本文设计了基于先进的DSP技术、能在13.56MHz、868/915MHz、2.4GHz多个频段识别电子标签的RFID识读器的硬件结构。介绍了识读器的功能、组成及基本原理。基于模块化设计,提出了识读器硬件设计方案,以及采用的关键技术。

基于价格导向的民航运价搜索方案设计

针对当前民航运价搜索方法中航班运价组合复杂、搜索空间庞大等问题,提出一种基于价格导向的启发式民航运价搜索方案,利用旅行经验数据对潜在行程的价格和舒适度进行估计,消除不合理组合,筛选出满足旅客个性化需求的最终结果。通过构建旅行经验信息库,对运价索引、运价路径选择、运价拆分和运价组合等模块进行优化设计,缩小了求解空间,实现了航班运价组合的高性能搜索,提高了旅客购票体验,具有较高的行业推广价值。

生态危机语境下的反思与追问——简析《圣经》的生态伦理思想

生态危机是时下备受关注的话题,其背后深藏的实质是人的道德危机和宗教危机。在生态危机的时代语境下,通过追本溯源,紧扣《圣经》原典,系统梳理了其中所蕴含的生态伦理观,阐幽表微地阐释了上帝、人和自然的相互关系,详细解读出《圣经》中的八大生态伦理观及其四大生态特征,在此基础上具体分析历史演进过程中人们对《圣经》生态伦理观的误解和偏离,并进一步结合时事,探讨应时代要求而产生的基督教生态伦理。并指出,《圣经》中上帝、人和自然最初是和谐的,在历史演进过程中人们对《圣经》产生了误读和偏离,而当今对《圣经》生态伦理观的绿色回归则是一种主题。人们应该顺应时代的要求,积极重建人与自然在上帝中的和谐共存。

模糊系统与神经网络

从知识处理的观点出发,模糊系统与神经网络可按知识表示与结构对应、推理与计算对应、知识获取与学习对应进行系统研究;从函数逼近的观点出发,两者可用广用函数逼近意义上等价来统一处理。本文正是从知识处理和函数逼近两个角度研究了模糊逻辑系统与神经网络相结合的可行性和现实性。

国家治理与政治发展视角下的政治安全与廉政建设

政治安全是国家治理与政治发展的根本,是国家利益的最高目标。贪污腐化、权力寻租、裸体做官等政治腐败严重影响了我国政治安全。所以加强完善惩治与预防腐败为重点的廉政建设,加强对领导干部特别是主要领导干部的监督,做到廉政建设法治化、官员财产公开、禁用裸官。以改革创新之精神全面推进廉政建设,确保权力依法正确行使;促进我国政治安全,社会和谐稳定。

公共部门绩效管理与评估研究

公共部门绩效管理与评估是当前公共部门人力资源管理所关注的重点问题之一,构建科学完善的绩效管理与评估体系,是包括政府部门在内的所有公共部门面临的新课题。本文着重剖析我国公共部门绩效管理与评估的现状,纵观公共部门绩效管理与评估的发展趋势,探索建立科学的公共部门绩效管理模式和绩效评估体系。

孔子教育理念中的人文意蕴

《论语》这部记录孔子及其弟子言行的经典著作中,有其丰富和深刻的教育理念与人文意蕴。教育对象的"有教无类"、教育可能性的"性近习远"、教育目标的德才兼备、教育内容的全面平衡以及教育方法的灵活多样,无不展现孔子教育思想的人文主义意蕴,表达他对人自身价值的肯定和对人生命的关爱。他教育实践中对人整体性和综合性的培养,流露出其仁爱、忠恕等人本主义思想。

加尔文改革对世俗政治的建构

欧洲16世纪的宗教改革是欧洲文明史上一座具有重要意义的里程碑,对欧洲社会政治转型产生了深远的影响,其中,加尔文的宗教改革极具代表意义。加尔文宗教改革对世俗政治的建构,主要包括人的自由神圣性、政权的世俗性、经济生活自由和法律的至上性。这四个方面的建构,实现了世俗与神圣的相互统一,对欧洲社会政治世俗化转型起到了促进作用。

传统文化对现代高校教育理论的启示——以先秦教育思想为例

高校教育应着眼于人的素质、能力培养而进行。儒家经典《论语》有教无类、学优则仕的教育思想,先秦时以"六经"和"六艺"为主的教育内容,反映我国先秦时的教育思想已有对教育的平民化、教育的普及化、素质教育与职业教育相结合的认识,其丰富而深刻的教育理念和人文主义教育思想值得深入挖掘和传承,对当今我国高校素质教育与职业教育的创新有着启示、借鉴作用。

公正正义:政府公共经济目标

无论是提供公共产品,还是对市场进行宏观调控,政府都对国民经济的运行产生越来越重要的作用,公众也越来越期望政府在宏观经济和公共事务领域中能够发挥更大的作用。本文从公共经济对市场机制缺陷的克制、公共经济公正正义的价值追求、政府公共经济活动道德准则等角度,论证了公正正义是政府公共经济的目标。

钢轨横向力对钢轨扭转变形的影响

通过建立轮轨有限元实体模型,分析了钢轨扭转变形随横向力变化的规律,研究结果表明当横向力在[10kN,20kN]之间变化时,对钢轨的扭转变形影响比较大。

轨底坡对钢轨横向变形及扭转变形的影响

通过建立轮轨有限元实体模型,分析了钢轨横向变形及扭转变形随轨底坡变化的规律,研究结果表明钢轨横向变形及扭转变形均随轨底坡的增大而减小。

一种分布式日志采集与分析系统

随着业务增长,服务器端的机器数量也在不断扩张,对于集群日志进行实时的采集和分析就变得越来越复杂,业界出现了许多基于日志数据处理的平台,但目前使用最广泛的是ELK平台。基于开源的ELK(elasticsearch、logstash和kibana)作为系统框架,实现了一种分布式日志采集与分析系统,完成对服务器产生的海量日志进行数据收集、处理、查询和可视化的构建。系统分为四个部分,包括数据收集、数据处理、数据存储以及数据展示,系统中每个部分都具备横向扩展的能力,具备高可用的机制,可以根据不同的维度和条件实现近实时的高效数据查询和检索。

一种基于Logstash的高效数据处理方法

ELK平台是目前业界使用最广泛的日志数据处理平台,但Logstash在性能上有严重短板,无法进行复杂数据处理。为了更加高效、实时的处理生产系统中日益增长的海量日志数据,基于logstash系统,通过自定义的Ruby插件,实现一种高效数据处理的方法,解决了性能问题,并且可实现复杂数据处理。系统由三部分组成,分别是数据输入、数据处理和数据输出。数据输入和数据输出部分保留了Logstash丰富的插件功能以及其高可用的特点,可用不同的插件进行切换。数据处理部分使用Ruby脚本对所有数据进行定制化的数据处理,提高了Logstash的数据处理效率,在实际生产环境中,性能提升将近50%,增强了Logstash的数据处理能力,尤其是在复杂数据处理过程中,可同时产生多个事件,支持复杂的统计功能。

贵州与长江经济带协同发展研究

贵州作为长江上游最重要的生态屏障,水源涵养地和生态功能区,作为我国最重要矿产能源基地和交通运输枢纽,对建设我国长江经济带具有极其重要的作用。贵州入围长江经济带,让长江经济带资源更加整合,发展更加全面。贵州不仅为长江经济带经济发展提供了最重要的矿产能源资源,也是长江经济带乃至全国最重要的交通枢纽。只有大力发展贵州经济,长江经济带才能得到全面与协同的发展。贵州也借助西部大开发和长江经济带的建设,打破对外开放和经济发展的困局。贵州经济的发展,为长江经济带和中国经济发展注入了新的活力,使中国经济得到全面的发展。

投入50亿元以奖代罚治理六省市大气污染的绩效探讨

在大气污染治理中,经济利益与环保压力、防治与排污之间的博弈,影响着大气污染治理的绩效。过去的环保政策和治理行为表明:逐利博弈下,环保治理"罚"得很困窘,防治污染的效果不大。只有设计出多重激励下的"奖"励政策,才会产生很好的大气污染治理绩效。