基于消息队列的分布式爬虫——以电商产品数据为例

电子商务类网站越来越多的影响人们的生活,上网购物已经成为不同年龄段的人们的日常消费行为了。国内外知名的几个主流的电商网站,比如淘宝、京东、苏宁易购、亚马逊中国、当当网等,人们可以随时随处通过他们的PC端网站、移动手机端APP软件、微信小程序端、支付宝小程序端等,购买生活、学习和工作中几乎所需要的一切商品。

Web系统服务器集群部署策略研究

随着Web应用的不断深化,越来越多的初学者加入了Web开发的队伍,为了提升Web系统的工作效率,基于缓存技术的服务器集群部署是最为关键的环节之一。该文首先从基本的Web服务入手,阐述Web的工作原理和基本的系统架构,伴随着Web用户激增所带来的系统问题,研究“一体化的应用服务器体系->分离的应用服务器体系->分布式服务器集群的应用服务体系”的服务器集群演化路径,并分阶段给出具体的部署策略,为Web服务提供商和开发者提供有价值的参考和借鉴。

JavaEE环境下集群系统建设研究与应用

文章分析了单机结构单个进程业务系统存在的问题,探讨了基于JavaEE环境建设集群系统的方案,并以上海邮政报刊订阅系统为例,阐述了系统集群化改造的良好效果。

统一通信平台集成框架的研究与应用

针对企业应用的集成面临业务、接口、通信协议不兼容,复用率低,成本高等问题,提出一种基于MQ集群技术和OSGi服务框架的解决方案。设计并实现具有良好的可伸缩性、可扩展性、可复用性、支持大负载的统一通信平台集成框架,使该平台通过统一的跨平台服务接口为集成的业务系统提供稳定可靠的通信支持。该框架已经应用在实践中,取得了较好的效果。

高并发多线程竞争共享资源架构

针对目前高并发场景下多线程竞争共享资源出现的系统性能问题以及共享资源不一致性等问题,提出一种基于数据缓存、分布式锁、消息队列、负载均衡4种技术的高性能系统架构。采用Redis集群实现数据高速缓存和分布式锁操作,利用消息队列实现通信异步和流量削峰,LVS和Nginx实现高可用的负载均衡。实验结果表明,该架构能有效提升系统性能,保证共享资源的安全性和一致性。

中国机车远程监测与诊断系统(CMD系统)后台数据处理技术

中国机车远程监测与诊断系统(CMD系统)后台处理系统接收机车数据,通过转储与解析程序将处理后的数据存储至数据库服务器,并对数据和故障进行分析,是CMD系统不可或缺的部分,为整个系统提供强有力的数据支撑。结合CMD系统,从实践使用角度出发,对其后台数据处理技术的应用进行探讨。

高可用集群

高可用集群是指以降低用户业务中断时间为目的的服务器集群。它通过监测应用服务器软硬件运行状态,在发生软件、硬件或者人为故障时,进行业务迁移,保护用户的业务程序对外不间断提供服务,从而最低程度降低故障对业务的影响。高可用集群是基于双机热备发展起来的。双机,顾名思义就是两台机器。