本文旨在采用负载均衡技术及虚拟机技术,解决目前高校选课系统存在的服务器瓶颈压力。该系统前端采用开源的负载均衡软件HAProxy,后端应用Windows Server 2008 R2中的Hyper-V虚拟机技术,部署了校园选课负载均衡系统。通过合理配置HAProx...本文旨在采用负载均衡技术及虚拟机技术,解决目前高校选课系统存在的服务器瓶颈压力。该系统前端采用开源的负载均衡软件HAProxy,后端应用Windows Server 2008 R2中的Hyper-V虚拟机技术,部署了校园选课负载均衡系统。通过合理配置HAProxy的策略,使访问流量得以均衡分配,达到了预期目的。展开更多
【目的】满足前端用户频繁交互需求,克服传统重客户端与Spark应用服务保持长连接会话的弊端。【方法】在边缘节点服务器上部署高性能负载均衡和动态代理组件(HAProxy),提供一种通过轻量级客户端提交Spark作业的实现方法,对Spark作业进...【目的】满足前端用户频繁交互需求,克服传统重客户端与Spark应用服务保持长连接会话的弊端。【方法】在边缘节点服务器上部署高性能负载均衡和动态代理组件(HAProxy),提供一种通过轻量级客户端提交Spark作业的实现方法,对Spark作业进行动态调度与全生命周期管理。【结果】通过Spark on YARN模式将多个具有相同功能、相互之间能独立运行的Rest服务部署到YARN集群上,利用HAProxy的自动重载机制进行动态更新和加载后端服务配置,使前端用户在对后端变动无感知的情况下,通过HAProxy统一对外接口,将Spark作业提交到分散运行在Yarn集群上无差别的Rest服务中执行。【结论】该方法无须保持边缘节点服务器与集群节点服务器之间的长连接会话,通过HAProxy能有效避免外部用户直接访问集群内部节点,实现集群内外安全隔离的目的,同时可在Spark on YARN运行模式下实现Spark作业的交互式提交与异步调度,完成对Spark作业全生命周期的自主控制。展开更多
文摘本文旨在采用负载均衡技术及虚拟机技术,解决目前高校选课系统存在的服务器瓶颈压力。该系统前端采用开源的负载均衡软件HAProxy,后端应用Windows Server 2008 R2中的Hyper-V虚拟机技术,部署了校园选课负载均衡系统。通过合理配置HAProxy的策略,使访问流量得以均衡分配,达到了预期目的。
文摘【目的】满足前端用户频繁交互需求,克服传统重客户端与Spark应用服务保持长连接会话的弊端。【方法】在边缘节点服务器上部署高性能负载均衡和动态代理组件(HAProxy),提供一种通过轻量级客户端提交Spark作业的实现方法,对Spark作业进行动态调度与全生命周期管理。【结果】通过Spark on YARN模式将多个具有相同功能、相互之间能独立运行的Rest服务部署到YARN集群上,利用HAProxy的自动重载机制进行动态更新和加载后端服务配置,使前端用户在对后端变动无感知的情况下,通过HAProxy统一对外接口,将Spark作业提交到分散运行在Yarn集群上无差别的Rest服务中执行。【结论】该方法无须保持边缘节点服务器与集群节点服务器之间的长连接会话,通过HAProxy能有效避免外部用户直接访问集群内部节点,实现集群内外安全隔离的目的,同时可在Spark on YARN运行模式下实现Spark作业的交互式提交与异步调度,完成对Spark作业全生命周期的自主控制。