本文共 3532 字,大约阅读时间需要 11 分钟。
6.5 lvs负载均衡集群运行维护
当我们把所有的配置做好并通过各项功能测试后,就可以把这个集群环境正式运行起来(这里忽略其它处理过程),但这并不意味着万事大吉。要使负载均衡环境真正的高可用并符合业务需求,
还有事情需要去做的。这些事情包括:负载均衡环境中对象新增、变更及删除,状态监控,故障的排查处理等。 这里的对象包括vip
、真实服务器、服务(vip+
端口号)等。从前面的事例可以得知,一对负载均衡器,可以承担多个服务的转发任务,因此在运行过程中,很可能因为业务本身的变化而新增、变更或删除对象。比如:某个服务负载趋于饱和,需新加服务器;有些业务下线了,需要从转发队列中把服务删除掉。 对象增加、变更及删除的操作,涉及负载均衡器和真实服务器。在负载均衡器方面,主要的操作就是修改keepalived
的配置文件keepalived.conf
;在真实服务器上,进行的操作主要是编写lvs
配置脚本、运行或者关闭这个配置脚本。 在有2
个负载均衡器的lvs
环境,所作的配置文件keepalived.conf
变更操作要在这两个服务器上都进行一遍,以保持配置和服务的一致性。 当我们进行对象增加、变更或删除的操作时,只要注意好执行的先后顺序,就能保证提供的服务不中断,用户的正常访问不受影响。 假定在负载均衡环境新增一个web
服务器,其操作顺序是: 4、
修改负载均衡器的配置文件keepalived.conf
。 5、
关闭第一个lvs
负载均衡器,所有的转发服务将切换到另外一个负载均衡器上。 6、
启用“5
”关闭的那个负载均衡器,然后关闭“5
”中还在运行的那个负载均衡器。 假定在负载均衡环境删除一个web
服务器,其操作顺序是: 1、
关闭欲下线服务器的web
服务。这样负载均衡器的健康检查会自动把该web
服务从转发队列删除掉。 2、
卸载欲下线服务器的vip
地址。即执行/usr/local/bin/lvs_real stop
操作。 3、
修改负载均衡器的配置文件keepalived.conf
。 4、
关闭第一个lvs
负载均衡器,所有的转发服务将切换到另外一个负载均衡器上。 5、
启用“4
”关闭的那个负载均衡器,然后关闭“4
”中还在运行的那个负载均衡器。 这里再强调一下,如果真实服务器上的服务没关闭而把其上的vip
卸载的话,某些用户的请求仍然会被负载均衡器转发过来,导致请求失败。因此,要记住,无论如何,请先关服务! 为了随时随地了解整个lvs
负载均衡环境的运行情况,我们必须对其进行有效的监控。当出现异常或故障时,监控系统能及时有效的通知维护人员,以便问题得以及时地处理。这也是提高可靠性的一个保障措施。 有很多开源的或商业类型的监控系统可供选择,本书选定开源的nagios
作为监控平台,关于nagios
的相关细节,请参照“网络服务及主机资源监控-nagios
”一章。 可供nagios
监控的对象很多,对lvs
负载均衡环境而言,怎么选定对象才是最有效的呢?这里我们先来回顾一下lvs
负载均衡环境运行时,其存在的表现形式有哪些? 根据这些表现形式,我们选取存活检查及服务状态作为监控对象,就可以清晰地了解lvs
负载均衡环境的运行状况。把它具体化,可分为: 1、
负载均衡器及真实服务器的存活检查。只有这些服务器运行正常,才可能有其他依赖服务。 2、
Vip
的存活检查。一般情况下,启用了lvs
环境后,是可以用ping
的方式检查vip
的。 4、
Vip
对应的服务状态检查。一般通过check_tcp
加端口号的形式实现。如果web
集群,可以以check_http!url
的方式更精确的检查。 在对lvs
运行环境进行有效的监控后,一旦有故障或异常发生,系统管理人员将会得到及时的通知。并且这些报警信息往往包含故障的基本情况,如负载过高、主机down
了、服务严重不可用(critical
)、磁盘空间快满了等等,这些信息非常有利于系统管理员定位故障点。如果没有一个有效的监控系统,故障的报告往往来自用户的报告。这些报告笼统而模糊,可能包含“你们的网站不能访问了”之类的字眼,要定位故障点,可能会花费更多的时间。 在知晓和定位故障以后,结下来就是分析和处理故障。Lvs
负载均衡的故障点可分为:负载均衡器故障、真实服务器故障、vip
故障、服务故障这几个部分。这些故障出现后,怎么着手处理?下面分别论述之。 1、
查看系统日志 /var/log/messages ,
了解内核是否有报错信息。因为keepalived
的日志也被追加到系统日子,因此通过系统日志,也能了解keepalived
的运行情况。 2、
检查负载均衡器的网络连通状况。这包括ip
地址的设置是否正确,是否能远程访问(如ping
、tracert
等)。 3、
检查keepalived
的运行情况。这包括进程是否处于运行中,ipvs
模块是否被加载到系统的内核,vip
是否被绑定到网络接口,ipvsadm
是否有输出。 5、
检查keepalived
的配置文件书写是否正确。因为keepalived
启动过程不对配置文件做语法检查,因此在运行前,必须按需求表逐项检查配置文件keepalived.conf
的内容。有时,就可能就是因为漏写了一个“}
”符号而导致意外的结果。配置文件的内容检查还包括主从优先级priority
、虚拟路由标识virtual_router_id
、路由标识router_id
等几个部分,这些值有些是必须相同的、有些则必须不同。 1、
查看系统日志 /var/log/messages ,
了解内核是否有报错信息。 3、
检查服务是否正常运行。可以结合察看进程、模拟用户访问来确定。 4、
检查服务器的负载情况,看哪些进程占用较高的资源。如果暂停占资源高的进程,情况会怎么样? 5、
检查vip
是否被绑定。Linux
只能通过ip add
指令察看,freebsd
用ifconfig
就可以了。 6、
检查主机防火墙是否被启用。如果需要启用主机防火墙,则应设置好过滤规则。 7、
从客户端直接访问服务器的服务,看是否能正常访问。这是dr
模式的一个优点。 2、
检查负载均衡器ipvsadm
的输出,察看输出的vip
项是否与我们的设定相一致。 4、
从客户端测试一下vip
的连通情况,如ping vip
。 5、
检查vip
地址是否与其它服务器的地址相冲突。 1、
检查服务是否正常运行。如查进程、模拟用户访问等。 一旦知道问题的所在,解决问题本身就不再是什么困难的事情了,因此这里不再一一列举对应的解决方法。 Lvs
负载均衡环境需要备份的数据包括keepalived
配置文件和lvs
客户端配置脚本。因为这两个文件都是文本文件,并且尺寸小(几k
而已),因此可以以复制的方式进行备份。如果把备份放在windows
环境的话,尽量不要用word
、写字板一类的工具修改它。如果用windows
的word
之类的工具编辑这两个文件,上传到linux
服务器时,会出现格式问题,而导致运行错误。当然,可以用dos2unix
修正格式,或者在vi
的命令模式下,以“:set ff=unix
”方式转换格式。 本文转自sery51CTO博客,原文链接:http://blog.51cto.com/sery/211403 ,如需转载请自行联系原作者