19.1 Linux监控平台介绍
常用的开源监控软件
- cacti、nagios、zabbix、smokeping、open-falcon等等；
- cacti、smokeping偏向于基础监控（网络设备），成图非常漂亮；
- cacti、nagios、zabbix服务端监控中心，需要php环境支持，其中zabbix和cacti都需要mysql作为数据存储，nagios不用存储历史数据，注重服务或者监控项的状态，zabbix会获取服务或者监控项目的数据，会把数据记录到数据库里，从而可以成图；
- open-falcon为小米公司开发，开源后受到诸多大公司和运维工程师的追捧，适合大企业，滴滴、360、新浪微博、京东等大公司在使用这款监控软件，值得研究；
- 后续以介绍zabbix为主。
19.2 zabbix监控介绍
- C/S架构，基于C++开发，监控中心支持web界面配置和管理；
- 单server节点理论上可以支持上万台客户端，瓶颈在于采集的数据量；
- 最新版本4.0
- zabbix建构中有5个组件；
- zabbix-server 监控中心，接收客户端上报信息，负责配置、统计、操作数据；
- 数据存储，存放数据，比如mysql；
- web界面，也叫web UI，在web界面下操作配置是zabbix简单易用的主要原因；
- zabbix-proxy，可选组件（机器量比较大的时候），它可以代替zabbix-server的功能，减轻server的压力；
- zabbix-agent，客户端软件，负责采集各个监控服务或项目的数据，并上报。
zabbix监控流程图：
19.3-19.6 安装zabbix
官网下载地址 www.zabbix.com/download。
1、yum安装。
1）下载和安装zabbix专用扩展源：
wget repo.zabbix.com/zabbix/3.2/rhel/7/x86_64/zabbix-release-3.2-1.el7.noarch.rpm
rpm -ivh zabbix-release-3.2-1.el7.noarch.rpm
2）yum安装zabbix。
yum install -y zabbix-agent zabbix-get zabbix-server-mysql zabbix-web zabbix-web-mysql
zabbix-get：服务端软件，用来获得客户端的一些数据
zabbix-server-mysql：安装和mysql相关的文件。
zabbix-web：web UI。
zabbix-web-mysql：web UI和mysql相关。安装会连带安装httpd和php。
如果之前没有安装过mysql，需要先安装mysql。
2、启动和编辑mysql。
1）在mysql的配置文件中添加内容：
character_set_server = utf8
重启mysql服务。
2）在mysql中创建zabbix库和创建zabbix用户。
mysql> create database zabbix character set utf8;
Query OK, 1 row affected (0.00 sec)
mysql> grant all on zabbix.* to 'zabbix'@'127.0.0.1' identified by 'liang';
Query OK, 0 rows affected (0.00 sec)
mysql>
3）导入数据到zabbix库。
cd /usr/share/doc/zabbix-server-mysql-3.2.11/
[root@liang-00 ~]# cd /usr/share/doc/zabbix-server-mysql-3.2.11/
[root@liang-00 zabbix-server-mysql-3.2.11]# ls
AUTHORS ChangeLog COPYING create.sql.gz NEWS README
[root@liang-00 zabbix-server-mysql-3.2.11]# gunzip create.sql.gz
[root@liang-00 zabbix-server-mysql-3.2.11]# mysql -uroot -p123456 zabbix < create.sql
Warning: Using a password on the command line interface can be insecure.
[root@liang-00 zabbix-server-mysql-3.2.11]#
4）启动zabbix。
首先启动httpd服务。
systemctl start httpd.service
启动zabbix。
systemctl start zabbix-server.service
启动失败，排查问题。
查看zabbix日志：tail /var/logs/zabbix/zabbix-server.log
3363:20190105:121750.825 database is down: reconnecting in 10 seconds
3363:20190105:121800.826 [Z3001] connection to database 'zabbix' failed: [2002] Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
3363:20190105:121800.826 database is down: reconnecting in 10 seconds
3363:20190105:121810.827 [Z3001] connection to database 'zabbix' failed: [2002] Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)
得知，zabbix无法连接mysql，修改zabbix配置文件来解决。
vim /etc/zabbix/zabbix_server.conf
DBHost=127.0.0.1 //在DBName=zabbix上面增加，此ip是根据zabbix服务器所在ip设定
DBPassword=liang //在DBuser下面增加
重启zabbix，zabbix监听10051端口。
5）web配置。
浏览器访问http://ip/zabbix/ [web界面下面配置zabbix]
点击“Next step”
找到“Fail”的选项，解决：修改php的timezone。
vim /etc/php.ini
重启httpd。
刷新页面，恢复正常。
点击“Next step”，继续配置。
完成web配置。
6）登录zabbix，zabbix的默认登录名密码为：
登录名：Admin
密码：zabbix
进入后台后第一件事就是要更改Admin密码。
7）修改登录密码。
语言可以改为中文。
8）忘记、重置登录密码
进入mysql命令行，选择zabbix库
mysql -uroot -puse zabbix
update users set passwd=md5(‘newpasswd’) where alias=‘Admin’;
这样就更改了Admin用户的密码
9）zabbix-agent客户端安装
下载资源库：wget repo.zabbix.com/zabbix/3.2/rhel/7/x86_64/zabbix-release-3.2-1.el7.noarch.rpm
安装扩展源：rpm -ivh zabbix-release-3.2-1.el7.noarch.rpm
安装zabbix客户端：yum install -y zabbix-agent
修改客户端配置：
vim /etc/zabbix/zabbix_agentd.conf
Server=127.0.0.1修改为Server=192.168.37.200 //定义服务端的ip（被动模式）
ServerActive=127.0.0.1修改为ServerActive=192.168.37.200 //定义服务端的ip（主动模式）
Hostname=Zabbix server修改为Hostname=liang-01 //这是自定义的主机名，一会还需要在web界面下设置同样的主机名启动zabbix客户端：systemcyl start zabbix-agentzabbix-agent监听的是10050端口。
[root@liang-03 ~]# netstat -nltp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:10050 0.0.0.0:* LISTEN 1445/zabbix_agentd
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 913/sshd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1001/master
tcp6 0 0 :::10050 :::* LISTEN 1445/zabbix_agentd
tcp6 0 0 :::22 :::* LISTEN 913/sshd
tcp6 0 0 ::1:25 :::* LISTEN 1001/master
[root@liang-03 ~]#
19.7 主动模式和被动模式
- 主动或者被动是相对客户端来讲的
- 被动模式，服务端会主动连接客户端获取监控项目数据，客户端被动地接受连接，并把监控信息传递给服务端
- 主动模式，客户端会主动把监控数据汇报给服务端，服务端只负责接收即可。
- 当客户端数量非常多时，建议使用主动模式，这样可以降低服务端的压力。
- 服务端有公网ip，客户端只有内网ip，但却能连外网，这种场景适合主动模式
19.8 添加监控主机
- 先添加主机组aming-test
- 再添加主机，主机名称和可见名称都写aming-02
- 群组选择aming_test
- IP地址填写客户端的ip 192.168.133.132
几个概念：应用集、监控项、触发器、图形、自动发现、web监测
应用集：监控项的集合，更加方便的管理监控项。
触发器：监控项目告警规则，级别，出现问题时会在监控主页显示
图形：用历史数据生成图标
自动发现规则：不同的机器可能分区和网卡不同。需自动发现
Web场景：监控具体的网页
19.9 添加自定义模板
- 可以自定义一个常用模板，方便给新增主机添加监控项目
- 自定义aming模板
- 把其他自带模板里面的某些监控项目（比如cpu、内存等）复制到aming模板里
- 定义触发器
- 添加图形
- 自动发现，找到Template OS Linux,点击右侧的自动发现，参考Mounted filesystem discovery和Network interface discovery定义规则
- 可以直接导出、导入模板，然后再删除不需要的对象
1、创建模板
2、增加监控项，从Template OS Linux模板中复制。
在增加“自动发现”时，不能够复制，这时我们有两种方法：
1）、导出模板，手动修改内容，只剩下“自动发现”
2）、链接模板。
之后在修改几个选项时，出现无法修改提示，这时需要取消链接来使修改能进行。
19.10 处理图形中的乱码
设置为中文后，zabbix图形的中文文字会显示小方框。这是因为在zabbix的字体库中没有中文字体，需要从windows上借用一个过来
vim /usr/share/zabbix/include/defines.inc.php //搜索ZBX_FONTPATH它定义的路径是“fonts”，它是一个相对路径，绝对路径为/usr/share/zabbix/fonts，而字体文件为“ZBX_GRAPH_FONT_NAME”所定义的“graphfont”，它是一个文件，绝对路径为/usr/share/zabbix/fonts/graphfont
windows字体路径为“C:\Windows\Fonts\”，找到“simkai.ttf”，先把它复制到桌面上，然后上传到linux的/usr/share/zabbix/fonts/，并且改名为graphfont.ttf
[root@liang-00 ~]# ls /usr/share/zabbix/fonts/graphfont.ttf
/usr/share/zabbix/fonts/graphfont.ttf
[root@liang-00 ~]# ll /usr/share/zabbix/fonts/graphfont.ttf
lrwxrwxrwx 1 root root 33 Jan 5 11:59 /usr/share/zabbix/fonts/graphfont.ttf -> /etc/alternatives/zabbix-web-font
[root@liang-00 ~]# ls /etc/alternatives/zabbix-web-font
/etc/alternatives/zabbix-web-font
[root@liang-00 ~]# ll /etc/alternatives/zabbix-web-font
lrwxrwxrwx 1 root root 38 Jan 5 11:59 /etc/alternatives/zabbix-web-font -> /usr/share/fonts/dejavu/DejaVuSans.ttf
[root@liang-00 ~]#
[root@liang-00 ~]# cd /usr/share/zabbix/fonts/
[root@liang-00 fonts]# mv graphfont.ttf graphfont.ttf.bak
[root@liang-00 fonts]# mv ~/simkai.ttf ./
[root@liang-00 fonts]# ln -s simkai.ttf graphfont.ttf
[root@liang-00 fonts]# ll
total 11512
lrwxrwxrwx 1 root root 10 Jan 5 23:28 graphfont.ttf -> simkai.ttf
lrwxrwxrwx 1 root root 33 Jan 5 11:59 graphfont.ttf.bak -> /etc/alternatives/zabbix-web-font
-rw-r--r-- 1 root root 11785184 Jan 5 23:21 simkai.ttf
[root@liang-00 fonts]#
配置完成后zabbix图形就能显示正常了。
监控项添加。
配置--主机--图像--创建图形
19.11 自动发现
自动发现规则在，模板中修改相关参数（图形颜色、绘图风格等）。
19.12 添加自定义监控项目
自定义监控项目，方便运营人员分析。
1、监控某台机器上80端口的连接数，并绘图
1）第一步、在客户端自定义脚本
#!/bin/bash
##获取80端口并发连接数
netstat -ant |grep ':80 ' |grep -c ESTABLISHED
~
~
更改执行权限：
chmod 755 /usr/local/sbin/estab_sh
在客户端上修改zabbix-agent配置文件：/etc/zabbix/zabbix_agentd.conf。
UnsafeUserParameters=1 //表示使用自定义脚本
UserParameter=my.estab.count[*],/usr/local/sbin/estab.sh //自定义监控项的key为my.estab.count，后面的[*]里面写脚本的参数，如果没有参数则可以省略，脚本为/usr/local/sbin/estab.sh重启客户端的zabbix-agent
在zabbix服务端验证配置是否成功。
[root@liang-00 ~]# zabbix_get -s 192.168.37.203 -p 10050 -k 'my.estab.count'
0
[root@liang-00 ~]#
2）第二步、在web监控中添加监控项。
我们还可以对并发链接数做一个触发器。
19.13 配置邮件告警
- 使用163或者QQ邮箱发告警邮件；
- 首先登录你的163邮箱，设置开启POP3、IMAP、SMTP服务；
- 开启并记录授权码；
- 然后到监控中心设置邮件告警；
- “管理”，“报警媒介类型”，“创建媒体类型”；
- {ALERT.SENDTO} ，{ALERT.SUBJECT}，{ALERT.MESSAGE}；
1、设置自己的邮箱开启POP3、IMAP、SMTP服务，开启并记录授权码：
2、zabbix监控中心设置邮件告警：
管理--报警媒介类型--创建媒体类型
3、在服务端创建报警脚本mail.py
其中mail.py脚本位置由zabbix配置文件定义：
内容地址：https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D22Z/mail.py
#!/usr/bin/env python
#-*- coding: UTF-8 -*-
import os,sys
reload(sys)
sys.setdefaultencoding('utf8')
import getopt
import smtplib
from email.MIMEText import MIMEText
from email.MIMEMultipart import MIMEMultipart
from subprocess import *
def sendqqmail(username,password,mailfrom,mailto,subject,content):
gserver = 'smtp.163.com'
gport = 25
try:
# msg = MIMEText(unicode(content).encode('utf-8')) //如果发送的邮件有乱码，可以尝试把这行改成如下：
msg = MIMEText(content,'plan','utf-8')
msg['from'] = mailfrom
msg['to'] = mailto
msg['Reply-To'] = mailfrom
msg['Subject'] = subject
smtp = smtplib.SMTP(gserver, gport)
smtp.set_debuglevel(0)
smtp.ehlo()
smtp.login(username,password)
smtp.sendmail(mailfrom, mailto, msg.as_string())
smtp.close()
except Exception,err:
print "Send mail failed. Error: %s" % err
def main():
to=sys.argv[1]
subject=sys.argv[2]
content=sys.argv[3]
##定义QQ邮箱的账号和密码，你需要修改成你自己的账号和密码（请不要把真实的用户名和密码放到网上公开，否则你会死的很惨）
sendqqmail('zhexiansql@163.com','##########','zhexiansql@163.com',to,subject,content)
if __name__ == "__main__":
main()修改权限：
chmod 755 mail.py
4、测试接收告警邮件。
python mail.py zhexiansql@163.com "alert-test" "chenggogjieshou"
python mail.py zhexiansql@163.com "alert-test1" "chenggogjieshou"
5、创建报警用户
创建一个接受告警邮件的用户，“管理”，“用户”，“创建用户”，“报警媒介”，类型选择“baojing-email”，注意用户的权限，如果没有需要到用户组去设置权限
1）用户配置
权限要先在用户群组中先设置。
检查创建的报警用户有无错误。
2）动作配置，具体的行为配置，触发器触发后的行为。
创建完成后的状态。
19.15-19.6 测试告警和不发送邮件问题排查
为了测试方便我们创建一个自定义触发器。
等待告警触发
收到邮件。
恢复后收到恢复邮件。
