安装
- 进入/elasticsearch-6.1.0目录,修改elasticsearch.yml,使任何主机都能访问ES
cd ./elasticsearch-6.1.0
vim ./config/elasticsearch.yml
# 将network.host:前的#去掉,修改为
network.host:0.0.0.0
- 改sysctl.conf文件 命令:
sudo vim /etc/sysctl.conf
# 增加如下一行
vm.max_map_count=655360
- 执行如下命令使之生效
sudo sysctl -p
- 启动ES,使用浏览器访问9200端口,
./bin/elasticsearch
- 访问虚拟机地址的9200端口,[虚拟机IP]:9200
- 说明启动成功。
将Logstash结果输出到ES
- ES启动后就能够添加数据了,常用的方式是使用Logstash监控数据文件,将结果输出到ES。
- 修改Logstash-plain.conf配置文件,将输入配置设置为ES,
cd /usr/local/logstash
vim logstash-plain.conf
# 配置文件内容如下
input{
file{
path => ['/opt/lampp/logs/access_log']
type => 'logstash_access_log'
start_position => "beginning"
}
}
filter{
grok{
match => {
"message"=>"%{IP:ip}"
}
}
}
output{
elasticsearch{
hosts => ["localhost:9200"]
index => "httpd_logdata-%{+YYYY.MM.dd}"
}
}
- 保存配置文件。
- 启动web服务(apache)
cd /opt/lampp
sudo ./xampp startapache
测试web服务:
在浏览器地址栏输入:虚拟机的IP地址
能打开测试网页就说明web服务启动正常。
- 执行logstash
cd /usr/local/logstash
logstash -f ./logstash-plain.conf
Kibana可视化平台
- 启动Kibana,在启动前应确保Elasticsearch已经启动,命令如下
kibana
- 通过浏览器访问5601端口,查看Kibana界面
Kibana高频功能
创建索引
使用Logstash将数据采集到Elasticsearch中后,如果想在Kibana中对数据进行分析搜索,需要在Kibana中创建索引。
- 创建索引第一步是模式匹配,匹配的是Logstash输出配置中的index,当有多个index满足用户输入的匹配模式时,会将多个index中的数据创建到同一个索引中,匹配完成后提示“success”
- 点击“Next step"设置时间过滤器字段名称,选择”@timestamp",
- 点击create index pattern
创建图表
- 点击右侧面板的visualize页面创建图表
- X-axis选择 Terms
- Field 选择 ip.keyword 即以IP地址来统计数量
- 点击应用按钮
- 点击上方所得save按钮,保存可视化结果。