当前位置: 首页>后端>正文

elk日志平台怎么查询 elk日志解析

ELK日志系统分析

ELK的工作原理:

1.将日志进行集中化管理
2.将日志格式化(Logstash)并输出到Elasticsearch
3.对格式化后的数据进行索引和存储(Elasticsearch)
4.前端数据的展示(Kibana)

Elasticsearch特点:

分布式、零配置、自动发现、索引自动分片、索引副本机制、RESTful风格接口、多数据源、自动搜索负载
分片的主要原因:
水平分割扩展、增大存储量
分布式并行跨分片操作,提高性能和吞吐量

Logstash:

它只做三件事:数据输入、数据加工(过滤、改写)、数据输出,通过组合输入和输出,可以实现多种需求
Logstash的主要组件
Shipper:日志收集者
Indexer:日志存储者
Broker:日志Hub
Search and Storage : 允许对事件进行搜索和存储
Web Interface : 基于Web的展示页面

Kibana的功能:

Elasticsearch无缝之集成、整合数据、复杂数据分析、让更多团队成员受益、接口灵活、配置简单、可视化多数据源、简单数据导出

端口:

elasticsearch : tcp 9200
	elasticsearch-head : tcp 9100
	kibana: tcp  5601

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_linux,第1张

依据上图配置网络

在俩个ELK节点服务器上配置域名解析

Node1的配置

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_数据_02,第2张

Node2的配置

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_Elastic_03,第3张

检查Java环境

Node1

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_数据_04,第4张

Node2

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_Elastic_05,第5张

部署Elasticsearch软件

俩台Node都需要部署Elasticsearch软件

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_数据_06,第6张

配置文件修改内容(俩台步骤相同,只需改个节点名字)

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_07,第7张

开启服务

查看节点上的信息(打开浏览器输入http://Node服务器的IP:9200)

Node1

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_08,第8张

Node2

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_数据_09,第9张

打开浏览器输入http://Node服务器的IP:9200/_cluster/health?pretty 查看群集的健康情况,status值为green(绿色),表示节点健康运行

node1

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_elk日志平台怎么查询_10,第10张

node2

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_elk日志平台怎么查询_11,第11张

安装Elasticsearch—head插件(解压后的目录不能有中文路径)

编译安装Node,编译安装时间较长大约40min

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_elk日志平台怎么查询_12,第12张

安装phantomjs

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_13,第13张

安装Elasticsearch—head

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_elk日志平台怎么查询_14,第14张

修改Elasticsearch主配置文件

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_15,第15张

启动服务 必须在解压后的elasticsearch-head目录下启动服务,否则启动会失败

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_16,第16张

通过elasticsearch-head查看Elasticsearch信息,通过浏览器访问http://192.168.8.134:9100/并连接群集(可以看到群集很健康,健康值为绿色)

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_Elastic_17,第17张

插入一条索引

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_elk日志平台怎么查询_18,第18张

刷新浏览器,即可查看创建成功的索引

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_Elastic_19,第19张

安装Kibana

在Node1服务器上安装Kibana,设置Kibana的主配置文件

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_20,第20张

验证Kibana,浏览器访问http://192.168.8.134:5601,第一次登录需要添加一个Elasticsearch索引,添加前面船舰的index-demo

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_linux_21,第21张

查看索引的字段

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_22,第22张

Logstash安装及使用方法

将apache服务器的日志添加到Elasticsearch并通过Kibana显示

在apache上安装http、Logstash(需要java环境,安装之前检查当前机器java环境是否存在)

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_linux_23,第23张

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_linux_24,第24张

编写Logstash配置文件

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_Elastic_25,第25张

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_linux_26,第26张

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_27,第27张

通过浏览器访问http://192.168.8.134:9100查看索引是否创建

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_elk日志平台怎么查询_28,第28张

登录Kibana 单击“Create lndex Pattern”按钮添加索引

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_linux_29,第29张

根据刚才在配置文件中创建的索引名来配置

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_30,第30张

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_Elastic_31,第31张

还可以根据Fields进行归类显示

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_32,第32张

点击Discover选项卡,在中间那一栏下拉列表中查看刚添加的俩个索引

elk日志平台怎么查询 elk日志解析,elk日志平台怎么查询 elk日志解析_配置文件_33,第33张



https://www.xamrdz.com/backend/3sh1939792.html

相关文章: