2.1 Logstash简介
2.1.1 Logstash是什么？
- Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地
-
2013 年，Logstash 被 Elasticsearch 公司收购，ELK stack 正式成为官方用语
2.1.2 Logstash的作用
-
Logstash是一个开源数据收集引擎，具有实时管道功能。
2.1.3 Logstash的输入源
-
能够以连续的流式传输方式，轻松地从日志、指标、Web 应用、数据存储以及各种AWS服务采集数据。
2.1.4 Logstash的输入—日志和指标
- 处理所有类型的日志数据
- 很容易摄取大量的web日志（如Apache）和应用程序日志（如Java的log4j）
- 捕获许多其他日志格式，如syslog、网络和防火墙日志等等
- 从Ganglia、collectd、NetFlow、JMX收集指标，和许多其他基础设施，以及TCP和UDP上的应用程序平台
2.1.5 Logstash的输入—网络
- 将HTTP求转换为事件
- 使用像Twitter这样的web服务防火墙进行社交情绪分析
- 对GitHub、HipChat、JIRA和无数其他应用程序的Webhook支持
- 支持许多监控用例
- 根据需要通过轮询HTTP端点创建事件
- 普遍地从web应用程序接口捕获健康、性能、指标和其他类型的数据
- 更适合于轮询控制而不是接收的场景
2.1.6 Logstash的输入—数据和流
- 更好地理解来自任何关系数据库或具有JDBC接口的NoSQL存储的数据
- 统一不同的数据流，如Apache Kafka、RabbitMQ和Amazon SQS
- Logstash是一个常见的事件收集主干，用于从移动设备发送数据到智能住宅、连接的车辆、医疗传感器和许多其他行业特定的应用程序
2.1.7 Logstash的过滤功能
- 过滤器是Logstash管道中的中间处理设备，常用过滤器包括：
- grok：解析和构造任意文本，Grok是目前Logstash中解析非结构化日志数据到结构化和可查询数据的最佳方式，使用内置的120种模式
- mutate：对事件字段执行一般的转换，你可以重命名、删除、替换和修改事件中的字段。
- drop：完全删除事件，例如debug事件
- clone：复制事件，可能添加或删除字段
- geoip：添加关于IP地址地理位置的信息
2.1.8 Logstash多种输出
- 将数据路由到最重要的地方，通过存储、分析和对数据执行特定的操作：
- 分析：Elasticsearch、数据存储，如MongoDB。
- 归档：HDFS、S3。
- 监控：Nagios、Ganglia、Zabbix、Graphite、Datadog、CloudWatch。
- 提醒：使用Elasticsearch Watcher、Email、IRC、SNS。
2.1.9 Logstash的管道
-
Logstash事件处理管道有三个阶段：输入→过滤器→输出
2.1.10 Logstash的角色
-
Logstash 社区通常习惯用shipper，broker 和 indexer 来描述数据流中不同进程各自的角色。
大数据视频推荐：
腾讯课堂
CSDN
ELK入门精讲
AIOps智能运维实战
ELK7 stack开发运维
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通