阿里巴巴:alimonitor 监控、小米:minos,还有Zabbix、Ganglia等。
监控系统可以了解系统的负载、预警、解决异常问题、采集系统核心指标、调优与合理利用资源,最终实现系统的稳定和可靠。
监控可以分为业务监控和机器监控。
机器监控
如CPU、网络、内存、磁盘等机器的核心指标。业务监控
主要与业务相关的监控,如HBASE的分区服务器进程、业务应用是否正常提供服务、业务负载是否均衡以及业务异常出现的上下文等。
Hadoop与HBASE自带http监控页面与接口业务监控指标
Hadoop监控
- WEB监控界面
hadoop自带的web页面提供了最基本的集群监控信息,包括节点运行状态、节点磁盘空间使用率、节点JVM内存使用情况、MP任务运行情况,web监控页面地址。 - JMX
- 客户端API
HBASE监控
阿里巴巴:alimonitor 监控、小米:minos,还有Zabbix、Ganglia等监控HBASE集群各节点机器的指标,通过自定义的服务定时拉取Hadoop\HBASE JMX相关数据并持久化,最后通过一个自定义的控制台展示这些指标,并且集成企业内部的监控报警系统用来预警。
Web监控页面
HBase Web监控页面与Hadoop Web监控页面相比可看到的监控信息大大增加,包括HRegionServer的启动情况、内存使用情况、每秒请求数(QPS)、每个分区服务器的分区负载、每个分区服务器正在执行的任务、HBase表分区运行情况、每个分区的StoreFile文件个数与大小等。监控地址为http://masterhost:16010。