当前位置: 首页>编程语言>正文

连接kafka集群 不取brokers kafka必须集群吗

目录

操作系统

磁盘

磁盘容量

带宽

总结


上篇总结了kafka各个版本的差异,了解了改怎样正确选择kafka版本。下面从操作系统,磁盘,带宽各方面来做一下总结。

作为一个集群,当然首先是集群各个节点的机器。平时学习中,我们都是用单台机器做的伪集群。伪集群做测试学习还可以,生产上,绝对是要用真实机器的。

操作系统

我们知道Kafka是由Scala和Java开发的,都是JVM系的语言。而且昨晚Javaer都知道,只要他们编译成*.class字节码后就可以在任何装了虚拟机的操作系统上运行,这叫做跨平台,这叫做Compile once and run everywhere。我们现在要说的不是JVM系语言本身,而是Kafka。我们知道不同操作系统,对有些模式的实现是不一样的。例如我们学netty的时候,就会学netty对不同操作系统的支持,其实就是不同操作系统对I/O操作实现的方式是不一样的,有性能差异。

目前比较主流的操作系统有三个Windows、Linux、macOS。为什么我们平时开发大都用linux做服务器能?我打算从Kafka本身去思考这个问题。总结原因有以下三条:

  • I/O 模型的使用
  • 数据网络传输效率
  • 社区支持度

主流的I/O模型有五种:

阻塞、非阻塞,多路复用,I/O复用(select 和 epoll),信号驱动,异步

这里就不必详细的去理解这些词汇代表的概念了,只需要知道这五种按顺序,一个比一个能,一个比一个高级就行了。其中同样是I/O复用,Linux的epoll就比Windows的select高级性能好。

  1. 我记得在之前学习Netty的时候说netty对三种IO的支持BIO,NIO,AIO,最后Netty取消AIO,原因是NIO Linux支持比Windows好,但是AIO Windows支持比Linux好的多。NIO大概对应的就是复用模型,AIO对应的是异步模型。很少见有人用macOS做服务器吧?我想就算Apple也会想节约成本呢。所以就不考虑它了吧?从I/O性能来讲,肯定Linux是最佳的。
  2. 接下来就是数据网络传输效率,我们知道Kafka传输消息都是同过网络传输的,而消息的保存Kafka的log是写在磁盘上的。Linux有一种技术叫做零拷贝(Zero-copy),先看一张图:

连接kafka集群 不取brokers kafka必须集群吗,连接kafka集群 不取brokers kafka必须集群吗_Windows,第1张

我们看到当用户进程发起了一个read()操作一直到结束,用户态和内核态一共切换了两次上下文切换。而零拷贝并不是一次都不拷贝,而是要做到CPU零参与,减少昂贵的内核态拷贝。不占用CPU,CPU就可以去做其他事,从而达到复用的目的,这样操作系统就可以做更多的事,效率就会增加很多很多。像Kafka这种可以支持高吞吐量的,性能的提高,就更不用多说了。至于零拷贝怎么实现的,以后再说。

3.最后是社区支持度,首先Linux开发者肯定是比Windows多得多,当然我们得说Kafka,它在Windows上面的BUG开发人员几乎都是忽视的。所以你知道该怎么选了吧?

磁盘

众所周知,磁盘是影响IO性能的重要因素,固态硬盘在随机读写方面远远超过机械硬盘。但这里建议使用机械硬盘,因为Kafka的顺序读写,刚刚好规避了随机读写性能差的短板,而且它成本低,经济又实用。有人说它易损坏,不用愁啊,Kafka在软件层面就解决了这个问题(副本集)。所以,追求性价比的话,可以不用固态硬盘,机械硬盘完全可以了。

磁盘容量

我们知道,Kafka的消息都是以日志文件的方式追加到磁盘上的,虽然Kafka本省有历史数据的清除机制,有三种日志清除策略可选择:

  1. 基于时间
  2. 基于日志大小
  3. 基于起始偏移量

但是根据业务的需求规划出集群搭建所需磁盘容量。

假设业务需要一个数据的副本,一条消息的大小为1kb,一天有1亿数据的量,消息默认保存两周。那么占的磁盘总量就是1亿*1kb*2/1000/1000 = 200GB 而且还需要预留出10%的空间来存储像索引等数据。那就是220GB的容量。那么两周就是220GB*14天 约等于3TB。Kafka可以压缩数据,如果压缩比例是0.75,那么容量就是3TB *0.75 =2.25TB。总之磁盘容量规划需要get的点有:

  1. 新增消息数量
  2. 消息保留时间
  3. 平均消息大小
  4. 备份数据的份数
  5. 是否数据压缩

带宽

kafka这种大量进行网络传输的框架来说,贷款很容易变成它的瓶颈。如果还要跨机房传输,那情况会更糟。

假设是千兆网也就是1Gbps。如果业务需求是一小时处理1TB的数据,那么需要多少kafka服务台机器来完成这件事情呢?

通常你还需要给其他业务预留30%的带宽,也就是说你最多只能用70%,就是700Mb。这只是它能使用的最大带宽,相当保守估计,你需要预留出2/3的带宽资源(这部分资源是预留给像操作系统其它进程还有follower拉取leader数据所占的带宽资源)。你可以根据你的业务实际情况酌情减小这个值。那么单台可用带宽资源就是700Mb/3 ≈240Mbps。现在带宽有了我们就可以计算一小时处理1TB数据所需机器数量了,1024/3600 = 0.284GB/s = 285MB/s,285MB/s*8=2280Mb,所以就是2280Mb/240Mb ≈10,就是10台机器,如果要两个副本集,那就是 要乘以3,就是30台。

总结

所谓工欲善其事必先利其器,如果项目上线了再去调整这些,会很麻烦,所以在集群搭建的过程中我们就要把方方面面的因素考虑到。

连接kafka集群 不取brokers kafka必须集群吗,连接kafka集群 不取brokers kafka必须集群吗_数据_02,第2张

说明:

  1. 文中的B值的是Byte ,b指的是bit
  2. 1Byte  = 8bit
  3. 文中的70%来自实际经验,超过这个值会出现网络丢包的风险

注:图片来自极客时间

 

 


https://www.xamrdz.com/lan/5t81931486.html

相关文章: