目标
1.实现在流式数据处理时,做到At-Least-Once的能力,即保证数据不丢失,保证每条数据“至少被计算1次”。
2.实现Streaming任务在需要更新逻辑代码时,做到不停机滚动更新。
实现关键点
1.从上一次消费的Offset继续消费
2.Spark Streaming Gracefully Restart(优雅退出)
3.数据处理时增加重试,每个步骤打点log便于对账
第三点属于业务自己维护,下面不展开赘述。
从上次消费的地方继续消费
我们在消费Kafka消息通道时,实质上是将我们“消费的进度”(offset)上报到消息通道。
可见生产者会有一个offset,不同的consumer group也会有不同的offset,那么我们在消费的过程中,通过上报消费进度,并且下一次继续从这个offset消费,就实现了数据源的at-least-once。
这里为什么是at-least-once而不是exactly-once呢?
因为例如kafka默认的offset上报模式是自动上报,即隔几秒钟上报一次,那么我们可能在这几秒钟内,程序异常退出,offset没有得到上报,下次可能会消费一些重复数据。
Kafka支持程序侧自己维护offset上报时机,可以定制化的向exactly-once靠拢。
Gracefully Restart
优雅退出意为收到退出程序信号时,例如SIGTERM、SIGINT,程序处理完还没有处理完的数据,回收释放相应资源,再进行退出,而不是立刻退出(会丢失部分正在处理的数据)。
spark本身提供了
spark.streaming.stopGracefullyOnShutdown=true
参数配置,顾名思义,配置为true时,似乎就可以实现优雅退出了。
但是在google这条配置的过程中,逐渐发现了一些问题。
大致就是在Hadoop 2.8 + YARN的环境下(我们的集群Hadoop版本也是2.8,据说Hadoop3.x已经修复了这个问题),YARN对Spark实例发起SIGTERM之后,会有一个固定的,比较短的“等待时间”,时间过后立刻Kill实例,并不等待执行完成。
相关链接:
https://issues.apache.org/jira/browse/SPARK-25020
https://blog.csdn.net/zwgdft/article/details/85849153
这样一来,单纯配置参数并不能保证优雅退出。
我们的做法
既然无法通过参数保证,我们可以让Spark实例在合适的时机自己退出,而不是通过YARN去Kill。
StreamingContext有一个方法:
方法注释很明确,可以等待收到的数据全部处理完毕后在退出~,这样就符合我们的意愿了。
做法也比较简单,在PySpark实例启动时,单独启动一个thread,无限循环去监听某个标记位(可以是redisKey,HDFS Directory,或者甚至是在线配置API等等...),当标记位表明程序要退出了,我们调用stop方法,即可完成优雅退出。
streaming任务不停机更新
有时我们的实时流处理任务因需求、bug等原因,不得不进行代码逻辑的修改。
但spark任务需要提交到YARN集群上执行,并且默认不提供代码热更新,热重启的能力。
此时如果我们只维护一个Spark实例,更新代码时一定需要经历停止实例,更新代码,启动新实例这几个步骤;
这样一来,停机更新代码这段时间的用户数据,肯定无法被及时消费处理,并且从spark程序提交,到YARN分配资源开始执行,并不是瞬间完成的,这段间隔时间,线上用户会感到困惑,认为业务有问题,进而产生投诉的情况。
在我们看过的Golang程序中,都有热重启的功能支持,举例:
https://cloud.tencent.com/developer/article/1681685
其核心思想就是Fork-And-Execute,也就是在收到更新信号时,fork一个相同子进程,替换新的二进制文件,然后等待子进程处理结束,然后启动新的二进制文件,退出旧的程序。
我们的做法
使用两个application实例,一个作为Master主要使用,一个作为Replica备用
发布过程
1.Replica实例更新代码
2.启动Replica实例,与Master并行跑
3.优雅停止Master实例
4.Master实例更新代码,启动Master实例,与Replica并行跑
5.优雅停止Replica实例