当前位置: 首页>编程语言>正文

xxl-job源码阅读及理解

通过这几天对xxl-job源码的解读,已基本搞清楚大致流程,;

对于官方文档上的特性,作一点自己的理解

Features

1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;

ME:有配置界面,比较简单

2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;

ME:通过界面直接调用API,对任务进行管

3、调度中心HA(中心式):调度采用中心式设计,“调度中心”基于集群Quartz实现并支持集群部署,可保证调度中心HA;

ME:调度的核心是quartz, 只是重写了其中的Job; 通过数据库悲观锁来实现任务在集群的多台机器中只执行一次

4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;

ME:执行器是指业务所在服务器,现在的架构,一般应用都会进行集群部署

5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;

ME:执行器每隔30S进行一次服务注册,调度中心也是每隔30s执行一次,对每一个任务相关的执行器进行上下线处理

6、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;

ME:根据任务的路由策略来定

7、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;

ME:因为一个任务会有多个执行器与之注册关联,路由策略就是从多个执行器中选择一个执行器进行调度(分片广播时,所有的执行器都会被调度一次);

8、故障转移:任务路由策略选择"故障转移"情况下,如果执行器集群中某一台机器故障,将会自动Failover切换到一台正常的执行器发送调度请求。

ME:这个是在调度时会遍历每一个执行器进行心跳测试,如果健康,直接使用这个执行器,不健康则继续对下一个执行器进行测试

9、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;

ME:当任务执行比较耗时,一次任务还没运行结束下一个调度又过来了

丢弃后续调度,会触发调度失败的告警

单机失败,有可能会导致执行器一直在执行任务

覆盖之前调度,有可能造成执行器线程开启过多

建议,调整好cron表达式,选择丢弃后续调度

10、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;

ME: tag1.9.1 暂未发现

11、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;

ME: tag1.9.1 暂未发现

12、失败处理策略;调度失败时的处理策略,默认提供失败告警、失败重试等策略;

ME:失败告警,选与不选都会进行告警; 失败重试是指在调度失败时重试一次

13、分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务;

ME:因为执行器的上下线检测任务在调度中心是每30s执行一次,因此有可能有延迟,造成分片信息不准确,建议业务那边控制分片信息

14、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。

ME:建议当作广播使用,毕竟分片信息可能不那么准确

15、事件触发:除了"Cron方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。

ME:有API能过http直接调用

16、任务进度监控:支持实时监控任务进度;

ME: tag1.9.1 暂未发现

17、Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;

ME:调度结果存储在db里,确实可以随时查看,但执行器的日志是存储在执行器的磁盘文件中的,因此执行日志有可能丢失

18、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。

ME:暂不会使用

19、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS等类型脚本;

ME:暂不会使用

20、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;

ME:可以触发,且触发时的调用也是基础的quartz scheduler调用,比较快

21、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;

ME:quartz本身的机制; 这个是指任务的路由策略选择了非 “分片广播”时的不会同时触发的特性;

22、自定义任务参数:支持在线配置调度任务入参,即时生效;

ME:调度时通过http请求,将参数实时传入

23、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;

ME:quartz本身的机制

24、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;

ME:可以通过统一设定调度中心的token,来实现; token本身未加密

25、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;

ME:同意

26、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;

ME:同意

27、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;

ME:同意

28、全异步:系统底层实现全部异步化,针对密集调度进行流量削峰,理论上支持任意时长任务的运行;

ME:同意,调度异步,执行时异步,回调通知结果异步

29、国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;

ME:同意


https://www.xamrdz.com/lan/5q92016573.html

相关文章: