基于k8s对微服务优雅升级

希望今年是最后一个疫情寒冬
已经三年没有和父母一起过年了
明年一定要在一起过年

背景

最近刚入职一家公司，被技术总监安排了个优雅升级的改造任务

服务上线的问题

在上线部署过程中会出现服务短暂不可用的问题，如下：
1、是先停止旧服务还是先升级新服务，如果先停止旧服务，如何保证旧服务中的业务执行完成，而且不会再接受到新的业务进来。如果先升级新服务，那么同样如何保证旧服务不会再接受到新的业务进来。
2、服务之间的调用通过注册中心，如何保证注册中心的服务是新服务，旧服务如何及时的剔除。

解决思路

1、通过k8s滚动升级，先启动新Pod，再停止旧Pod。避免业务出现不能使用的情况。
2、k8s容器生命周期结束前会回调hook的preStop，preStop调用服务接口，接口中执行从注册中心剔除本服务操作。此时老服务已经不能被调用。在超过terminationGracePeriodSeconds配置的30s后，最后直接强杀。此过程保证了老服务如果有业务未执行完成，在30s的时间内执行完成。
3、对eurekaServer和微服务的eureka配置及ribbon修改。

优雅升级改造步骤

一、k8s

通过k8s容器生命周期hook的preStop实现回调
官方说明 https://kubernetes.io/docs/concepts/containers/container-lifecycle-hooks/
1、修改k8s yml文件

        lifecycle:
          preStop:
            httpGet:
              path: /registerCenter/down
              port: 8848
              scheme: HTTP
      terminationGracePeriodSeconds: 30

2、修改k8s升级策略为滚动升级
滚动: 先启动新Pod，再停止旧Pod。最短准备时间30秒，30秒保证新的pod启动完成。

二、微服务

1、增加回调地址代码

@RequestMapping("/registerCenter")
public class RegisterCenterController {

    @GetMapping("/down")
    public String downServer() {
        log.info("从注册中心剔除本服务");
        DiscoveryManager.getInstance().shutdownComponent();
        return null;
    }
}

2、修改微服务yml配置

eureka:
  instance:
    prefer-ip-address: true
    lease-expiration-duration-in-seconds: 10
    lease-renewal-interval-in-seconds: 5
  client:
    registry-fetch-interval-seconds: 5

三、eureka注册中心

修改eurekaServer yml配置，关闭read-only缓存。

eureka:
 instance:
   prefer-ip-address: true
 server:
   enable-self-preservation: false
   #response-cache-update-interval-ms: 5000
   #renewal-percent-threshold: 0.4
   use-read-only-response-cache: false

四、ribbon服务列表拉取时间

ribbon每隔30s会去拉取服务列表，网上一大推的都是如下这种修改。
ribbon.ServerListRefreshInterval=5，经测试此配置不能使用。

阅读了ribbon的源码，通过如下方式进行修改ribbon拉取服务列表的间隔时间为3秒。

@Configuration
@Slf4j
public class RibbonConfig {

    @Bean
    public PollingServerListUpdater pollingServerListUpdater() {
        log.info("update ribbon pollingServerList 3s");
        return new PollingServerListUpdater(1000, 3000);
    }
}