当前位置: 首页>后端>正文

k8s StatefulSet nfs 实现分布式文件存储 k8s最好的分布式存储方案

1. 什么是etcd
   etcd是一个分布式一致性键值存储系统,用于共享配置和服务发现,
   etcd基于raft协议实现数据同步(K-V数据),集群由多个节点组成。

   raft协议理解起来相比paxos并没有简单到哪里,因为都很难理解,所以我简单描述一下:

      每次写入都是在一个事务(tx)中完成的。
      一个事务(tx)可以包含若干put(写入k-v键值对)操作。
      etcd集群有一个leader,写入请求都会提交给它。
      leader先将数据保存成日志形式,并定时的将日志发往其他节点保存。
      当超过1/2节点成功保存了日志,则leader会将tx最终提交(也是一条日志)。
      一旦leader提交tx,则会在下一次心跳时将提交记录发送给其他节点,其他节点也会提交。
      leader宕机后,剩余节点协商找到拥有最大已提交tx ID(必须是被超过半数的节点已提交的)的节点作为新leader。
      
   这里最重要的是知道:

      raft中,后提交的事务ID>先提交的事务ID,每个事务ID都是唯一的。
      无论客户端是在哪个etcd节点提交,整个集群对外表现出数据视图最终都是一样的。

 

2. 通过kubespray部署的 host etcd cluster  (etcd v3.2.26)

    /bin/bash /usr/local/bin/etcd

    cat /usr/local/bin/etcd   // 通过docker容器启动了etcd
        #!/bin/bash
        /usr/bin/docker run \
        --restart=on-failure:5 \
        --env-file=/etc/etcd.env \      // 这个是主要的配置文件
        --net=host \
        -v /etc/ssl/certs:/etc/ssl/certs:ro \
        -v /etc/ssl/etcd/ssl:/etc/ssl/etcd/ssl:ro \
        -v /var/lib/etcd:/var/lib/etcd:rw \
        --memory=512M \
        --blkio-weight=1000 \
        --name=etcd1 \
        quay.io/coreos/etcd:v3.2.26 \
        /usr/local/bin/etcd \
        "$@"

 

3. 集群配置

    /etc/etcd.env配置文件有集群的信息:
    ETCD_INITIAL_CLUSTER=etcd1=https://192.168.2.89:2380,etcd2=https://192.168.2.90:2380,etcd3=https://192.168.2.91:2380

    --data-dir:服务运行数据保存的路径   //数据路径,如何备份?
    --snapshot-count:指定有多少事务(transaction)被提交时,触发截取快照保存到磁盘
    --heartbeat-interval:leader 多久发送一次心跳到 followers。默认值是 100ms
    --eletion-timeout:重新投票的超时时间,如果follower在该时间间隔没有收到心跳包,会触发重新投票,默认为 1000 ms
    --listen-peer-urls:和同伴通信的地址,比如 http://ip:2380,如果有多个,使用逗号分隔。需要所有节点都能够访问,所以不要使用 localhost
    --advertise-client-urls:对外公告的该节点客户端监听地址,这个值会告诉集群中其他节点
    --listen-client-urls:对外提供服务的地址:比如 http://ip:2379,http://127.0.0.1:2379,客户端会连接到这里和etcd交互
    --initial-advertise-peer-urls:该节点同伴监听地址,这个值会告诉集群中其他节点
    --initial-cluster:集群中所有节点的信息,格式为 node1=http://ip1:2380,node2=http://ip2:2380,…。需要注意的是,这里的 node1 是节点的--name指定的名字;后面的ip1:2380 是--initial-advertise-peer-urls 指定的值
    --initial-cluster-state:新建集群的时候,这个值为 new;假如已经存在的集群,这个值为existing
    --initial-cluster-token:创建集群的token,这个值每个集群保持唯一。

    kube-apiserver这个容器进程,会带有etcd相关的参数:

    --etcd-cafile=/etc/ssl/etcd/ssl/ca.pem --etcd-certfile=/etc/ssl/etcd/ssl/node-k8s-master-2.pem --etcd-keyfile=/etc/ssl/etcd/ssl/node-k8s-master-2-key.pem --etcd-servers=https://192.168.2.89:2379,https://192.168.2.90:2379,https://192.168.2.91:2379

    (有两个端口:2379,2380; 2379是用来给客户端访问服务的,对外的。2380是集群节点间通信的,对内的)

 

4. 数据存储与发现
    
    ETCDCTL_API=3 etcdctl member list

    watch 监听
        watch 会监听key的变动 有变动时会在输出。这也正是服务发现需要使用的。

    我们监听 test键,然后对test执行修改和删除操作
    ETCDCTL_API=3 etcdctl watch test

    命令使用:
        export ETCDCTL_API=3
        
        etcdctl --help
        --cert=""    identify secure client using this TLS certificate file
        --key=""    identify secure client using this TLS key file

        cd  /etc/ssl/etcd/ssl
        
        // 集群成员
        etcdctl --cert=./ca.pem --key=./ca-key.pem member list  
        
        // 集群状态
        etcdctl --cert=./ca.pem --key=./ca-key.pem  --endpoints 192.168.2.89:2379,192.168.2.90:2379,192.168.2.91:2379 endpoint status  --write-out="table"   

        ETCDCTL_API=3 etcdctl --cert=./ca.pem --key=./ca-key.pem  put  test1 a
        ETCDCTL_API=3 etcdctl put test2 b
        ETCDCTL_API=3 etcdctl put test3 c
        ETCDCTL_API=3 etcdctl  --cert=./ca.pem --key=./ca-key.pem get --prefix test

        export ETCDCTL_API=3

        etcdctl  --cert=./ca.pem --key=./ca-key.pem put /json/user/a1 12
        etcdctl  --cert=./ca.pem --key=./ca-key.pem put /json/user/a2 13
        etcdctl  --cert=./ca.pem --key=./ca-key.pem watch --prefix  /json

        // k8s API对象
        get /registry/namespaces --prefix -w=fields
        get /registry/configmaps --prefix -w=fields
        get /registry/pods --prefix -w=fields

        get /registry/namespaces/default -w=json|python -m json.tool
        get /registry/namespaces --prefix -w=json|python -m json.tool    

 


https://www.xamrdz.com/backend/3c41937747.html

相关文章: