前置结论:
1、chproxy只能通过http和https的方式进行访问clickhouse, 暂时不能通过mysql协议的方式.
官方: chproxy 是否支持 ClickHouse 的 Native 协议？
答: 不支持，应为我们所有的所有的应用只通过 HTTP 协议与 ClickHouse 通讯。可能会在未来增加对 Native 协议的支持。
2、测试如果出现异常,很有可能是并发数或执行时间太长造成的.
(由于各种原因，ClickHouse 的最大执行时间、最大并发语句可能会超过 max_execution_time 和max_concurrent_queries 的限制：
max_execution_time 可能会因为当前实现的缺陷而被超过。
max_concurrent_queries 只针对每个节点的限制。如果是在集群节点上，是没法限制集群整体的并发查询数量。)
官方介绍: https://www.chproxy.org/cn
在clickhouse集群中，每一台机器都是单独的实例，我们可以使用其中的一台作为查询机器。此时如何更好的完成负载均衡是我们所关注的，chproxy即是这么一个工具。
Chproxy, is an http proxy and load balancer for ClickHouse database.chproxy的优势
1、原生clickhouse集群的缺点
- ck通过本地表和分布式表来完成分布式查询与写入，这就导致语句执行初始数据库节点（配合zk进行协调处理操作）进行数据下发时产生大量的网络带宽消耗；
- 对于分布式表的写入，数据会先在分布式表所在的机器进行落盘，然后异步的发送到本地表所在机器进行存储，中间没有一致性的校验，存在数据一致性风险；
- 对于分布式表的写入，分布式表所在机器时如果机器出现down机，会存在数据丢失风险；
- 某些场景下，使用原生分布式表，会导致分片节点上数据写入分布不均匀；
- 谨慎使用on cluster的SQL，目前该语法还不是很完善，某些情况下会导致SQL hang住的情况；
- 对于分布式表的使用，建议只再个别节点创建，专门用来进行分布式查询操作；
2、chproxy的优化
- 直接通过chproxy进行轮询路由，将数据直接写入本地表，避免原生分布式表可能会产生的数据一致性、数据丢失的风险；
- 直接通过chproxy进行轮询路由，避免多分片表节点数据分布不均；
- 直接通过chproxy进行轮询路由，避免语句执行初始数据库节点进行数据下发时，产生的成倍的网络带宽消耗；
- chproxy可将ck集群划分为多个逻辑集群，不同逻辑集群按需进行配置（不同逻辑指定CK集群内指定节点，将数据写入、查询进行逻辑上的隔离，避免资源影响干扰等）
- 在Chproxy上层挂在负载均衡，可做到chproxy层面的高可用，也可横向扩展业务能力
- 对逻辑用户进行查询、访问、安全等限制；
chproxy作用
解析：从上层来看，构建了多个chproxy实例，使用LB来完成不同chproxy的访问均衡。针对ch集群，读操作是在分布表上，并且为其赋予readonly的账户。底层使用复制表存储数据，可通过replica写本地表。
数据应该写分布式表还是直接写本地表？
分布式表只用来读，而写入只写本地表。写分布式表好处是可以通过ch的分布表能力完成数据分发，包括随机分发或者指定hash值分发等，这样最终机器的数据分布大体上一致。特别通过hash值将某个组合列的数据分发到同一台数据，在使用查询时我们可以直接使用本地表进行联查join等操作，此时查询的效率会有较高的提升。（不过此处如果扩容，也会有一定的问题，感兴趣的可以一起讨论这个问题，什么样的hash最好，一致性hash可以解决这个问题么？）
分布表写入会出现一些问题，导致负载等升高，笔者就遇到过19.9版本分布式表写入会导致内存升高且不下降的问题，最终会被系统kill掉。
使用本地表写有很多种方式，可以自己写均衡模式，分别向集群中不同机器写数据，也可以通过外部的负载均衡来写入本地表，这种方式带来的弊端是有可能导致数据不均匀。当然如果数据量比较大，且每次写入的数据量差距不大，那这种方式就比较好了。
如何使用chproxy
第一步: 下载chproxy，可以直接在下方引文中下载，也可以通过命令下载：
$ mkdir -p /data/chproxy
$ cd /data/chproxy
$ wget https://github.com/Vertamedia/chproxy/releases/download/v1.14.0/chproxy-linux-amd64-v1.14.0.tar.gz
$ tar -xzvf chproxy-*.gz目录结构:
|-- cache
| |-- longterm
| | `-- cachedir
| | |-- 6b0533288f9a1f93023110b8cfa9b921
| | `-- 6d9798e2b0a16f6b841d9f6fd786a038
| `-- shortterm
| `-- cachedir
|-- chproxy
|-- config
| `-- config.yml
|-- logs
| `-- chproxy.out
`-- startup.sh第二步: 配置chproxy：
log_debug: false # debug日志
hack_me_please: true
# cache设置,可设置长期缓存或者短期缓存，按组区分
caches: # 缓存设置
- name: "longterm"
dir: "/home/work/tools/chproxy/cache/longterm/cachedir"
max_size: 100Gb
expire: 1h
grace_time: 60s
- name: "shortterm"
dir: "/home/work/tools/chproxy/cache/shortterm/cachedir"
max_size: 1000Mb
expire: 15s
# 网络白名单组，按组区分(只有这些网络可以访问chproxy)
network_groups: # 白名单组，可设置多个白名单组
- name: "cluster_online"
networks: ["10.173.1.0/24","10.173.2.0/24","10.173.3.0/24"]
- name: "cluster_offline"
networks: ["10.12.1.0/24"]
# 参数设置，按组区分
param_groups: # 参数组，可设置多个参数
- name: "cron-job"
params:
- key: "max_memory_usage"
value: "20000000000"
- key: "max_bytes_before_external_group_by"
value: "20000000000"
- name: "web_param"
params:
- key: "max_memory_usage"
value: "5000000000"
- key: "max_columns_to_read"
value: "30"
- key: "max_execution_time"
value: "30"
# chproxy server相关设置，一般分为http、https、metrics
server:
http:
listen_addr: ":8090" # chproxy 服务监听端口
allowed_networks: ["cluster_offline", "cluster_online"] # 允许访问chproxy服务白名单
read_timeout: 5m
write_timeout: 10m
idle_timeout: 20m
metrics:
allowed_networks: ["cluster_offline", "cluster_online"] # 暴露给prometheus使用的白名单
# 设置chproxy用户，按组区分
users:
- name: "dev" # chproxy 用户名
password: "dev******" # chproxy 密码
to_cluster: "offline_suzhou_bigdata01" # 用户可访问的cluster名称(这里要跟下面clusters的name名称一致)
to_user: "admin" # chproxy用户对应的ck用户(这里跟下面clusters的users下name一致)
deny_http: false # 是否允许http请求
allow_cors: true
requests_per_minute: 20 # 限制该用户每分钟请求次数
cache: "shortterm" # 使用缓存，若使用缓存，查询优先走缓存，而不是按照规则轮询
params: "cron-job" # 应用“web”指定的参数集
max_queue_size: 100 # 最大队列数
max_queue_time: 35s # 队列最大等待时间
- name: "default" # chproxy 用户
to_cluster: "online_alluxio_cluster_10shards_2replicas" # 不同的chproxy用户，可对应不同的cluster集群
to_user: "admin"
allowed_networks: ["cluster_offline", "cluster_online"] # 这里直接添加ip貌似不行, "10.224.1.100", "10.224.1.102"
max_concurrent_queries: 50
max_execution_time: 1m
deny_https: false
deny_http: false
cache: "longterm"
params: "web_param"
# 逻辑集群设置，按组区分
clusters:
- name: "offline_suzhou_bigdata01" # chproxy 集合名称
scheme: "http" # 请求类型，只支持http/https
nodes: ["suzhou-bigdata01.domain.com:8123"] # 集群可访问clickhouse节点，http使用端口默认为8123，https使用端口默认为8443，查看ck服务的config.xml配置文件查询
heartbeat: # 集群内部心跳检测定义
interval: 1m
timeout: 30s
request: "/?query=SELECT%201%2B1"
response: "2\n"
kill_query_user: # 达到上限自动执行kill用户
name: "default"
password: ""
users:
- name: "admin" # 集群对应clickhouse用户信息
password: "yyy**********"
max_concurrent_queries: 10
max_execution_time: 1m
# 多副本集群的配置
- name: "online_alluxio_cluster_10shards_2replicas" # chproxy 集群2名称，可从逻辑上定义多个集群
scheme: "http" # 只支持http和https两种, 目前不支持mysql的tcp协议
replicas: # 集群可访问clickhouse的cluster的副本节点配置,这里两个副本
- name: "replica1"
nodes: ["bigdata-work1.domain.com:8123", "bigdata-work2.domain.com:8123", "bigdata-work3.domain.com:8123", "bigdata-work4.domain.com:8123", "bigdata-work5.domain.com:8123"]
- name: "replica2"
nodes: ["bigdata-work2.domain.com:8123", "bigdata-work3.domain.com:8123", "bigdata-work4.domain.com:8123", "bigdata-work5.domain.com:8123", "bigdata-work1.domain.com:8123"]
users:
- name: "admin"
password: "xxx**********"
max_concurrent_queries: 30
max_execution_time: 1m配置详情见:官方地址 , 详情2
第三步: 脚本启动
#!/bin/bash
#cd $(dirname)
ps -ef | grep chproxy | grep -v grep | awk '{print }' | xargs kill -9
nohup ./chproxy -config=./config/config.yml >> ./logs/chproxy.out 2>&1 &第四步: 测试
1) 直接通过ch实例访问数据:
echo 'SELECT * from system.clusters limit 5' | curl 'http://bigdata-work1.domain.com:8123/?user=admin&password=*****' --data-binary @-
2)通过proxy代理访问数据:
echo 'SELECT * from system.clusters limit 10' | curl 'http://bigdata-work19.domain.com:8090/?user=dev&password=*****' --data-binary @-配置监控
通过prometheus和grafana进行监控
1、安装prometheus
1)、下载安装
tar xf prometheus-2.21.0.linux-amd64.tar.gz -C /usr/local2) 配置
vim prometheus.yml
- job_name: "clickhouse-chproxy"
static_configs:
- targets: ["domain-work19.domain.com:8090"]3) 启动服务
./prometheus &
2、安装grafana
1) 安装
tar xf grafana-7.1.5.linux-amd64.tar.gz -C /usr/local
2) 启动服务:
./grafana-server &
3) 配置datasource
保存即可
4) import 模版
模版json内容:
https://github.com/ContentSquare/chproxy/blob/master/chproxy_overview.json
点击load 即可.
测试:
配置信息注意点：
1）用户配置
- chproxy中定义了两种类型的用户：in-users、out-users
- in-users是指chproxy中逻辑上定义的用户，out-users是指ck中真实创建的用户
- 1个out-users可以对应1个或多个in-users，一些查询的限制如最大并发、最差查询时间等可以在out-users层做限制
2）集群设置
- chproxy集群可设置1个或多个逻辑集群，每个逻辑集群必须包含一个名称和节点列表、或者副本节点列表
- 对集群节点、副本节点之间的请求采用的是 round-robin + least-loaded 的均衡方式
- 如果在近期对某个节点请求不成功，该节点在很短的时间间隔内优先度会被自动降低。这意味着 chproxy 在每次请求中，会自动选择副本负载最小的健康节点
- 集群内部可通过心跳检测来检查各个节点的可用性，业务请求的路由会自动排除不可用节点
- 集群可通过kill_query_user的设置，自动kill掉达到 max_execution_time 限制的查询
- 若集群没有指定用户，默认使用default用户
3）缓存设置
- chproxy支持配置缓存设置，有利于加快查询速率
- 缓存可大致分为长期缓存和短期缓存
- 添加缓存后，请求会优先通过缓存查询返回结果集，一定程度上会看似各个请求路由不均衡，但是不影响整体的集群性能
4）安全设置
- hack_me_please默认情况下启动安全检查
- 可配置访问对象白名单
- 支持https