netdata_prometheus_thanos
一、需求
指标丰富：包括系统CPU、内存、网络、IO、以及常用组件性能采集

秒级粒度：能做到秒级采集一次信息，以及保留采集更小粒度的能力

数据保留时间长：对于采集的数据保留足够长的时间，以便于对比历史发现问题

查询快：查询指标时需要响应要足够快

占用资源小：采集及查询是占用资源需要尽可能小

具备扩容能力：对于越来越大的业务规模，需要有扩容能力，能够在一定规模增长下通过扩容保证性能数据采集稳定

二、解决方案
1、针对指标丰富及秒级粒度需求，使用netdata满足，关于netdata请移步 netdata ；

     存在的问题：使用netdata同时引出了netdata  数据不能持久化、意外停止数据丢失的问题

2、解决 netdata 问题 可以通过prometheus采集netdata数据解决，关系型数据库无法满足这么长时间的性能要求

      存在的问题：prometheus没有降采样，导致长时间查询存在查询慢甚至无法查询的问题，同时单机prometheus采集能力有限，不具备扩容能力，并且存在单点风险

3、解决prometheus长时间数据查询慢一般通过降采样解决，即将超过一定时间的数据合并、请平均、最大或最小值等保留下来，prometheus不具备降采样能力，需要通过thanos 降采样功能解决。

     对于单机prometheus无扩容能力、单点问题，有两种方案：

        a、使用prometheus联邦集群，总的逻辑为分治，即按业务、网络等划分可用区，每个可用区一个prometheus，一个中心prometheus用于获取每个可用区数据，架构如下图所示，具体可参考：https://prometheus.io/docs/prometheus/latest/federation/

        b、使用thanos，水平扩展prometheus节点，通过thanos query将多个prometheus节点数据去重，同时将prometheus抓取数据移到对象储存，以实现数据持久化，防止单点故障丢失数据等问题，具体架构如下图，具体可以参考：https://thanos.io/design.md/

                         ①：prometheus节点 + sidecar，一个prometheus节点对应一个 sidecar，prometheus负责采集数据，sidecar负责将prometheus采集的数据合并，上传到储存桶中，用于数据持久化及降采样，这部分可水平扩展

                         ②：thanos 查询器，负责代理prometheus查询语句执行，从Store或Sidecar查询，并将查询结果去重，查询方法与prometheus一致

                         ③：储存桶：一般是对象储存，也可以使用文件系统，可水平扩展，具体参考：https://thanos.io/storage.md/

                         ④：store：负责实现历史数据查询API，提供给查询器查询，也可以直接通过API接口查询数据，查询方法与prometheus一致





     prometheus联邦模式并没有解决长时间查询慢的问题，同时存在每个可用区prometheus挂掉丢失数据的单点故障风险，所以选择方案2，具体架构如下图：

三、实施
1、netdata

     每台机器均需要安装netdata，资源消耗与采集指标与保留时间相关，目前默认为5s一次，1500个指标保留一天，内存消耗约100M，加上其他内存，内存消耗约在100~150M，netdata内存消耗线性，可按比例计算。

     具体请移步至 netdata

2、prometheus

    prometheus运行于216.204:/data/monitor_data/prometheus，设置block大小为2h，保留最近15天数据，每50台机器（每个机器约1500个指标）消耗 2G 内存。

    prometheus配置文件216.204:/data/monitor_data/prometheus/prometheus.yml，数据收集请移步 netdata数据收集

    cbas和rzzx的netdata数据，由于vlan不互通，每台机器开映射过于反锁，故通过nginx代理获取

    启动命令：./prometheus --storage.tsdb.min-block-duration=24h --storage.tsdb.max-block-duration=24h >> prometheus.log  2>&1 &

    storage.tsdb.min-block-duration 和 storage.tsdb.max-block-duration 为 prometheus存储块的大小，在使用thanos时，两者因一致，最小2h最大36h，可根据内存大小设置

3、thanos https://thanos.io/

    thanos运行于216.204:/data/monitor_data/thanos，主要分为三个部分：

    a、sidecar 主要提供prometheus查询代理，查询方法与prometheus一致，并负责把prometheus block合并并传到 Bucket中，以实现数据持久化及提供给降采样和store

        启动命令：./thanos sidecar --tsdb.path /data/monitor_data/prometheus/data --prometheus.url "http://localhost:9090" --http-address 0.0.0.0:19191 --grpc-address 0.0.0.0:19090 --objstore.config-file bucket_config.yaml --log.level=debug >> thanos_sidcar.log 2>&1 &

    b、store 主要提供存在Bucket中的数据查询，并提供查询接口，查询方法与prometheus一致

        启动命令：./thanos store --data-dir  /data/monitor_data/thanos/thanos-store --objstore.config-file bucket_config.yaml --http-address 0.0.0.0:19193 --grpc-address 0.0.0.0:19092 --log.level=debug >> thanos_store.log 2>&1 &

    c、query 主要提供从sidecar和store查询、去重

        启动命令：./thanos query --http-address 0.0.0.0:19192 --store 127.0.0.1:19090 --store 127.0.0.1:19092 --log.level=debug >> thanos_query.log 2>&1 &

    d、compact 主要对在Bucket中大于40h的数据进行5m降采样，和对大于14d的数据进行1h降采样

        启动命令：./thanos compact -w --data-dir /data/monitor_data/thanos/thanos-compact --retention.resolution-raw=16d --retention.resolution-5m=30d --retention.resolution-1h=366d --objstore.config-file bucket_config.yaml  --log.level=debug >> thanos_compact.log 2>&1 &

    e、tools bucket web

        启动命令：./thanos tools bucket web --objstore.config-file bucket_config.yaml

        在web中查看存储桶，无需常驻，默认端口10902，http://192.168.216.204:10902/

        清理脚本216.204:/root/shell/thanos_bucket_clean.py

        python thanos_bucket_clean.py -b 参数即为要删除最旧的block个数

        因wal回滚需要，建议剩余存储空间不小于100G，至少不少于5倍block大小

4、资源消耗

        存储空间：30s 粒度，压缩level3，500台机器 平均1.5k指标每台，20G；5m 粒度，压缩level3，500台机器 平均1.5k指标每台，8G；1h 粒度，压缩level4，500台机器 平均1.5k指标每台，预估2G