一、前言

本文属于Kubernetes工作实践类，工作中，在机器上安装好了kubernetes之后，需要同时安装好prometheus+grafana监控。

本文工程代码(node-exporter.yaml + prometheus.yaml + grafana.yaml)
www.syjshare.com/res/PVP90A7…

二、K8s监控系统架构

2.1 Prometheus简介

prometheus 官网：prometheus.io/
prometheus github ：github.com/kubernetes/…

grafana 官网：grafana.com/grafana/das…

对于开发，
官网的价值在于所有API都在这里
github的价值在于下载下来，定制化修改一下，就可以打一个镜像
常用功能直接百度/谷歌都有人做过，实际问题直接百度/谷歌都有人解决过

2.2 Prometheus架构

2.3 Prometheus知识普及

1、支持pull、push数据添加方式
2、支持k8s服务发现
3、提供查询语言PromQL
4、时序(time series)是由名字(Metric)以及一组key/value标签定义的
5、数据类型

三、K8s监控系统搭建

3.1 三类数据采集metrics

metrics 是一个接口然后将 metrics 的数据给普罗米修斯，下面介绍三类：
nodeExporter通过自己的 /metrics 接口得到数据，给prometheus；
静态pod通过自带的 /metrics 接口得到数据，给prometheus；

第一，K8S集群每个服务器数据

通过NodeExporter：github.com/prometheus/…

k8s集群每个机器node都安装一个NodeExporter（使用daemonSet部署方式就要确保每个node都安装上了）

理论支持：exporter 是一个数据采集工具，除了Node Exporter之外，还有HAProxy Exporter、MySQL Exporter、Redis Exporter和Rabbitmq Exporter。

第二，K8S集群每个组件数据：k8s每个组件都有metrics接口，如下：

ETCD:https://ip:2379/metrics
APIServer:https://ip:6443/metrics
ControllerManager:https://ip:10252/metrics
Scheduler:https://ip:10251/metrics

理论支持：k8s四个静态pod的kubectl底层都是有 restful 风格的接口支持的，所以通过 /metrics 接口获取数据是可行的。

第三，容器数据：通过cAdvisor，

3.2 Prometheus+Grafana

在master上创建prometheus目录

(1)创建命名空间ns-monitor

(2)创建node-exporter
namespace.yaml node-exporter.yaml prometheus.yaml grafana.yaml ingress.yaml
kubectl apply -f namespace.yaml
kubectl get namespace

(3)部署prometheus pod
包含rbac认证、ConfigMap等注意：记得修改prometheus.yaml文件中的ip为master的ip和path[PV需要使用到]

(4)部署grafana

(5)增加域名访问[没有域名好像没有灵魂] 前提：配置好ingress controller和域名解析

3.3 实践一下：将prometheus+grafana搭建起来

3.3.1 搭建

# 下载好镜像(所需要的三个镜像都可以下载到,无需科学上网)
docker pull prom/node-exporter:v0.16.0
docker pull prom/prometheus:latest
docker pull grafana/grafana:latest

# 新建目录和命名空间，并上传三个yaml到目录中
mkdir /root/ns-monitor   # 用来存放三个yaml文件
kubectl create ns ns-monitor  

# 配置好nfs和需要新增的目录
mkdir /nfs/data/prometheus
mkdir /nfs/data/grafana

# 第一步，安装nfs
yum install -y nfs-utils

# 第二步，创建nfs目录并授予权限 /nfs/data/nginx 这个目录就是nfs ip那个目录
# 创建nfs目录
mkdir -p /nfs/data/
# 授予权限
chmod -R 777 /nfs/data

# 第三步，编辑export文件并保存
# 编辑export文件 对于/nfs/data目录，授予可读可写权限、根目录权限、同步数据权限
vi /etc/exports
  /nfs/data *(rw,no_root_squash,sync)
# 使得配置生效
exportfs -r
# 查看生效
exportfs

# 第四步，启动rpcbind、nfs服务并验证
# 启动rpcbind、nfs服务，并验证两个服务启动 ps -ef|grep rpcbind ps -ef|grep nfs
systemctl restart rpcbind && systemctl enable rpcbind
systemctl restart nfs && systemctl enable nfs
# 查看rpc服务的注册情况
rpcinfo -p localhost
# showmount测试 　　
# showmount命令用于查询NFS服务器的相关信息 　　-e或--exports 显示NFS服务器的输出清单。
showmount -e master-ip  
showmount -e 192.168.100.151