文档章节

使用Prometheus监控kubernetes集群

openthings
 openthings
发布于 2018/04/11 15:34
字数 968
阅读 484
收藏 4

使用Prometheus监控kubernetes集群

⚠️注意:Prometheus和Grafana已经支持helm快速安装(https://my.oschina.net/u/2306127/blog/1828656),下面的方法不建议使用。

--------------------------------------------------------------

一键安装(网络可访问quay.io):

kubectl apply --filename https://raw.githubusercontent.com/giantswarm/kubernetes-prometheus/master/manifests-all.yaml

操作面板(到https://github.com/giantswarm/kubernetes-prometheus下载文件):

kubectl apply --filename ./manifests/grafana/import-dashboards/job.yaml

 

国内:

我们使用 Giantswarm 开源的 kubernetes-promethues 来监控 kubernetes 集群,所有的 YAML 文件可以在 ../manifests/prometheus 目录下找到。

需要用到的镜像有:

  • sz-pg-oam-docker-hub-001.tendcloud.com/library/prometheus-alertmanager:v0.7.1
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/grafana:4.2.0
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/giantswarm-tiny-tools:latest
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/prom-prometheus:v1.7.0
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/kube-state-metrics:v1.0.1
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/dockermuenster-caddy:0.9.3
  • sz-pg-oam-docker-hub-001.tendcloud.com/library/prom-node-exporter:v0.14.0

同时备份到时速云:

  • index.tenxcloud.com/jimmy/prometheus-alertmanager:v0.7.1
  • index.tenxcloud.com/jimmy/grafana:4.2.0
  • index.tenxcloud.com/jimmy/giantswarm-tiny-tools:latest
  • index.tenxcloud.com/jimmy/prom-prometheus:v1.7.0
  • index.tenxcloud.com/jimmy/kube-state-metrics:v1.0.1
  • index.tenxcloud.com/jimmy/dockermuenster-caddy:0.9.3
  • index.tenxcloud.com/jimmy/prom-node-exporter:v0.14.0

:所有镜像都是从官方镜像仓库下载下。

部署

我将部署时需要用的的配置文件分成了 namespace、serviceaccount、configmaps、clusterrolebinding 和最后的部署 prometheus、grafana 的过程。

## 创建 monitoring namespaece
kubectl create -f prometheus-monitoring-ns.yaml
## 创建 serviceaccount
kubectl create -f prometheus-monitoring-serviceaccount.yaml
## 创建 configmaps
kubectl create -f prometheus-configmaps.yaml
## 创建 clusterrolebinding
kubectl create clusterrolebinding kube-state-metrics --clusterrole=cluster-admin --serviceaccount=monitoring:kube-state-metrics
kubectl create clusterrolebinding prometheus --clusterrole=cluster-admin --serviceaccount=monitoring:prometheus
## 部署 Prometheus
kubectl create -f prometheus-monitoring.yaml

访问 kubernetes 任何一个 node 上的 Grafana service 的 nodeport:

Grafana页面

图片 - Grafana页面

该图中的数据显示明显有问题,还需要修正。

prometheus-monitoring.yaml 文件中有一个 Job 就是用来导入 grafana dashboard 配置信息的,如果该 Job 执行失败,可以单独在在 monitoring 的 namespace 中启动一个容器,将 manifests/prometheus 目录下的 json 文件复制到容器中,然后进入容器 json 文件的目录下执行:

 for file in *-datasource.json ; do
              if [ -e "$file" ] ; then
                echo "importing $file" &&
                curl --silent --fail --show-error \
                  --request POST http://admin:admin@grafana:3000/api/datasources \
                  --header "Content-Type: application/json" \
                  --data-binary "@$file" ;
                echo "" ;
              fi
            done ;
            for file in *-dashboard.json ; do
              if [ -e "$file" ] ; then
                echo "importing $file" &&
                ( echo '{"dashboard":'; \
                  cat "$file"; \
                  echo ',"overwrite":true,"inputs":[{"name":"DS_PROMETHEUS","type":"datasource","pluginId":"prometheus","value":"prometheus"}]}' ) \
                | jq -c '.' \
                | curl --silent --fail --show-error \
                  --request POST http://admin:admin@grafana:3000/api/dashboards/import \
                  --header "Content-Type: application/json" \
                  --data-binary "@-" ;
                echo "" ;
              fi
            done

这样也可以向 grafana 中导入 dashboard。

存在的问题

该项目的代码中存在几个问题。

1. RBAC 角色授权问题

需要用到两个 clusterrolebinding:

  • kube-state-metrics,对应的serviceaccountkube-state-metrics
  • prometheus,对应的 serviceaccount是 prometheus-k8s

在部署 Prometheus 之前应该先创建 serviceaccount、clusterrole、clusterrolebinding 等对象,否则在安装过程中可能因为权限问题而导致各种错误,所以这些配置应该写在一个单独的文件中,而不应该跟其他部署写在一起,即使要写在一个文件中,也应该写在文件的最前面,因为使用 kubectl 部署的时候,kubectl 不会判断 YAML 文件中的资源依赖关系,只是简单的从头部开始执行部署,因此写在文件前面的对象会先部署。

解决方法

也可以绕过复杂的 RBAC 设置,直接使用下面的命令将对应的 serviceaccount 设置成 admin 权限,如下:

kubectl create clusterrolebinding kube-state-metrics --clusterrole=cluster-admin --serviceaccount=monitoring:kube-state-metrics
kubectl create clusterrolebinding prometheus --clusterrole=cluster-admin --serviceaccount=monitoring:prometheus

参考 RBAC——基于角色的访问控制

2. API 兼容问题

从 kube-state-metrics 日志中可以看出用户 kube-state-metrics 没有权限访问如下资源类型:

  • *v1.Job
  • *v1.PersistentVolumeClaim
  • *v1beta1.StatefulSet
  • *v2alpha1.CronJob

而在我们使用的 kubernetes 1.6.0 版本的集群中 API 路径跟 kube-state-metrics 中不同,无法 list 以上三种资源对象的资源。详情见:https://github.com/giantswarm/kubernetes-prometheus/issues/77

3. Job 中的权限认证问题

在 grafana-import-dashboards 这个 job 中有个 init-containers 其中指定的 command 执行错误,应该使用

curl -sX GET -H "Authorization:bearer `cat /var/run/secrets/kubernetes.io/serviceaccount/token`" -k https://kubernetes.default/api/v1/namespaces/monitoring/endpoints/grafana

不需要指定 csr 文件,只需要 token 即可。

参考 wait-for-endpoints init-containers fails to load with k8s 1.6.0 #56

参考

Kubernetes Setup for Prometheus and Grafana

RBAC——基于角色的访问控制

wait-for-endpoints init-containers fails to load with k8s 1.6.0 #56

本文转载自:https://jimmysong.io/kubernetes-handbook/practice/using-prometheus-to-monitor-kuberentes-cluster.htm

openthings
粉丝 322
博文 1138
码字总数 687611
作品 1
东城
架构师
私信 提问
Prometheus监控实践:使用Prometheus监控Java应用

之前在《Prometheus监控实践:Kubernetes集群监控》一本中总结了我们目前基于Prometheus对Kubernetes集群的监控,除了监控Kubernetes集群本身的关键指标之外,也对部署在Kubernetes集群上应用...

xiaomin0322
06/27
234
0
实操案例:使用Prometheus Operator进行集群监控

据Sysdig发布的容器报告,容器以及如Kubernetes等编排工具的使用增长了51%以上,大家开始将工作负载在集群中进行托管并管理。鉴于集群中短暂的状态,对于端到端的集群有一个十分重要的需求...

RancherLabs
前天
0
0
Prometheus Operator - 每天5分钟玩转 Docker 容器技术(177)

前面我们介绍了 Kubernetes 的两种监控方案 Weave Scope 和 Heapster,它们主要的监控对象是 Node 和 Pod。这些数据对 Kubernetes 运维人员是必须的,但还不够。我们通常还希望监控集群本身的...

cloudman6
2018/06/05
0
0
Kubernetes运行监控-使用Helm快速部署Prometheus和Grafana

Kubernetes运行监控-使用Helm快速部署Prometheus和Grafana 使用Helm快速部署Pormetheus和Grafana非常方便,很多手工部署的方法不再需要了。 Kubernetes运行监控分为宿主机、容器以及Kuberne...

openthings
2018/06/12
2.4K
0
部署 Prometheus Operator - 每天5分钟玩转 Docker 容器技术(179)

本节在实践时使用的是 Prometheus Operator 版本 v0.14.0。由于项目开发迭代速度很快,部署方法可能会更新,必要时请参考官方文档。 下载最新源码 git clone https://github.com/coreos/prom...

cloudman6
2018/06/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CRM、DMP、CDP都是什么?有什么区别?

Markter对CRM系统(Customer Relationship Management System,客户关系管理系统),营销自动化等概念都已经比较熟悉,也许DMP(Data Management Platform,数据管理平台)也多多少少有些了解。...

怡海软件-CRM
10分钟前
3
0
中台是什么,到底要解决什么问题?

故事的开始 这个最早由阿里在2015年提出的“大中台,小前台”战略中延伸出来的概念,最近在国内大热。阿里、腾讯、百度、京东、美团、滴滴等一众互联网巨头,从去年到今年,接连开始组织架构...

喵二狸
21分钟前
2
0
Linux Centos 7 - MySQL 5.7离线安装

内部网络通过离线包的方式进行安装。 一、下载 下载地址:https://dev.mysql.com/downloads/mysql/ 进入页面后,点击右侧链接。 下载对应版本。 通过xftp6等工具上传到服务器上。 二、安装和...

华山猛男
22分钟前
2
0
EventBus 3 全解

EventBus 3 全解 [TOC] 使用 一个基于观察者模式的事件发布/订阅框架. 用于模块间通信和解耦, 使用方便,性能高. 基本使用 1. gradle导入依赖库 implementation 'org.greenrobot:eventbus:3....

马湖村第九后羿
24分钟前
3
0
HTTP 协议

什么是HTTP协议? HTTP是hypertext transport protocol的缩写,即超文本传输协议。 是用于万维网服务器与本地浏览器之间传输超文本的传送协议。可以使浏览器更加高效,使网络传输减少。能够保...

彩色泡泡糖
34分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部