如何监控跑在k8s上的应用

要监控跑在Kubernetes (K8s) 上的应用，可以通过Prometheus、Grafana、Kubernetes Dashboard、ELK Stack等工具来实现。这里将详细介绍Prometheus，它是一种开源系统监控和报警工具，非常适合Kubernetes环境。Prometheus通过抓取应用程序的指标数据，存储在时间序列数据库中，并支持强大的查询和报警功能。

一、PROMETHEUS

Prometheus是一种开源监控和报警工具，特别适用于云原生环境。它通过抓取目标应用的指标数据，并存储在时间序列数据库中。Prometheus的配置非常灵活，支持多种数据抓取方法和报警机制。

1. 安装Prometheus

安装Prometheus可以通过Helm Chart、Kubernetes Operator等方式。首先需要创建一个Kubernetes命名空间，然后使用Helm Chart进行安装。

kubectl create namespace monitoring
helm install prometheus stable/prometheus --namespace monitoring

2. 配置Prometheus

Prometheus的配置文件主要包含抓取目标、报警规则等。可以通过ConfigMap来管理这些配置文件。

apiVersion: v1 kind: ConfigMap metadata: name: prometheus-config namespace: monitoring data: prometheus.yml: | global: scrape_interval: 15s scrape_configs: - job_name: 'kubernetes' kubernetes_sd_configs: - role: pod

3. 数据抓取

Prometheus通过HTTP拉取数据，应用需要暴露出相应的指标端点。常见的方式是使用Prometheus客户端库，例如在Go语言中可以使用promhttp库。

package main
import (
    "github.com/prometheus/client_golang/prometheus"
    "github.com/prometheus/client_golang/prometheus/promhttp"
    "net/http"
)
func main() {
    http.Handle("/metrics", promhttp.Handler())
    http.ListenAndServe(":8080", nil)
}

4. 查询和报警

Prometheus提供强大的查询语言PromQL，可以用于数据分析和报警设置。例如，可以通过以下PromQL查询CPU使用情况：

sum(rate(container_cpu_usage_seconds_total[1m])) by (pod)

报警规则也可以通过Prometheus配置文件来定义：

groups:
  - name: example
    rules:
      - alert: HighCPUUsage
        expr: sum(rate(container_cpu_usage_seconds_total[1m])) by (pod) > 0.5
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "High CPU usage detected"

二、GRAFANA

Grafana是一个开源的度量仪表盘和可视化工具，通常与Prometheus结合使用。它提供丰富的图表、查询和报警功能，使监控数据更加直观。

1. 安装Grafana

Grafana也可以通过Helm Chart进行安装：

helm install grafana stable/grafana --namespace monitoring

2. 配置数据源

在Grafana中，需要配置Prometheus作为数据源。进入Grafana的Web界面，添加Prometheus数据源，并配置Prometheus的服务地址。

3. 创建仪表盘

可以通过Grafana的Web界面创建仪表盘，选择Prometheus作为数据源，使用PromQL进行数据查询。例如，创建一个显示CPU使用情况的图表：

sum(rate(container_cpu_usage_seconds_total[1m])) by (pod)

4. 报警设置

Grafana支持多种报警通知方式，包括Email、Slack、Webhook等。可以在Grafana的报警设置中配置报警规则和通知渠道。例如，当某个指标超过阈值时，发送报警通知。

三、KUBERNETES DASHBOARD

Kubernetes Dashboard是一个通用的、基于Web的用户界面，可以用于管理和监控Kubernetes集群中的资源。它提供了资源概览、日志查看、性能监控等功能。

1. 安装Kubernetes Dashboard

可以通过官方提供的YAML文件进行安装：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml

2. 访问Dashboard

安装完成后，可以通过kubectl命令创建访问Token，并使用kubectl port-forward命令进行访问。

kubectl -n kubernetes-dashboard create token admin-user kubectl port-forward -n kubernetes-dashboard service/kubernetes-dashboard 8443:443

3. 资源监控

Dashboard提供了资源监控功能，可以查看Pod、Service、Deployment等资源的详细信息和状态。还可以查看Pod的日志、事件等信息，便于排查问题。

4. 性能监控

Dashboard集成了Heapster、Metrics Server等工具，可以显示集群中资源的性能数据，例如CPU、内存使用情况。

四、ELK STACK

ELK Stack由Elasticsearch、Logstash、Kibana组成，是一种强大的日志分析和监控解决方案。可以用于收集、存储和分析Kubernetes集群中的日志数据。

1. 安装ELK Stack

可以通过Helm Chart进行安装：

helm install elasticsearch stable/elasticsearch --namespace logging
helm install logstash stable/logstash --namespace logging
helm install kibana stable/kibana --namespace logging

2. 配置Logstash

Logstash需要配置输入、过滤、输出等管道，可以通过ConfigMap来管理配置文件。

apiVersion: v1
kind: ConfigMap
metadata:
  name: logstash-config
  namespace: logging
data:
  logstash.yml: |
    input {
      beats {
        port => 5044
      }
    }
    filter {
      grok {
        match => { "message" => "%{COMMONAPACHELOG}" }
      }
    }
    output {
      elasticsearch {
        hosts => ["elasticsearch:9200"]
      }
    }

3. 配置Filebeat

Filebeat是轻量级的日志收集器，可以部署在每个节点上，将日志数据发送到Logstash。

apiVersion: v1 kind: ConfigMap metadata: name: filebeat-config namespace: logging data: filebeat.yml: | filebeat.inputs: - type: container paths: - /var/log/containers/*.log output.logstash: hosts: ["logstash:5044"]

4. 日志分析

Kibana提供强大的日志分析和可视化功能，可以创建各种图表、仪表盘，帮助用户深入分析日志数据。例如，可以创建一个显示错误日志数量的图表：

{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "log.level": "error"
          }
        }
      ]
    }
  }
}

五、ALERTMANAGER

Alertmanager是Prometheus的报警管理组件，可以接收Prometheus的报警，并根据配置进行处理和通知。

1. 安装Alertmanager

可以通过Helm Chart进行安装：

helm install alertmanager stable/alertmanager --namespace monitoring

2. 配置Alertmanager

Alertmanager的配置文件主要包含接收器、路由等，可以通过ConfigMap来管理。

apiVersion: v1 kind: ConfigMap metadata: name: alertmanager-config namespace: monitoring data: alertmanager.yml: | route: receiver: 'default-receiver' receivers: - name: 'default-receiver' email_configs: - to: 'your-email@example.com' from: 'alertmanager@example.com' smarthost: 'smtp.example.com:587' auth_username: 'user' auth_password: 'password'

3. 集成Prometheus

需要在Prometheus的配置文件中添加Alertmanager的地址，以便发送报警信息。

alerting: alertmanagers: - static_configs: - targets: ['alertmanager:9093']

4. 报警处理

Alertmanager根据配置文件中的路由规则，将报警信息发送到相应的接收器。例如，可以配置将不同严重级别的报警发送到不同的Email地址或Slack频道。

route: group_by: ['alertname'] group_wait: 30s group_interval: 5m repeat_interval: 1h receiver: 'email' routes: - match: severity: 'critical' receiver: 'slack-critical' - match: severity: 'warning' receiver: 'slack-warning' receivers: - name: 'email' email_configs: - to: 'your-email@example.com' - name: 'slack-critical' slack_configs: - channel: '#alerts-critical' - name: 'slack-warning' slack_configs: - channel: '#alerts-warning'

六、FLUENTD

Fluentd是一个开源的数据收集器，可以用于收集、处理和转发日志数据，适用于Kubernetes环境。

1. 安装Fluentd

可以通过Helm Chart进行安装：

helm install fluentd stable/fluentd --namespace logging

2. 配置Fluentd

Fluentd的配置文件主要包含输入、过滤、输出等，可以通过ConfigMap来管理。

apiVersion: v1
kind: ConfigMap
metadata:
  name: fluentd-config
  namespace: logging
data:
  fluent.conf: |
    <source>
      @type tail
      path /var/log/containers/*.log
      pos_file /var/log/fluentd-containers.log.pos
      tag kubernetes.*
      <parse>
        @type json
      </parse>
    </source>
    <filter kubernetes.>
      @type kubernetes_metadata
    </filter>
    <match >
      @type stdout
    </match>

3. 日志收集

Fluentd可以部署为DaemonSet，确保每个节点都有一个Fluentd实例，用于收集本地日志数据。

apiVersion: apps/v1 kind: DaemonSet metadata: name: fluentd namespace: logging spec: selector: matchLabels: app: fluentd template: metadata: labels: app: fluentd spec: containers: - name: fluentd image: fluent/fluentd:latest volumeMounts: - name: varlog mountPath: /var/log - name: varlibdockercontainers mountPath: /var/lib/docker/containers readOnly: true volumes: - name: varlog hostPath: path: /var/log - name: varlibdockercontainers hostPath: path: /var/lib/docker/containers

4. 日志处理

Fluentd支持多种插件，可以对日志数据进行丰富的处理和转发。例如，可以将日志数据发送到Elasticsearch进行存储和分析：

<match kubernetes.>
  @type elasticsearch
  host elasticsearch
  port 9200
  logstash_format true
  logstash_prefix kubernetes
</match>

七、JAEGER

Jaeger是一个开源的分布式追踪系统，可以帮助开发者监控和优化微服务架构中的性能。

1. 安装Jaeger

可以通过Helm Chart进行安装：

helm install jaeger stable/jaeger --namespace tracing

2. 配置Jaeger

Jaeger的配置文件主要包含采样策略、存储后端等，可以通过ConfigMap来管理。

apiVersion: v1 kind: ConfigMap metadata: name: jaeger-config namespace: tracing data: jaeger.yml: | collector: queue-size: 10000 sampling: strategies: type: probabilistic param: 0.1

3. 集成应用

应用需要集成Jaeger客户端库，例如在Go语言中可以使用jaeger-client-go库。

package main
import (
    "github.com/uber/jaeger-client-go"
    "github.com/uber/jaeger-client-go/config"
)
func main() {
    cfg := config.Configuration{
        ServiceName: "my-service",
        Sampler: &config.SamplerConfig{
            Type:  "const",
            Param: 1,
        },
        Reporter: &config.ReporterConfig{
            LogSpans: true,
        },
    }
    tracer, closer, _ := cfg.NewTracer()
    defer closer.Close()
}

4. 追踪数据分析

Jaeger提供Web界面，可以查看追踪数据，分析请求的延迟、错误等信息。例如，可以查看某个请求的详细追踪信息，找到性能瓶颈所在。

八、SUMMARY

通过Prometheus、Grafana、Kubernetes Dashboard、ELK Stack、Alertmanager、Fluentd、Jaeger等工具，可以全面监控Kubernetes集群中运行的应用。这些工具各有特色，可以满足不同的监控需求。Prometheus和Grafana适合指标数据监控和可视化，Kubernetes Dashboard提供资源管理和状态监控，ELK Stack适合日志分析，Alertmanager用于报警管理，Fluentd用于日志收集和处理，Jaeger则用于分布式追踪和性能优化。综合使用这些工具，可以构建一个强大的Kubernetes监控体系，保障集群和应用的稳定运行。