如何查询k8s内存占用

要查询Kubernetes（K8s）中的内存占用，可以使用kubectl top命令、监控工具如Prometheus和Grafana、以及日志和指标分析工具如Kibana和Elasticsearch。 其中，使用kubectl top命令是最简单和直接的方法。你只需执行kubectl top nodes或kubectl top pods命令，即可查看节点和Pods的内存使用情况。这些方法能够帮助你快速了解集群的资源使用情况，从而做出相应的调整和优化。

一、KUBECTL TOP命令

kubectl top命令是Kubernetes官方提供的用于查询资源使用情况的命令。要使用这个命令，你需要确保Metrics Server已经在你的集群中安装和配置。

安装和配置Metrics Server：

检查Metrics Server是否已经安装：
```
kubectl get deployment metrics-server -n kube-system
```
如果返回结果为空，则表示Metrics Server未安装。

安装Metrics Server：

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

验证安装：

kubectl get apiservice v1beta1.metrics.k8s.io -o yaml

确认状态为Available。

使用kubectl top命令：

查看节点的内存使用情况：
```
kubectl top nodes
```
输出结果包括节点名称、CPU和内存的使用情况。
查看Pods的内存使用情况：
```
kubectl top pods --all-namespaces
```
输出结果包括Pod名称、命名空间、CPU和内存的使用情况。

示例输出：

NAME          CPU(cores)   MEMORY(bytes)
node-1        250m         1024Mi
node-2        300m         2048Mi

kubectl top命令的优缺点：

优点：

简单易用
实时性强

缺点：

需要Metrics Server支持
功能相对单一

二、使用PROMETHEUS和GRAFANA

Prometheus和Grafana是常用的监控和可视化工具。Prometheus负责数据采集和存储，Grafana负责数据展示。

安装Prometheus和Grafana：

使用Helm安装Prometheus和Grafana：

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm repo add grafana https://grafana.github.io/helm-charts helm repo update helm install prometheus prometheus-community/kube-prometheus-stack helm install grafana grafana/grafana

配置Prometheus：
- 在Prometheus的配置文件中添加Kubernetes API的job配置，以便Prometheus能够采集K8s的指标数据。
配置Grafana：
- 在Grafana中添加Prometheus作为数据源。
- 使用预定义的Kubernetes监控模板，可以从Grafana的Dashboard库中找到适合的模板。

监控K8s内存使用情况：

进入Grafana的Dashboard：
- 在浏览器中访问Grafana的URL。
- 登录后，选择添加的Prometheus数据源。
选择Kubernetes相关的Dashboard：
- 使用预定义的Dashboard，如Kubernetes / Compute Resources / Namespace (Pods)等。
- 查看内存使用情况的图表和数据。

Prometheus和Grafana的优缺点：

优点：

功能强大
可视化效果好
可扩展性强

缺点：

安装和配置较为复杂
需要一定的学习成本

三、使用KIBANA和ELASTICSEARCH

Kibana和Elasticsearch组合也是一个强大的日志和指标分析工具。Elasticsearch负责数据存储和搜索，Kibana负责数据展示。

安装Elasticsearch和Kibana：

使用Helm安装Elasticsearch和Kibana：

helm repo add elastic https://helm.elastic.co helm repo update helm install elasticsearch elastic/elasticsearch helm install kibana elastic/kibana

配置Elasticsearch：
- 在Elasticsearch的配置文件中添加Kubernetes API的job配置，以便Elasticsearch能够采集K8s的指标数据。
配置Kibana：
- 在Kibana中添加Elasticsearch作为数据源。
- 使用预定义的Kubernetes监控模板，可以从Kibana的Dashboard库中找到适合的模板。

监控K8s内存使用情况：

进入Kibana的Dashboard：
- 在浏览器中访问Kibana的URL。
- 登录后，选择添加的Elasticsearch数据源。
选择Kubernetes相关的Dashboard：
- 使用预定义的Dashboard，如Kubernetes / Compute Resources / Namespace (Pods)等。
- 查看内存使用情况的图表和数据。

Kibana和Elasticsearch的优缺点：

优点：

功能强大
可视化效果好
可扩展性强

缺点：

安装和配置较为复杂
需要一定的学习成本

四、使用KUBECTL LOGS命令和自定义脚本

在某些情况下，直接使用kubectl logs命令和自定义脚本也能帮助你监控和查询K8s内存占用情况。

使用kubectl logs命令：

查看Pod的日志：
```
kubectl logs <pod-name> -n <namespace>
```
输出结果包括Pod的日志信息，通过分析日志可以了解内存使用情况。

编写自定义脚本：

使用Bash脚本查询内存使用情况：

#!/bin/bash
for pod in $(kubectl get pods --all-namespaces -o jsonpath='{.items[*].metadata.name}'); do
    mem_usage=$(kubectl top pod $pod --containers | grep -oP '(\d+)Mi' | awk '{sum += $1} END {print sum}')
    echo "Pod: $pod, Memory Usage: $mem_usage Mi"
done

执行脚本：
```
chmod +x memory_usage.sh
./memory_usage.sh
```
输出结果包括每个Pod的内存使用情况。

kubectl logs命令和自定义脚本的优缺点：

优点：

灵活性高
适用于特定需求

缺点：

需要手动编写和维护脚本
功能较为单一

五、使用其他第三方监控工具

除了上述方法，还有许多第三方监控工具可以用于查询K8s内存占用，如Datadog、New Relic、Dynatrace等。

Datadog：

安装Datadog Agent：

helm repo add datadog https://helm.datadoghq.com helm repo update helm install datadog -f datadog-values.yaml datadog/datadog

配置Datadog：
- 在Datadog的配置文件中添加Kubernetes API的job配置，以便Datadog能够采集K8s的指标数据。
使用Datadog监控：
- 在Datadog的Dashboard中查看K8s内存使用情况的图表和数据。

New Relic：

安装New Relic Agent：

helm repo add newrelic https://helm-charts.newrelic.com helm repo update helm install newrelic -f newrelic-values.yaml newrelic/nri-kubernetes

配置New Relic：
- 在New Relic的配置文件中添加Kubernetes API的job配置，以便New Relic能够采集K8s的指标数据。
使用New Relic监控：
- 在New Relic的Dashboard中查看K8s内存使用情况的图表和数据。

第三方监控工具的优缺点：

优点：

功能强大
可视化效果好
支持多种数据源

缺点：

需要额外的费用
安装和配置较为复杂

六、优化和改进内存使用

在了解了K8s内存使用情况后，可以进行相应的优化和改进。

优化Pod的资源配置：

为Pod设置资源请求和限制：

apiVersion: v1 kind: Pod metadata: name: my-pod spec: containers: - name: my-container image: my-image resources: requests: memory: "64Mi" limits: memory: "128Mi"

使用Vertical Pod Autoscaler（VPA）：

安装VPA：

kubectl apply -f https://github.com/kubernetes/autoscaler/releases/latest/download/vertical-pod-autoscaler.yaml

配置VPA：

apiVersion: autoscaling.k8s.io/v1 kind: VerticalPodAutoscaler metadata: name: my-vpa spec: targetRef: apiVersion: "apps/v1" kind: Deployment name: my-deployment updatePolicy: updateMode: "Auto"

优化节点的资源配置：

调整节点的资源请求和限制：
- 在Kubernetes集群的配置文件中调整节点的资源请求和限制，以确保资源的合理分配。

使用Cluster Autoscaler：

安装Cluster Autoscaler：

kubectl apply -f https://github.com/kubernetes/autoscaler/releases/latest/download/cluster-autoscaler.yaml

配置Cluster Autoscaler：

apiVersion: autoscaling.k8s.io/v1 kind: ClusterAutoscaler metadata: name: my-cluster-autoscaler spec: scaleDown: enabled: true delayAfterAdd: 10m delayAfterDelete: 1m delayAfterFailure: 3m

监控和优化内存使用的最佳实践：