k8s故障怎么排查

排查K8s故障可以从以下几个方面入手：日志分析、节点状态检查、Pod状态检查、事件查看、配置文件检查、网络检查、资源利用率检查。 其中，日志分析是排查故障的核心手段，通过查看Kubernetes各组件的日志，可以迅速定位问题的根源。Kubernetes的每个组件（如kube-apiserver、kube-scheduler、kubelet等）都会生成详细的日志，这些日志记录了组件运行过程中的各种操作和错误信息。通过分析这些日志，可以了解系统的运行状态，发现并解决问题。

一、日志分析

日志分析是排查K8s故障的关键步骤。Kubernetes的各个组件（如kube-apiserver、kube-scheduler、kubelet等）都会生成日志，这些日志记录了组件运行过程中发生的各种事件和错误。通过分析这些日志，可以快速定位问题所在。

kube-apiserver日志：kube-apiserver是Kubernetes的核心组件，负责处理所有的API请求。检查其日志可以发现API请求处理过程中的错误。
```
kubectl logs -n kube-system kube-apiserver-<node-name>
```
kube-scheduler日志：kube-scheduler负责调度Pod到合适的节点上。检查其日志可以发现调度过程中可能出现的问题。
```
kubectl logs -n kube-system kube-scheduler-<node-name>
```
kubelet日志：kubelet是运行在每个节点上的代理，负责管理该节点上的Pod。检查其日志可以发现节点上Pod的创建、运行、删除等过程中的问题。
```
journalctl -u kubelet
```

二、节点状态检查

节点状态是Kubernetes集群运行的基础，检查节点状态可以帮助发现节点是否存在问题。

查看节点状态：使用kubectl get nodes命令可以查看所有节点的状态。如果节点状态不是Ready，需要进一步检查该节点。
```
kubectl get nodes
```
检查节点详细信息：使用kubectl describe node <node-name>命令可以查看节点的详细信息，包括节点上的资源使用情况和发生的事件。
```
kubectl describe node <node-name>
```
节点资源利用率：使用kubectl top nodes命令可以查看每个节点的资源使用情况，如CPU和内存的使用情况。
```
kubectl top nodes
```

三、Pod状态检查

Pod是Kubernetes中最小的部署单元，检查Pod状态可以发现应用程序的运行情况。

查看Pod状态：使用kubectl get pods命令可以查看所有Pod的状态。如果Pod状态不是Running或Succeeded，需要进一步检查该Pod。
```
kubectl get pods
```
检查Pod详细信息：使用kubectl describe pod <pod-name>命令可以查看Pod的详细信息，包括Pod的事件和容器的状态。
```
kubectl describe pod <pod-name>
```
查看Pod日志：使用kubectl logs <pod-name>命令可以查看Pod中容器的日志，以发现应用程序运行过程中可能出现的问题。
```
kubectl logs <pod-name>
```

四、事件查看

Kubernetes会记录集群中发生的所有事件，通过查看这些事件，可以了解集群中发生的异常情况。

查看所有事件：使用kubectl get events命令可以查看集群中所有的事件。
```
kubectl get events
```
按时间排序：可以使用kubectl get events --sort-by='.metadata.creationTimestamp'命令按时间排序查看事件，以了解事件的发生顺序。
```
kubectl get events --sort-by='.metadata.creationTimestamp'
```

五、配置文件检查

Kubernetes的配置文件是集群正常运行的基础，检查配置文件可以发现配置错误。

检查资源配置：使用kubectl get <resource> -o yaml命令可以查看资源的详细配置，以确保配置正确。
```
kubectl get <resource> -o yaml
```
验证配置文件：使用kubectl apply --dry-run=client -f <file>命令可以验证配置文件是否正确。
```
kubectl apply --dry-run=client -f <file>
```

六、网络检查

网络问题是Kubernetes故障的常见原因，检查网络可以发现网络连接是否正常。

检查Pod网络：使用kubectl exec <pod-name> -- ping <ip>命令可以测试Pod之间的网络连接。
```
kubectl exec <pod-name> -- ping <ip>
```
检查Service网络：使用kubectl exec <pod-name> -- curl <service-name>命令可以测试Pod与Service之间的网络连接。
```
kubectl exec <pod-name> -- curl <service-name>
```