k8s如何设置驱逐策略

Kubernetes（k8s）可以通过多种策略设置驱逐策略，如优先级、Pod反亲和性、资源请求和限制、污点和容忍度、Pod Disruption Budget（PDB）等。 其中，污点和容忍度 是一种灵活且强大的驱逐策略，通过在节点上设置污点（Taint），并在Pod上设置相应的容忍度（Toleration），可以控制哪些Pod可以被调度到特定节点上。污点可以用于隔离节点，防止非必要的Pod被调度到这些节点上，从而提高集群的稳定性和安全性。下面将详细介绍如何通过这些策略来设置驱逐策略。

一、优先级

优先级（Priority）是一种用于决定在资源紧张时哪些Pod应该被优先调度的机制。在Kubernetes中，可以通过定义PriorityClass对象来指定Pod的优先级。PriorityClass对象包含一个整数值，值越大，优先级越高。当发生资源不足时，优先级低的Pod会被驱逐，以腾出资源给优先级高的Pod。

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 1000000
globalDefault: false
description: "This priority class should be used for high priority pods."

然后在Pod的定义中引用这个PriorityClass：

apiVersion: v1 kind: Pod metadata: name: high-priority-pod spec: priorityClassName: high-priority containers: - name: nginx image: nginx

通过这种方式，可以确保关键任务的Pod在资源紧张时不会被驱逐。

二、Pod反亲和性

Pod反亲和性（Pod Anti-Affinity）允许用户指定哪些Pod不应该被调度到同一节点上。这对于防止单点故障和提高应用的可用性非常有用。通过设置Pod反亲和性，可以确保在驱逐策略生效时，不会将所有关键Pod调度到同一节点，从而避免单点故障。

apiVersion: v1 kind: Pod metadata: name: nginx-pod spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: app operator: In values: - nginx topologyKey: "kubernetes.io/hostname" containers: - name: nginx image: nginx

这个配置确保了所有带有标签"app=nginx"的Pod不会被调度到同一节点上。

三、资源请求和限制

资源请求和限制（Resource Requests and Limits）是确保集群资源合理分配的重要手段。通过为Pod指定资源请求和限制，可以控制其在节点上的资源使用，从而避免资源争夺和不必要的驱逐。资源请求表示Pod运行所需的最小资源量，而资源限制则表示Pod可以使用的最大资源量。

apiVersion: v1 kind: Pod metadata: name: resource-limited-pod spec: containers: - name: nginx image: nginx resources: requests: memory: "64Mi" cpu: "250m" limits: memory: "128Mi" cpu: "500m"

通过这种方式，可以确保Pod在资源不足时不会被驱逐，同时也避免了资源的过度使用。

四、污点和容忍度

污点（Taint）和容忍度（Toleration）是一种控制Pod调度到特定节点上的机制。通过在节点上设置污点，可以防止不符合条件的Pod被调度到该节点上。容忍度则允许Pod忽略特定的污点，从而可以被调度到带有这些污点的节点上。

apiVersion: v1 kind: Node metadata: name: node1 spec: taints: - key: "key1" value: "value1" effect: "NoSchedule"

然后在Pod定义中添加相应的容忍度：

apiVersion: v1 kind: Pod metadata: name: tolerant-pod spec: tolerations: - key: "key1" operator: "Equal" value: "value1" effect: "NoSchedule" containers: - name: nginx image: nginx

通过这种方式，可以实现更灵活的驱逐策略，确保关键任务Pod能够在资源紧张时继续运行。

五、Pod Disruption Budget（PDB）

Pod Disruption Budget（PDB）是一种用于限制集群中可同时中断的Pod数量的机制。通过设置PDB，可以确保在执行驱逐策略时，不会影响应用的可用性。PDB通过指定最小可用Pod数或最大不可用Pod数来实现这一目标。

apiVersion: policy/v1 kind: PodDisruptionBudget metadata: name: pdb-example spec: minAvailable: 2 selector: matchLabels: app: myapp

这个配置确保了在任何时候，集群中至少有两个Pod是可用的，从而避免了因驱逐策略导致的服务中断。

六、节点亲和性

节点亲和性（Node Affinity）允许用户指定Pod应该被调度到哪些节点上。这对于确保关键任务的Pod能够被调度到资源充足且稳定的节点上非常有用。通过设置节点亲和性，可以避免关键任务Pod被调度到不适合的节点上，从而提高应用的稳定性。

apiVersion: v1 kind: Pod metadata: name: node-affinity-pod spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/e2e-az-name operator: In values: - e2e-az1 containers: - name: nginx image: nginx

这个配置确保了Pod只会被调度到带有特定标签的节点上，从而实现更精准的驱逐策略。

七、自定义驱逐策略

除了上述标准的驱逐策略，Kubernetes还支持自定义驱逐策略。通过编写自定义调度器或使用Kubernetes提供的调度器扩展点，可以实现更加复杂和灵活的驱逐策略。例如，可以根据自定义的业务逻辑决定哪些Pod应该被驱逐，以确保应用的性能和稳定性。

import (
    "k8s.io/kubernetes/pkg/scheduler/framework"
)
type CustomPlugin struct {
    handle framework.FrameworkHandle
}
func (pl *CustomPlugin) Name() string {
    return "CustomPlugin"
}
func (pl *CustomPlugin) Filter(ctx context.Context, cycleState *framework.CycleState, pod *v1.Pod, nodeInfo *framework.NodeInfo) *framework.Status {
    // 自定义逻辑
    return framework.NewStatus(framework.Success, "")
}
func New(obj runtime.Object, handle framework.FrameworkHandle) (framework.Plugin, error) {
    return &CustomPlugin{handle: handle}, nil
}

通过这种方式，可以实现更加灵活和定制化的驱逐策略，以满足不同的业务需求。

八、监控和报警

监控和报警是确保驱逐策略有效实施的重要手段。通过设置监控和报警，可以实时了解集群的资源使用情况和Pod的状态，从而及时调整驱逐策略，避免资源浪费和服务中断。常见的监控工具包括Prometheus、Grafana等，它们可以帮助管理员实时监控集群的运行状态。

apiVersion: monitoring.coreos.com/v1 kind: Prometheus metadata: name: prometheus-example spec: serviceMonitorSelector: matchLabels: team: frontend

通过这种方式，可以确保驱逐策略的有效性和及时性，保障集群的稳定运行。

九、使用Kubernetes Operator

Kubernetes Operator是一种用于自动化管理Kubernetes应用的工具。通过编写自定义Operator，可以实现自动化的驱逐策略管理。例如，可以编写一个Operator，根据集群的资源使用情况自动调整Pod的优先级、污点和容忍度等，从而实现更加智能的驱逐策略。

import (
    "sigs.k8s.io/controller-runtime/pkg/client"
    "sigs.k8s.io/controller-runtime/pkg/manager"
)
type ReconcileExample struct {
    client.Client
}
func (r *ReconcileExample) Reconcile(ctx context.Context, request reconcile.Request) (reconcile.Result, error) {
    // 自定义逻辑
    return reconcile.Result{}, nil
}
func main() {
    mgr, err := manager.New(cfg, manager.Options{})
    if err != nil {
        log.Fatalf("unable to set up overall controller manager: %v", err)
    }
    if err := (&ReconcileExample{
        Client: mgr.GetClient(),
    }).SetupWithManager(mgr); err != nil {
        log.Fatalf("unable to create controller: %v", err)
    }
    if err := mgr.Start(ctrl.SetupSignalHandler()); err != nil {
        log.Fatalf("problem running manager: %v", err)
    }
}

通过这种方式，可以实现更加自动化和智能化的驱逐策略管理，进一步提高集群的稳定性和可用性。

十、最佳实践

在实际操作中，遵循一些最佳实践可以更好地设置和管理驱逐策略。首先，定期审查和更新驱逐策略，以适应不断变化的业务需求和资源情况。其次，结合多种策略，如优先级、污点和容忍度、PDB等，以实现更加灵活和有效的驱逐策略。最后，充分利用监控和报警，及时发现和解决问题，确保集群的稳定运行。

通过这些策略和最佳实践，可以有效地设置和管理Kubernetes中的驱逐策略，确保集群的资源合理分配和应用的高可用性。

相关问答FAQs：

K8s 如何设置驱逐策略？

Kubernetes（K8s）驱逐策略是一个重要的机制，用于管理集群中的节点和Pod的生命周期，以确保集群资源的有效利用和稳定性。下面，我们将详细探讨如何设置和配置驱逐策略。

什么是Kubernetes驱逐策略？

Kubernetes驱逐策略是用于确定在集群资源不足或节点出现故障时，如何处理Pod的策略。这些策略帮助保证系统的稳定性，通过将Pod驱逐到其他节点或者重新调度到健康的节点上来应对节点资源短缺或故障。Kubernetes提供了多种驱逐策略，包括资源驱逐、节点驱逐和优先级驱逐等。

如何配置资源驱逐策略？

资源驱逐策略主要涉及节点资源（如CPU和内存）不足时的Pod驱逐行为。Kubernetes使用资源请求和限制来管理资源使用，避免节点过载。以下是配置资源驱逐策略的几个步骤：

设置资源请求和限制：
- 在Pod的定义中，你可以为容器设置资源请求（requests）和资源限制（limits）。资源请求是容器启动时所需的最小资源量，而资源限制是容器使用的最大资源量。
- 示例配置：
```
apiVersion: v1
kind: Pod
metadata:
  name: example-pod
spec:
  containers:
  - name: example-container
    image: nginx
    resources:
      requests:
        memory: "64Mi"
        cpu: "250m"
      limits:
        memory: "128Mi"
        cpu: "500m"
```
调整节点的资源配额：
- 在Kubernetes中，你可以为节点设置资源配额，以控制Pod的资源使用量。节点的资源配额可以帮助防止节点资源耗尽，从而减少驱逐的可能性。
- 使用kubelet参数调整驱逐阈值：
```
--eviction-hard=memory.available<100Mi,nodefs.available<10%
```
启用驱逐机制：
- 默认情况下，Kubernetes启用资源驱逐机制，但你可以通过修改kubelet配置来调整驱逐阈值。例如，可以设置内存或磁盘空间不足时触发驱逐。

节点驱逐策略的配置方法是什么？

节点驱逐策略涉及在节点失效或无法正常运行时，如何处理节点上的Pod。Kubernetes使用Taints和Tolerations来管理节点驱逐：

使用Taints和Tolerations：
- Taints可以标记节点，使得只有具有相应容忍（Tolerations）的Pod能够调度到这些节点上。这有助于防止不合适的Pod在节点出现故障时被调度。
- 示例Taint配置：
```
kubectl taint nodes <node-name> key=value:NoSchedule
```
- 对应的Pod Toleration配置：
```
apiVersion: v1
kind: Pod
metadata:
  name: example-pod
spec:
  tolerations:
  - key: "key"
    operator: "Equal"
    value: "value"
    effect: "NoSchedule"
```
配置Node Conditions和Failure Detection：
- Kubernetes通过节点条件（Node Conditions）监控节点健康状态。如果节点出现故障或不健康，Kubernetes将自动驱逐Pod并尝试重新调度到其他健康节点。
设置优先级和抢占：
- 为Pod设置优先级（PriorityClass）可以影响Pod在资源不足时的驱逐顺序。优先级较高的Pod将优先保留，而优先级较低的Pod可能会被驱逐以释放资源。
- 示例PriorityClass配置：
```
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 1000000
globalDefault: false
description: "This priority class is for high priority pods."
```

如何利用PodDisruptionBudgets (PDB)来管理驱逐？

PodDisruptionBudgets (PDB) 是Kubernetes中用于控制Pod驱逐的资源，它限制了在特定时间内可以被驱逐的Pod数量，确保应用的高可用性。PDB有助于在进行节点维护、滚动升级等操作时，控制Pod的驱逐。

创建PodDisruptionBudget：

PDB可以通过设置minAvailable或maxUnavailable来限制驱逐的Pod数量或百分比。

示例PDB配置：

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: example-pdb
spec:
  minAvailable: 1
  selector:
    matchLabels:
      app: example

监控和调整PDB：
- 在创建PDB后，你可以使用kubectl describe pdb <pdb-name>命令来查看PDB的状态和被驱逐的Pod数量。根据实际需求调整PDB配置，确保应用的稳定性和高可用性。

总结

Kubernetes的驱逐策略是集群管理的重要组成部分，通过合理配置资源请求和限制、节点驱逐机制、优先级以及PodDisruptionBudgets，可以有效地管理Pod的生命周期，确保系统稳定性和资源利用率。根据实际需求调整这些策略，可以帮助你在集群中实现高可用性和资源优化。

关于 GitLab 的更多内容，可以查看官网文档：
官网地址： https://gitlab.cn
文档地址： https://docs.gitlab.cn
论坛地址： https://forum.gitlab.cn

原创文章，作者：xiaoxiao，如若转载，请注明出处：https://devops.gitlab.cn/archives/46091