Karpenter NodePool 详解|MK博客

在 Kubernetes 集群管理中，资源的高效利用和灵活扩展是至关重要的。Karpenter 作为一个开源的 Kubernetes 节点自动扩展工具，通过其核心组件 NodePool，为集群的资源管理提供了强大的支持。本文将深入解析 Karpenter NodePool 的功能、架构以及配置方法，帮助你更好地理解和使用这一工具。

什么是 Karpenter NodePool

Karpenter NodePool 是 Karpenter 用于配置和管理 Kubernetes 集群节点的资源。当你首次安装 Karpenter 时，会自动设置一个默认的 NodePool。NodePool 主要用于定义 Karpenter 可以创建的节点的约束条件，以及可以在这些节点上运行的 Pod 的限制。

graph TD A[AWS 账户] --> B[EKS 集群] B --> C[Karpenter 控制器] B --> D[节点池] C --> E[Provisioner] D --> F[EC2 实例] E --> |管理| F F --> |属于| G[自动扩展组] G --> H[启动模板] H --> I[实例类型] E --> |定义| J[Provisioning 逻辑] J --> K[容量类型] J --> L[区域感知] J --> M[自动扩展策略] J --> N[空节点的 TTL] N --> |节省成本| O[成本优化] H --> P[用户数据] P --> |自定义| F

NodePool 的主要功能

定义污点（Taints）

NodePool 可以定义污点，以限制可以在 Karpenter 创建的节点上运行的 Pod。例如，你可以设置特定的污点，使得只有带有相应容忍（Tolerations）的 Pod 才能被调度到这些节点上。此外，还可以定义启动污点，这些污点在节点初始创建时应用，但被认为是临时的，Karpenter 会假设其他系统会移除这些污点。

限制节点创建

NodePool 允许你限制节点的创建范围，包括特定的可用区（Availability Zones）、实例类型（Instance Types）和计算机架构（如 AMD64 或 ARM64）。通过这些限制，你可以确保节点的创建符合特定的硬件和地理位置要求。

设置节点过期默认值

NodePool 还可以设置节点的过期默认值，这有助于自动清理长时间未使用的节点，从而优化资源利用。

Karpenter NodePool 的关键概念

1. Provisioner

Provisioner 是 Karpenter 的核心组件，负责根据 Pod 的资源请求自动供应新的 EC2 实例。Provisioner 通过监听 Kubernetes 集群中的 Pod 请求，并根据预定义的策略来决定何时供应新的节点。

2. NodePool

NodePool 是 Karpenter 中用于定义节点组的自定义资源。它允许用户指定节点的配置、扩展策略、区域、实例类型等参数。通过 NodePool，用户可以定义不同类型的节点组，以满足不同应用的需求。

3. EC2 Instances

EC2 实例是实际运行 Pod 的计算资源。Karpenter 会根据 NodePool 的定义自动创建和管理 EC2 实例。这些实例会被加入到 EKS 集群中，并成为集群的一部分。

4. Auto Scaling Group

虽然 Karpenter 自动管理 EC2 实例，但它并不直接使用 AWS 的 Auto Scaling Group (ASG)。相反，Karpenter 通过自己的逻辑来管理实例的生命周期。这使得 Karpenter 能够更灵活地应对 Kubernetes 的调度需求。

Karpenter NodePool 的配置

配置 Karpenter NodePool 需要创建一个自定义资源定义（CRD）文件。以下是一个简单的示例，展示了如何配置一个 NodePool：

yaml

复制

apiVersion: karpenter.sh/v1alpha5
kind: NodePool
metadata:
  name: example-nodepool
spec:
  provider:
    region: us-west-2
    instanceProfileArn: arn:aws:iam::123456789012:instance-profile/eks-node
    subnetIds:
      - subnet-12345678
      - subnet-87654321
    securityGroupIds:
      - sg-12345678
    image:
      name: amazonlinux2
  template:
    metadata:
      labels:
        nodepool.karpenter.sh/class: example
    spec:
      labels:
        app: example
      taints:
        - key: example
          value: true
          effect: NoSchedule
  constraints:
    - type: karpenter.sh/capacity-type
      values: ["on-demand"]
  scaling:
    minReplicas: 1
    maxReplicas: 10

配置说明

provider: 定义了节点的云提供商配置，包括区域、实例配置文件、子网、安全组和 AMI 等。
template: 定义了节点的模板，包括标签、污点等。
constraints: 定义了节点的约束条件，例如容量类型（按需实例或竞价实例）。
scaling: 定义了节点的扩展策略，包括最小和最大实例数。

NodePool 的配置要点

互斥性

建议创建互斥的 NodePool，即没有 Pod 应该匹配多个 NodePool。如果一个 Pod 匹配了多个 NodePool，Karpenter 将使用权重最高的 NodePool 来预配 Pod。

要求（Requirements）

NodePool 的 spec.template.spec.requirements 部分定义了节点必须满足的条件。这些条件可以包括 Kubernetes 定义的众所周知的标签（如 node.kubernetes.io/instance-type）以及云提供商特定的标签（如 AWS 的 karpenter.k8s.aws/instance-family）。这些标签可以在 NodePool 级别或工作负载定义中指定（例如 Pod 的 nodeSelector）。节点的选择基于 NodePool 和 Pod 的要求，如果两者没有重叠，则不会启动节点。

实例类型

NodePool 可以指定支持的实例类型列表。一般建议将实例类型设置为列表而不是单个值，以最大化高效放置 Pod 的选择范围。如果不定义这些要求，Karpenter 将选择云提供商提供的任何可用实例类型。

可用区

NodePool 可以配置为在特定的可用区创建节点。需要注意的是，不同 AWS 账户的相同可用区 ID（如 us-east-1a）可能并不代表相同的地理位置。

架构和操作系统

Karpenter 支持 amd64 和 arm64 架构的节点，以及 linux 和 windows 操作系统。

容量类型

NodePool 支持指定容量类型，类似于 EC2 的购买选项，可以是竞价实例（Spot）或按需实例（On-Demand）。如果 NodePool 允许竞价和按需实例，Karpenter 会优先选择竞价实例，但如果竞价实例的定价高于最便宜的按需实例，这些竞价实例将暂时被排除在外。

NodePool 的实际应用

处理 Spot 中断

Karpenter 能够有效处理 Spot 实例的中断情况。当收到 Spot 中断警告时，Karpenter 会立即锁定（cordon）节点并开始驱逐（drain）节点上的 Pod，同时启动一个新的替代实例来接管工作负载，确保服务的连续性。

节点分布策略

为了提高集群的可用性，建议将 Pod 分布在多个可用区。Karpenter 可以为所有待调度的 Pod 启动一个节点，但为了避免将所有“鸡蛋放在同一个篮子里”，可以配置多个 NodePool，每个 NodePool 对应不同的可用区。

结论

Karpenter NodePool 为 Kubernetes 集群的节点管理提供了一个灵活而强大的工具。通过合理配置 NodePool，你可以优化资源利用，提高集群的可用性和成本效益。无论是通过定义污点来控制 Pod 的调度，还是通过限制节点的创建条件来满足特定的硬件和地理位置需求，Karpenter NodePool 都能够帮助你实现更高效的集群管理。希望本文的介绍能帮助你更好地理解和使用 Karpenter NodePool，提升你的 Kubernetes 集群管理能力。