一名云计算从业者的思考

大家都在搜：

热搜词1 热搜词2 热搜词3

当前位置：首页 > 日常方案 > 正文内容

在AWS EKS上安装Karpenter的完整指南

anycodes12个月前 (07-08)日常方案5710

## 引言

Karpenter是一个开源的Kubernetes自动扩展工具，它能够根据工作负载的需求自动配置和管理节点。与传统的Cluster Autoscaler相比，Karpenter更加灵活，能够根据Pod的具体需求快速提供恰当规格的节点，从而优化集群资源利用率和成本。本文将为您提供在AWS EKS上安装和配置Karpenter的详细步骤。

## Karpenter的主要功能

Karpenter主要提供以下功能：
- 监控无法调度的Pod
- 评估这些Pod的调度需求（资源请求、节点选择器、亲和性、容忍度等）
- 根据这些需求自动配置新节点
- 在节点不再需要时自动移除节点

## 前提条件

在开始安装Karpenter之前，请确保您已经准备好以下工具和资源：

1. **AWS CLI** - 已配置具有足够权限的用户
2. **kubectl** - Kubernetes命令行工具
3. **eksctl** (>= v0.202.0) - AWS EKS命令行工具
4. **helm** - Kubernetes的包管理器
5. **已创建的EKS集群** 或准备创建新集群

## 步骤一：设置环境变量

首先，我们需要设置一些环境变量，这些变量将在后续命令中使用：

```bash
export KARPENTER_NAMESPACE="kube-system"
export KARPENTER_VERSION="1.5.2"
export K8S_VERSION="1.32"  # 您的Kubernetes版本
export CLUSTER_NAME="${USER}-karpenter-demo"
export AWS_DEFAULT_REGION="us-west-2"  # 设置为您的首选区域
export AWS_ACCOUNT_ID="$(aws sts get-caller-identity --query Account --output text)"
export TEMPOUT="$(mktemp)"
export ALIAS_VERSION="$(aws ssm get-parameter --name "/aws/service/eks/optimized-ami/${K8S_VERSION}/amazon-linux-2023/x86_64/standard/recommended/image_id" --query Parameter.Value | xargs aws ec2 describe-images --query 'Images[0].Name' --image-ids | sed -r 's/^.*(v[[:digit:]]+).*$/\1/')"
```

## 步骤二：创建集群（如果尚未有集群）

如果您还没有EKS集群，可以使用以下命令创建一个集群：

```bash
# 创建CloudFormation堆栈，为Karpenter提供必要的基础设施
curl -fsSL https://raw.githubusercontent.com/aws/karpenter-provider-aws/v"${KARPENTER_VERSION}"/website/content/en/preview/getting-started/getting-started-with-karpenter/cloudformation.yaml > "${TEMPOUT}" \
&& aws cloudformation deploy \
  --stack-name "Karpenter-${CLUSTER_NAME}" \
  --template-file "${TEMPOUT}" \
  --capabilities CAPABILITY_NAMED_IAM \
  --parameter-overrides "ClusterName=${CLUSTER_NAME}"

# 使用eksctl创建集群
eksctl create cluster -f - <<EOF
---
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: ${CLUSTER_NAME}
  region: ${AWS_DEFAULT_REGION}
  version: "${K8S_VERSION}"
  tags:
    karpenter.sh/discovery: ${CLUSTER_NAME}
iam:
  withOIDC: true
  podIdentityAssociations:
  - namespace: "${KARPENTER_NAMESPACE}"
    serviceAccountName: karpenter
    roleName: ${CLUSTER_NAME}-karpenter
    permissionPolicyARNs:
    - arn:${AWS_PARTITION}:iam::${AWS_ACCOUNT_ID}:policy/KarpenterControllerPolicy-${CLUSTER_NAME}
iamIdentityMappings:
- arn: "arn:${AWS_PARTITION}:iam::${AWS_ACCOUNT_ID}:role/KarpenterNodeRole-${CLUSTER_NAME}"
  username: system:node:{{EC2PrivateDNSName}}
  groups:
  - system:bootstrappers
  - system:nodes
managedNodeGroups:
- instanceType: m5.large
  amiFamily: AmazonLinux2023
  name: ${CLUSTER_NAME}-ng
  desiredCapacity: 2
  minSize: 1
  maxSize: 10
addons:
- name: eks-pod-identity-agent
EOF

# 获取集群端点和IAM角色ARN
export CLUSTER_ENDPOINT="$(aws eks describe-cluster --name "${CLUSTER_NAME}" --query "cluster.endpoint" --output text)"
export KARPENTER_IAM_ROLE_ARN="arn:${AWS_PARTITION}:iam::${AWS_ACCOUNT_ID}:role/${CLUSTER_NAME}-karpenter"
```

## 步骤三：创建EC2 Spot服务相关角色

如果您计划使用EC2 Spot实例，需要创建Spot服务相关角色：

```bash
aws iam create-service-linked-role --aws-service-name spot.amazonaws.com || true
```

## 步骤四：安装Karpenter

使用Helm安装Karpenter：

```bash
# 从helm registry注销，以便对公共ECR执行未经身份验证的拉取
helm registry logout public.ecr.aws

# 安装Karpenter
helm upgrade --install karpenter oci://public.ecr.aws/karpenter/karpenter --version "${KARPENTER_VERSION}" --namespace "${KARPENTER_NAMESPACE}" --create-namespace \
  --set "settings.clusterName=${CLUSTER_NAME}" \
  --set "settings.interruptionQueue=${CLUSTER_NAME}" \
  --set controller.resources.requests.cpu=1 \
  --set controller.resources.requests.memory=1Gi \
  --set controller.resources.limits.cpu=1 \
  --set controller.resources.limits.memory=1Gi \
  --wait
```

## 步骤五：创建NodePool

NodePool是Karpenter的核心资源，它定义了节点配置和扩展策略。以下是一个基本的NodePool配置示例：

```bash
cat <<EOF | envsubst | kubectl apply -f -
apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: default
spec:
  template:
    spec:
      requirements:
        - key: kubernetes.io/arch
          operator: In
          values: ["amd64"]
        - key: kubernetes.io/os
          operator: In
          values: ["linux"]
        - key: karpenter.sh/capacity-type
          operator: In
          values: ["on-demand"]
        - key: karpenter.k8s.aws/instance-category
          operator: In
          values: ["c", "m", "r"]
        - key: karpenter.k8s.aws/instance-generation
          operator: Gt
          values: ["2"]
      nodeClassRef:
        group: karpenter.k8s.aws
        kind: EC2NodeClass
        name: default
      expireAfter: 720h # 30 * 24h = 720h
  limits:
    cpu: 1000
  disruption:
    consolidationPolicy: WhenEmptyOrUnderutilized
    consolidateAfter: 1m
---
apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: default
spec:
  role: "KarpenterNodeRole-${CLUSTER_NAME}" # 替换为您的集群名称
  amiSelectorTerms:
    - alias: "al2023@${ALIAS_VERSION}"
  subnetSelectorTerms:
    - tags:
        karpenter.sh/discovery: "${CLUSTER_NAME}" # 替换为您的集群名称
  securityGroupSelectorTerms:
    - tags:
        karpenter.sh/discovery: "${CLUSTER_NAME}" # 替换为您的集群名称
EOF
```

## 步骤六：测试Karpenter

现在我们可以部署一个测试应用程序来验证Karpenter是否正常工作：

```bash
# 创建一个测试部署
cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: inflate
spec:
  replicas: 0
  selector:
    matchLabels:
      app: inflate
  template:
    metadata:
      labels:
        app: inflate
    spec:
      terminationGracePeriodSeconds: 0
      securityContext:
        runAsUser: 1000
        runAsGroup: 3000
        fsGroup: 2000
      containers:
      - name: inflate
        image: public.ecr.aws/eks-distro/kubernetes/pause:3.7
        resources:
          requests:
            cpu: 1
        securityContext:
          allowPrivilegeEscalation: false
EOF

# 扩展部署以触发Karpenter创建新节点
kubectl scale deployment inflate --replicas 5

# 监控Karpenter控制器日志
kubectl logs -f -n "${KARPENTER_NAMESPACE}" -l app.kubernetes.io/name=karpenter -c controller
```

## 最佳实践

在生产环境中使用Karpenter时，请考虑以下最佳实践：

1. **锁定生产集群中的AMI版本**：不要使用`@latest`标签，而是明确指定经过测试的AMI版本。

2. **对于有变化容量需求的工作负载使用Karpenter**：Karpenter非常适合处理需求高峰期或计算需求多样化的工作负载。

3. **在EKS Fargate或管理节点组上运行Karpenter控制器**：不要在Karpenter管理的节点上运行Karpenter本身。

4. **排除不适合工作负载的实例类型**：使用`node.kubernetes.io/instance-type`键排除特定实例类型。

5. **在使用Spot实例时启用中断处理**：使用Karpenter的中断处理功能处理Spot实例中断事件。

6. **创建多个NodePool**：当不同团队共享集群或需要不同的操作系统和实例类型时，创建多个NodePool。

7. **使用计时器（TTL）自动删除节点**：利用节点过期机制进行升级和资源管理。

8. **使用`karpenter.sh/do-not-disrupt`注解防止Karpenter停用关键节点**。

9. **为所有工作负载设置准确的资源请求**：这有助于Karpenter为您的工作负载找到最佳的节点类型。

## 清理资源

当您不再需要Karpenter和测试资源时，可以使用以下命令进行清理：

```bash
# 卸载Karpenter
helm uninstall karpenter --namespace "${KARPENTER_NAMESPACE}"

# 删除CloudFormation堆栈
aws cloudformation delete-stack --stack-name "Karpenter-${CLUSTER_NAME}"

# 删除启动模板
aws ec2 describe-launch-templates --filters "Name=tag:karpenter.k8s.aws/cluster,Values=${CLUSTER_NAME}" |
    jq -r ".LaunchTemplates[].LaunchTemplateName" |
    xargs -I{} aws ec2 delete-launch-template --launch-template-name {}

# 删除集群
eksctl delete cluster --name "${CLUSTER_NAME}"
```

## 总结

通过本文，我们学习了如何在AWS EKS上安装和配置Karpenter。Karpenter提供了一种高效的方法来管理Kubernetes集群的节点生命周期，可以根据实际需求自动扩展和收缩节点，优化资源利用率和成本。

## 参考文档

1. [Karpenter官方文档 - Getting Started with Karpenter](https://karpenter.sh/docs/getting-started/getting-started-with-karpenter/)
2. [AWS EKS最佳实践 - Karpenter](https://docs.aws.amazon.com/eks/latest/best-practices/karpenter.html)
3. [Karpenter GitHub仓库](https://github.com/aws/karpenter-provider-aws)
4. [Amazon EKS用户指南](https://docs.aws.amazon.com/eks/latest/userguide/getting-started.html)
5. [Karpenter NodePool API文档](https://karpenter.sh/docs/concepts/nodepools/)

----
> 额外的，Github还有几个比较可靠的案例，可供参考：
> https://github.com/aws-samples/cloud-native-airflow-solution-on-amazon-eks/blob/51a61d09d4b3b3621f0e81e7f172e93bb9bbf15a/02-setup-karpenter.sh#L5
> https://github.com/aws-samples/aws-do-eks/tree/51c2c80fb8873706b75203374174c26a4f4ac9c7/Container-Root/eks/deployment/karpenter

扫描二维码推送至手机访问。

本文链接：https://www.runor.cn/?id=23

标签: Karpenter Kubernetes AWS

分享给朋友：

返回列表

上一篇：管理AWS Kinesis Video Streams：理解流生命周期与自动化清理

下一篇：AWS EC2自定义主机名管理系统

刘博说云

大家都在搜：

在AWS EKS上安装Karpenter的完整指南

“在AWS EKS上安装Karpenter的完整指南” 的相关文章

AWS S3接入点查询与分析方法

AWS EC2自定义主机名管理系统

OpenSearch自定义模型上传详解：文件处理与分块机制深度解析

AWS EC2 自动镜像创建与弹性伸缩部署指南

AWS与Azure云环境互联的三种主要方案

发表评论

Powered By Z-BlogPHP. Theme by TOYEAN.

刘博说云

大家都在搜：

在AWS EKS上安装Karpenter的完整指南

“在AWS EKS上安装Karpenter的完整指南” 的相关文章

AWS S3接入点查询与分析方法

AWS EC2自定义主机名管理系统

OpenSearch自定义模型上传详解：文件处理与分块机制深度解析

AWS EC2 自动镜像创建与弹性伸缩部署指南

AWS与Azure云环境互联的三种主要方案

发表评论取消回复

Powered By Z-BlogPHP. Theme by TOYEAN.

发表评论