Skip to main content

指标与弹性伸缩:metrics-server / HPA

覆盖考纲 Workloads and Scheduling(15%) 中「Know how to scale applications」。 环境:v1.36.3,metrics-server v0.9.1


核心认知​

数据来源回答什么
requests / limitsPod spec(声明值)我要多少 / 我最多能用多少
实际用量metrics-server(测量值)我现在用了多少

三句话:

  1. metrics-server 是 Add-on(与 CNI / CSI / CoreDNS 同层),不是核心组件
  2. 它通过聚合层 APIService 注册成 metrics.k8s.io,数据不在 etcd
  3. HPA 是控制器,只改 Deployment.spec.replicas,不创建 Pod

一、metrics-server 的定位​

能力边界​

能做不能做
kubectl top nodes/pods存历史(内存里只留最近两个采样点,重启即空)
HPA 的 type: Resource告警 / 趋势曲线
VPA recommender 取数QPS / 错误率(→ Prometheus Adapter)
第三方读 Metrics API对象状态(→ kube-state-metrics)
—缩到 0(→ KEDA)
—参与调度(调度器只看 requests)

metrics-server 挂了,集群照常运行,只有 top 和 HPA 失效 —— 这是它能当 Add-on 的直接证据。

替代方案:Prometheus Adapter 只提供 custom/external.metrics.k8s.io,不能替代 metrics.k8s.io;生产上是两个都装,因为 HPA 的 Resource 类型只认 metrics-server。


二、部署​

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

kubectl -n kube-system patch deployment metrics-server --type=json \
-p='[{"op":"add","path":"/spec/template/spec/containers/0/args/-","value":"--kubelet-insecure-tls"}]'

kubectl -n kube-system rollout status deploy/metrics-server --timeout=120s

验证三连:

kubectl -n kube-system get pod -l k8s-app=metrics-server
kubectl get apiservice v1beta1.metrics.k8s.io # AVAILABLE 必须 True
kubectl top nodes

--kubelet-insecure-tls 的作用:kubeadm 集群的 kubelet 用自签证书(SAN 常缺节点 IP),metrics-server 访问 10250 时 x509 校验失败。不加这个 flag 的症状是:Pod Running、APIService True、只有 kubectl top 报 Metrics API not available,真话只在容器日志里。

正规做法是每台节点 /var/lib/kubelet/config.yaml 加 serverTLSBootstrap: true,重启 kubelet 后 kubectl certificate approve 它的 CSR。

镜像拉取:metrics-server 只有 1 副本,会调度到某个 worker,两个 worker 都要能拉到镜像。不通时用 m.daocloud.io/registry.k8s.io/metrics-server/metrics-server:v0.9.1,或在节点上 sudo crictl pull 预拉。

组件自身资源:requests 100m / 200Mi,无 limits(system-cluster-critical 组件,加 limits 反而可能 OOM 被杀导致全集群 HPA 失效)。


三、数据链路与时效​

cAdvisor 采样(10s)→ metrics-server 抓取(--metric-resolution,官方 manifest 为 15s)
→ HPA 读取(sync-period 15s)→ 扩容生效(Pod 启动 + Ready)

负载上去到新 Pod 提供服务,正常 30-60 秒。 压测时不要以为 HPA 失灵。

Metrics API 只返回两个有效字段:

{"containers":[{"name":"nginx","usage":{"cpu":"1m","memory":"86Mi"}}]}

CPU 单位是核心数(1m = 0.001 核),内存是字节。


四、HPA​

控制链​

HPA controller → 改 Deployment.spec.replicas → Deployment controller → 增删 Pod

两者只通过 spec.replicas 一个字段通信。

公式​

desiredReplicas = ceil( currentReplicas × 当前指标值 / 目标指标值 )
当前平均利用率 = Σ(所有 Pod 实际 CPU) / Σ(所有 Pod requests)

分母是 requests 之和,不是节点容量,也不是 limits。

扩容后新 Pod 是空闲的,会拉低平均利用率 —— HPA 靠这一点收敛到目标值。 第一轮读数常低于理论值(CPU 爬升段被采样窗口平均),所以实际扩容轮次可能比算出来的少一轮。

YAML​

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: web-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: web
minReplicas: 1
maxReplicas: 4
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50

配套 Deployment 必须有 requests:

spec:
replicas: 1
template:
spec:
containers:
- name: nginx
image: nginx:alpine
resources:
requests: { cpu: 500m }
limits: { cpu: "1" }

命令式(考场常用):

kubectl autoscale deploy web --cpu-percent=50 --min=1 --max=4

behavior 默认值​

方向默认
扩容稳定窗口 0 秒;每轮最多 Percent 100% 或 Pods 4,selectPolicy: Max
缩容稳定窗口 300 秒;取窗口内推荐值的最大值

容差:比例在 0.9~1.1(利用率 45%~55%)之间不动作,也不产生 Event。

指标类型​

Resource(metrics-server)/ Pods(自定义 adapter,每 Pod 平均值)/ Object(关联对象)/ External(集群外)。变体 ContainerResource 按单容器计算,多容器 Pod 更准。

HPA 不能缩到 0,minReplicas 最小 1;要缩到 0 用 KEDA。


五、排障四步​

# ① 输入对不对:负载真的降了吗
kubectl top pods -n <ns>

# ② 百分比能不能算:有没有 requests
kubectl -n <ns> get pod -o jsonpath='{.items[*].spec.containers[*].resources.requests.cpu}'

# ③ 管道通不通
kubectl get apiservice v1beta1.metrics.k8s.io
kubectl -n kube-system logs deploy/metrics-server --tail=30

# ④ 计算对不对
kubectl -n <ns> describe hpa <name>

describe hpa 的关键 Condition:

Condition含义
AbleToScale: ScaleDownStabilized被稳定窗口拦住(不是故障)
ScalingActive: ValidMetricFound指标读取成功
ScalingLimited: TooManyReplicas撞到 maxReplicas

<unknown> 四个原因:Pod 没写 requests / metrics-server 没装 / Pod 刚建未采集 / Pod 非 Running。


踩坑实录​

① kubectl exec 的 Ctrl+C 不杀容器内进程

压测 kubectl exec deploy/web -- yes > /dev/null,Ctrl+C 只断开客户端,yes 继续跑 → 误判"HPA 不缩容"。正确停止:kubectl exec <精确 Pod 名> -- pkill yes,然后用 kubectl top 确认。

② 以为 HPA 一次算到位

ceil(1×200/50)=4 是理想值,实测第一轮 135% → 3。公式对,输入不理想。

③ 用 deploy/xxx 做精确操作

多副本时随机挑 Pod。要先 get pod -o wide 找到具体名字再 exec。

④ 以为装了 Prometheus 就不用 metrics-server

HPA 的 Resource 类型只读 metrics.k8s.io。


复习自测题(答案)​

Q1:HPA 扩容时会不会创建 Pod? 不会。只改 Deployment.spec.replicas,Pod 由 Deployment 控制器创建。

Q2:TARGETS 显示 <unknown>/50%,先查什么? Pod 有没有 requests.cpu。Utilization 的分母是 requests,没有它就是零。

Q3:为什么缩容等 5 分钟,扩容立即? scaleDown.stabilizationWindowSeconds: 300,取窗口内最大值,避免流量间歇导致反复重建;扩容没有窗口,宁可多花资源也不要服务不足。

Q4:1 副本跑满 1 核、requests 500m、target 50%,第一轮扩到几个? 理论 ceil(1×200/50)=4,实测常是 3,因为第一轮采样读到的利用率被爬升段稀释。

Q5:metrics.k8s.io 的数据在 etcd 里吗? 不在。通过 APIService 反向代理到 metrics-server,数据在其内存,只留最近两个采样点,重启即空。


速记卡片​

# 部署
kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
kubectl -n kube-system patch deployment metrics-server --type=json \
-p='[{"op":"add","path":"/spec/template/spec/containers/0/args/-","value":"--kubelet-insecure-tls"}]'

# 查看
kubectl top nodes
kubectl top pods -A --sort-by=cpu
kubectl top pod <pod> --containers
kubectl get apiservice v1beta1.metrics.k8s.io

# HPA
kubectl autoscale deploy web --cpu-percent=50 --min=1 --max=4
kubectl get hpa -w
kubectl describe hpa <name>

# 判定口径
# 分母 = Σrequests(不是节点容量、不是 limits)
# 容差 0.9~1.1 → 不动作、不产生 Event
# 扩容:0s 窗口,每轮最多翻倍或 +4
# 缩容:300s 窗口,取最大值
# metrics.k8s.io 不存 etcd,重启即空