指标与弹性伸缩:metrics-server / HPA
覆盖考纲 Workloads and Scheduling(15%) 中「Know how to scale applications」。 环境:v1.36.3,metrics-server v0.9.1
核心认知
| 数据 | 来源 | 回答什么 |
|---|---|---|
requests / limits | Pod spec(声明值) | 我要多少 / 我最多能用多少 |
| 实际用量 | metrics-server(测量值) | 我现在用了多少 |
三句话:
- metrics-server 是 Add-on(与 CNI / CSI / CoreDNS 同层),不是核心组件
- 它通过聚合层 APIService 注册成
metrics.k8s.io,数据不在 etcd - HPA 是控制器,只改
Deployment.spec.replicas,不创建 Pod
一、metrics-server 的定位
能力边界
| 能做 | 不能做 |
|---|---|
kubectl top nodes/pods | 存历史(内存里只留最近两个采样点,重启即空) |
HPA 的 type: Resource | 告警 / 趋势曲线 |
| VPA recommender 取数 | QPS / 错误率(→ Prometheus Adapter) |
| 第三方读 Metrics API | 对象状态(→ kube-state-metrics) |
| — | 缩到 0(→ KEDA) |
| — | 参与调度(调度器只看 requests) |
metrics-server 挂了,集群照常运行,只有 top 和 HPA 失效 —— 这是它能当 Add-on 的直接证据。
替代方案:Prometheus Adapter 只提供
custom/external.metrics.k8s.io,不能替代metrics.k8s.io;生产上是两个都装,因为 HPA 的Resource类型只认 metrics-server。
二、部署
kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
kubectl -n kube-system patch deployment metrics-server --type=json \
-p='[{"op":"add","path":"/spec/template/spec/containers/0/args/-","value":"--kubelet-insecure-tls"}]'
kubectl -n kube-system rollout status deploy/metrics-server --timeout=120s
验证三连:
kubectl -n kube-system get pod -l k8s-app=metrics-server
kubectl get apiservice v1beta1.metrics.k8s.io # AVAILABLE 必须 True
kubectl top nodes
--kubelet-insecure-tls 的作用:kubeadm 集群的 kubelet 用自签证书(SAN 常缺节点 IP),metrics-server 访问 10250 时 x509 校验失败。不加这个 flag 的症状是:Pod Running、APIService True、只有 kubectl top 报 Metrics API not available,真话只在容器日志里。
正规做法是每台节点 /var/lib/kubelet/config.yaml 加 serverTLSBootstrap: true,重启 kubelet 后 kubectl certificate approve 它的 CSR。
镜像拉取:metrics-server 只有 1 副本,会调度到某个 worker,两个 worker 都要能拉到镜像。不通时用 m.daocloud.io/registry.k8s.io/metrics-server/metrics-server:v0.9.1,或在节点上 sudo crictl pull 预拉。
组件自身资源:requests 100m / 200Mi,无 limits(system-cluster-critical 组件,加 limits 反而可能 OOM 被杀导致全集群 HPA 失效)。
三、数据链路与时效
cAdvisor 采样(10s)→ metrics-server 抓取(--metric-resolution,官方 manifest 为 15s)
→ HPA 读取(sync-period 15s)→ 扩容生效(Pod 启动 + Ready)
负载上去到新 Pod 提供服务,正常 30-60 秒。 压测时不要以为 HPA 失灵。
Metrics API 只返回两个有效字段:
{"containers":[{"name":"nginx","usage":{"cpu":"1m","memory":"86Mi"}}]}
CPU 单位是核心数(1m = 0.001 核),内存是字节。
四、HPA
控制链
HPA controller → 改 Deployment.spec.replicas → Deployment controller → 增删 Pod
两者只通过 spec.replicas 一个字段通信。
公式
desiredReplicas = ceil( currentReplicas × 当前指标值 / 目标指标值 )
当前平均利用率 = Σ(所有 Pod 实际 CPU) / Σ(所有 Pod requests)
分母是 requests 之和,不是节点容量,也不是 limits。
扩容后新 Pod 是空闲的,会拉低平均利用率 —— HPA 靠这一点收敛到目标值。 第一轮读数常低于理论值(CPU 爬升段被采样窗口平均),所以实际扩容轮次可能比算出来的少一轮。
YAML
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: web-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: web
minReplicas: 1
maxReplicas: 4
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 50
配套 Deployment 必须有 requests:
spec:
replicas: 1
template:
spec:
containers:
- name: nginx
image: nginx:alpine
resources:
requests: { cpu: 500m }
limits: { cpu: "1" }
命令式(考场常用):
kubectl autoscale deploy web --cpu-percent=50 --min=1 --max=4
behavior 默认值
| 方向 | 默认 |
|---|---|
| 扩容 | 稳定窗口 0 秒;每轮最多 Percent 100% 或 Pods 4,selectPolicy: Max |
| 缩容 | 稳定窗口 300 秒;取窗口内推荐值的最大值 |
容差:比例在 0.9~1.1(利用率 45%~55%)之间不动作,也不产生 Event。
指标类型
Resource(metrics-server)/ Pods(自定义 adapter,每 Pod 平均值)/ Object(关联对象)/ External(集群外)。变体 ContainerResource 按单容器计算,多容器 Pod 更准。
HPA 不能缩到 0,minReplicas 最小 1;要缩到 0 用 KEDA。
五、排障四步
# ① 输入对不对:负载真的降了吗
kubectl top pods -n <ns>
# ② 百分比能不能算:有没有 requests
kubectl -n <ns> get pod -o jsonpath='{.items[*].spec.containers[*].resources.requests.cpu}'
# ③ 管道通不通
kubectl get apiservice v1beta1.metrics.k8s.io
kubectl -n kube-system logs deploy/metrics-server --tail=30
# ④ 计算对不对
kubectl -n <ns> describe hpa <name>
describe hpa 的关键 Condition:
| Condition | 含义 |
|---|---|
AbleToScale: ScaleDownStabilized | 被稳定窗口拦住(不是故障) |
ScalingActive: ValidMetricFound | 指标读取成功 |
ScalingLimited: TooManyReplicas | 撞到 maxReplicas |
<unknown> 四个原因:Pod 没写 requests / metrics-server 没装 / Pod 刚建未采集 / Pod 非 Running。
踩坑实录
① kubectl exec 的 Ctrl+C 不杀容器内进程
压测 kubectl exec deploy/web -- yes > /dev/null,Ctrl+C 只断开客户端,yes 继续跑 → 误判"HPA 不缩容"。正确停止:kubectl exec <精确 Pod 名> -- pkill yes,然后用 kubectl top 确认。
② 以为 HPA 一次算到位
ceil(1×200/50)=4 是理想值,实测第一轮 135% → 3。公式对,输入不理想。
③ 用 deploy/xxx 做精确操作
多副本时随机挑 Pod。要先 get pod -o wide 找到具体名字再 exec。
④ 以为装了 Prometheus 就不用 metrics-server
HPA 的 Resource 类型只读 metrics.k8s.io。
复习自测题(答案)
Q1:HPA 扩容时会不会创建 Pod?
不会。只改 Deployment.spec.replicas,Pod 由 Deployment 控制器创建。
Q2:TARGETS 显示 <unknown>/50%,先查什么?
Pod 有没有 requests.cpu。Utilization 的分母是 requests,没有它就是零。
Q3:为什么缩容等 5 分钟,扩容立即?
scaleDown.stabilizationWindowSeconds: 300,取窗口内最大值,避免流量间歇导致反复重建;扩容没有窗口,宁可多花资源也不要服务不足。
Q4:1 副本跑满 1 核、requests 500m、target 50%,第一轮扩到几个?
理论 ceil(1×200/50)=4,实测常是 3,因为第一轮采样读到的利用率被爬升段稀释。
Q5:metrics.k8s.io 的数据在 etcd 里吗?
不在。通过 APIService 反向代理到 metrics-server,数据在其内存,只留最近两个采样点,重启即空。
速记卡片
# 部署
kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
kubectl -n kube-system patch deployment metrics-server --type=json \
-p='[{"op":"add","path":"/spec/template/spec/containers/0/args/-","value":"--kubelet-insecure-tls"}]'
# 查看
kubectl top nodes
kubectl top pods -A --sort-by=cpu
kubectl top pod <pod> --containers
kubectl get apiservice v1beta1.metrics.k8s.io
# HPA
kubectl autoscale deploy web --cpu-percent=50 --min=1 --max=4
kubectl get hpa -w
kubectl describe hpa <name>
# 判定口径
# 分母 = Σrequests(不是节点容量、不是 limits)
# 容差 0.9~1.1 → 不动作、不产生 Event
# 扩容:0s 窗口,每轮最多翻倍或 +4
# 缩容:300s 窗口,取最大值
# metrics.k8s.io 不存 etcd,重启即空