Skip to main content

综合实战复盘:渠道对账系统上线

场景:ns recon 内串起 Week 4 全部考点——Deployment+探针+QoS → 滚动更新/回滚 → Job → CronJob →(加分)StatefulSet+静态 PV。 2026-10-03/04 实操完成,全程 Tabby 核验通过。


一、Deployment + 探针 + QoS(工位 1)​

要点:apply 返回成功 ≠ 应用上线。apply 只是把 YAML 提交给 API Server 就返回,中间还有调度→拉镜像→起容器→readiness 通过。

kubectl rollout status deployment/X 是发布确认的正确姿势:

  • 底层等 status.observedGeneration 追上 metadata.generation,且 updatedReplicas/readyReplicas == spec.replicas
  • 生产价值:CI 发布门禁(失败即终止后续步骤)+ 快速暴露故障
  • CKA 技巧:改了 Deployment 后用它验证,比肉眼 get pods 稳

Guaranteed 达成:requests == limits(cpu 100m / memory 128Mi),Pod QoS 三副本均为 Guaranteed。

二、滚动更新 / 故障 / 回滚(工位 2)​

标准流程:set image 正常发版 → 换 nginx:999 观察 ImagePullBackOff 卡住(旧 Pod 存活,业务不中断)→ rollout undo 回滚。

三个关键认知:

  1. undo 不是回拨版本号:把 rev2 的模板复制成新的 rev4,旧 rev2 的 RS 因模板 hash 相同被去重回收。所以 history 会"跳号"(1/3/4),正常现象。
  2. CHANGE-USE 记录:默认 <none>,发版时 kubectl annotate deployment/X kubernetes.io/change-cause="..." 补上,方便 history 审计。
  3. apply 注解坑(本次最大收获):set image 和 rollout undo 都不更新 last-applied-configuration 注解。undo 后再 apply 旧 YAML:三方合并(注解 vs 集群现状 vs 文件)以文件为准——会把集群拽回文件里的旧版本,且是一次新 revision 的滚动,不是指针回拨。文件过期,它就是事故的二次来源 → 生产规范:yaml 进 git,改镜像先改文件再 apply。

三、Job 日终对账(工位 3)​

  • completions: 4 + parallelism: 2:4 个任务分 2 路并行,Pod 分两批跑完
  • restartPolicy: Never(Job 不允许 Always——会毁掉完成信号);失败重试由 backoffLimit(默认 4)控制,指数退避
  • 观察口:kubectl get job -w,Pod 两批各 2 个

四、CronJob 每晚对账(工位 4)​

  • 实验 schedule "*/2 * * * *";真实日终应写 "30 0 * * *"
  • Forbid 是跑批的保险丝:单次 job 16s 跑完时 Allow/Forbid 无区别;一旦跑批超时叠到下个调度点,Allow 会并行起第二个 job 造成重复对账/资源挤兑,Forbid 直接跳过本次调度
  • 不等调度手动触发:kubectl create job --from=cronjob/nightly-recon nightly-recon-manual
  • 坑位记录:首次实操 concurrencyPolicy 忘了写(默认 Allow),核验后 patch 补上——默认值不等于你要的值,关键策略必须显式声明

五、StatefulSet + 静态 PV 加分题(工位 5)​

结构:Headless Service recon-db-hs(clusterIP: None)+ sts serviceName: recon-db-hs + volumeClaimTemplates(vct 名 pv-recon-db)。

本次踩坑实录(价值最高):

  1. PVC 命名规则:vct名-sts名-序号 → pv-recon-db-recon-db-0/1/2。
  2. 每个 PVC 独立绑一个 PV:只建 1 个 PV 时 -0 绑走,-1 永远 Pending(unbound immediate PersistentVolumeClaims),SS 因有序性不放行后续 Pod。静态供给 = 缺几个手工补几个。
  3. storageClassName 必须严格匹配:PVC 指定了 manual,新 PV 不带这个字段就永远匹配不上(本次补 PV 的关键)。
  4. 有序放行:补齐 PV 后 -1 先起,-2 在 -1 Ready 后才创建——SS 的顺序性又验证了一遍。
  5. per-pod DNS 格式:pod名.serviceName.ns.svc.cluster.local(不是 vct 名!),recon-db-0.recon-db-hs.recon.svc.cluster.local 解析结果与 Pod IP 一致。
  6. hostPath 静默陷阱:hostPath 不做跨节点校验。未加 nodeSelector 时 -1/-2 落在 node02,kubelet 在 node02 静默创建空目录照样启动,数据实际存在 node02——实验无妨,生产就是数据分裂事故。防法:sts 加 nodeSelector,或 PV 写 nodeAffinity。

六、命令速查​

# 发布确认
kubectl -n recon rollout status deployment/recon-web
# 故障回滚与审计
kubectl -n recon rollout history deployment/recon-web
kubectl -n recon rollout undo deployment/recon-web
# 手动触发 CronJob
kubectl -n recon create job --from=cronjob/nightly-recon nightly-recon-manual
# QoS 验证
kubectl -n recon get pod -l app=recon-web -o jsonpath='{.items[0].status.qosClass}'
# per-pod DNS 验证
kubectl -n recon run dns-test --rm -it --image=busybox:1.36 --restart=Never -- \
nslookup recon-db-0.recon-db-hs.recon.svc.cluster.local

七、CKA 考点对照​

  • 滚动更新/回滚/history/undo 语义
  • 探针三种类型与故障表现(137 vs Completed)
  • QoS 判定(requests==limits → Guaranteed)
  • Job completions/parallelism/backoffLimit、CronJob schedule 五段式 + concurrencyPolicy
  • StatefulSet:serviceName 必填、有序性、PVC 命名、per-pod DNS
  • 无 StorageClass 集群的静态 PV 绑定条件(capacity/accessModes/storageClassName 三匹配)

Docs:Concepts → Workloads(Deployments / Jobs / CronJob / StatefulSet)、Storage → Persistent Volumes(nodeAffinity 节)。