Skip to main content

集群搭建 · 安装前置操作

Fedora 44 · 4核/7.7G · VMware 虚拟机 · 2026-08-08 用户学习模式:基础操作用户自己做,高级操作我来 本文档为集群搭建的前置准备阶段(系统/运行时/工具),集群初始化见独立笔记 03-集群初始化.md

集群规划​

角色主机名IP
MasterK8S-Master192.168.10.12
Node01K8S-Node01192.168.10.13
Node02K8S-Node02192.168.10.14

一、系统准备​

1. 固定静态 IP(nmcli)​

nmcli con mod "有线连接 1" ipv4.addresses 192.168.10.12/24 ipv4.gateway 192.168.10.2 ipv4.dns 192.168.10.2 ipv4.method manual
nmcli con up "有线连接 1"

三台都改了(Master/Node01/Node02 对应 .12/.13/.14)

2. /etc/hosts 主机名解析(三台都要)​

192.168.10.12  K8S-Master
192.168.10.13 K8S-Node01
192.168.10.14 K8S-Node02

3. 内核参数(三台)​

创建 /etc/sysctl.d/k8s.conf:

net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1

生效:sysctl --system

⚠️ 坑:bridge-nf-call-iptables 报"没有那个文件或目录"是因为 br_netfilter 内核模块没加载,先 modprobe br_netfilter。

4. br_netfilter 开机自启(三台)​

echo "br_netfilter" > /etc/modules-load.d/br_netfilter.conf

5. 关闭防火墙 / SELinux / Swap(Master 已做)​

  • 防火墙:systemctl disable --now firewalld
  • SELinux:setenforce 0 + /etc/selinux/config 改 SELINUX=disabled
  • Swap:systemctl mask systemd-zram-setup@zram0.service + swapoff -a
    • ⚠️ Fedora zram 是 service 管理的,重启会复活,必须 mask

二、安装 containerd(容器运行时)​

为什么:K8S 通过 CRI 协议让 kubelet → containerd → runc 跑容器,containerd 是主流运行时​

# ① 配置阿里云镜像源(Docker官方源国内连不上,用阿里源)
cat > /etc/yum.repos.d/docker-ce.repo <<'EOF'
[docker-ce-stable]
name=Docker CE Stable - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/fedora/$releasever/$basearch/stable
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/fedora/gpg
EOF

# ② 安装
dnf makecache
dnf install -y containerd.io # 当前版本 2.3.3

# ③ 生成默认配置 + 启用 SystemdCgroup(K8S 硬性要求)
containerd config default > /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml

# ④ 启动
systemctl daemon-reload
systemctl enable --now containerd
systemctl is-active containerd # 应输出 active

# ⑤ 验证 CRI 插件
ls /run/containerd/ | grep cri # 有 io.containerd.grpc.v1.cri 即 CRI 已启用(2.x 默认开)

三、镜像加速配置(国内拉 K8S 镜像)​

核心结论:K8S 镜像在 registry.k8s.io,国内不可达​

两种解决思路:

  1. ✅ 推荐(本项目采用):kubeadm 直接指定阿里云镜像仓库 --image-repository registry.aliyuncs.com/google_containers,该仓库有全套 K8S 官方镜像(pause、kube-apiserver、etcd、coredns 等)
  2. hosts.toml mirror 方案(有坑,见踩坑#5)

为什么 hosts.toml mirror 方案有坑​

# /etc/containerd/certs.d/registry.k8s.io/hosts.toml
server = "https://registry.k8s.io"
[host."https://registry.aliyuncs.com/google_containers"]
capabilities = ["pull", "resolve"]
  • 测试结果:crictl pull registry.k8s.io/pause:3.10 → 404
  • 但 crictl pull registry.aliyuncs.com/google_containers/pause:3.10 → 成功
  • 根因:containerd 走 mirror 时会给 URL 追加 ?ns=registry.k8s.io 查询参数,且不重写镜像路径(阿里云上实际路径是 google_containers/pause,不是顶层 pause),阿里云不认 → 404

crictl 安装与配置​

dnf install -y cri-tools   # Fedora 自带,不用从 GitHub 下

# 配置 endpoint(否则 crictl 默认先连 dockershim.sock 报错)
cat > /etc/crictl.yaml <<'EOF'
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF

# 测试镜像加速
crictl pull registry.aliyuncs.com/google_containers/pause:3.10

诊断技巧​

  • crictl pull 失败时,用 journalctl -u containerd --since "5 min ago" | grep -iE "pull|registry|mirror" 看 containerd 实际请求了哪个 URL
  • 报 connection refused = 直连被墙;报 not found/404 = mirror 生效但镜像路径/tag 不对

四、安装 kubeadm / kubelet / kubectl​

源:中科大镜像(mirrors.ustc.edu.cn)​

cat > /etc/yum.repos.d/kubernetes.repo <<'EOF'
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.ustc.edu.cn/kubernetes/core:/stable:/v1.36/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.36/rpm/repodata/repomd.xml.key
EOF
dnf makecache

安装(三台,版本 v1.36.3)​

dnf install -y kubelet-1.36.3 kubeadm-1.36.3 kubectl-1.36.3

中科大源有 v1.29~v1.36 所有版本,改路径中版本号即可。

⚠️ 踩坑:Fedora 自带 kubernetes1.36 包冲突​

  • Fedora 44 自带 kubernetes1.36-* 系列(1.36.3),与中科大源包冲突
  • 报错特征:RPM 事务失败 / 软件包未核验:没有摘要 / conflicts with file from package kubernetes1.36
  • 解决:先卸载自带包 dnf remove -y kubernetes1.36-client kubernetes1.36 kubernetes1.36-kubeadm cri-tools1.36
  • 另外:dnf 已装旧版本时不会自动跨版本升级,要显式指定 kubelet-1.36.3

五、前置检查完成状态(2026-08-08 17:27)​

三台节点已完成全部前置准备,配置完全一致:

检查项MasterNode01Node02
k8s 三件套版本v1.36.3v1.36.3v1.36.3
containerdv2.3.3v2.3.3v2.3.3
CRI 状态activeactiveactive
内核参数 ip_forward / bridge-nf1 / 11 / 11 / 1
swap0B0B0B
hosts 主机名解析一致一致一致
containerd config_path / SystemdCgroup一致一致一致
无效 hosts.toml已清理已清理已清理

下一步:kubeadm init --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.244.0.0/16(见 03-集群初始化.md)

六、前置完成 → 集群已搭建 ✅(2026-08-09)​

前置准备全部就绪后,集群初始化已全部完成:

  • ✅ kubeadm init 成功(Master 控制平面)
  • ✅ Calico v3.29.1 安装,IPPool = 10.244.0.0/16
  • ✅ Node01 / Node02 join 成功
  • ✅ 三节点全部 Ready,控制面 + CoreDNS + Calico 全 Running

完整操作过程、参数讲解、踩坑记录见 03-集群初始化.md

易踩坑汇总​

  1. dnf config-manager --add-repo 在 Fedora 44 不支持 → 用 curl -o /etc/yum.repos.d/xxx.repo 或 heredoc 写源文件
  2. Docker 官方源被墙 → 阿里云镜像 https://mirrors.aliyun.com/docker-ce/linux/fedora/
  3. containerd 默认 SystemdCgroup=false → 必须改 true(2.x 位置在 io.containerd.cri.v1.runtime...runc.options)
  4. VMware NVMe 盘重启后 wwid 漂移 → LVM devices file 失配(见 2026-08-08.md)
  5. hosts.toml mirror 对 registry.k8s.io 无效(路径重写 + ?ns= 参数问题)→ 用 kubeadm --image-repository 指定阿里云
  6. containerd 2.x 的 registry config_path 在 io.containerd.cri.v1.images.registry(不是 1.x 的 io.containerd.grpc.v1.cri.registry)