技术标签: 云原生 kubernetes 容器
按说,使用kubeadm搭建k8s集群最权威的方法、步骤,应该是直接参考kubeadm官网,里边描述了从OS基础配置到containerd,再到kubeadm安装、init&join的全过程。
只是,kubernetes的官网对整个过程的描述并不是一种step by step的方式,而是把相关的步骤分散于各个富含上下文知识的页面中,它在描述操作方法的同时,讲了很多原理、注意事项及异常处理之类的内容。
如果我们想弄清楚整个过程的操作步骤,需要不断地在各个网页中穿梭,浏览遍历。我们在顺利完成环境搭建的的同时,也知道了它的许多运维技巧和运行原理。
对学习来说,这可能是正统的方式,因为这样可以让我们深谙操作步骤的原理,具备基本异常排错的能力。
而本文描述的过程可能更符合我们日常工作中那种快餐式的方式:“别扯太多,别扯周边,直接告诉我一步一步的命令。”,这样导致的问题就是,一、步骤不一定通用,二、出了问题容易让自己抓瞎。
本文也算是记录了自己一次kubeadm搭建k8s集群的过程,有些坎坷,所以也才有点收获。
总体步骤可以概括为以下几个阶段。
注意:
首先,我们需要确保ubuntu 22.04上配置的/etc/apt/sources.list是否可用。执行 apt update 时没有报错即可。
如果报错
E: The repository 'http://nova.clouds.archive.ubuntu.com/ubuntu focal Release' does not have a Release file
则,我们需要调整下/etc/apt/sources.list中的源。
其实,sources.list文件中列的http://nova.clouds.archive.ubuntu.com/ubuntu都是可以访问的,如果不能访问,说明国内访问这些源不可达,直接换源:
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
如果能访问,则说明源是正常的,但是没有这个ubuntu版本的distribution 目录。更改一下sources.list中的ubuntu版本,比如这里报错“focal Release’ does not have a Release file”,意思是说,没有ubuntu focal
版本,则,我们可以打开http://nova.clouds.archive.ubuntu.com/ubuntu 看看 dists目录下都有什么版本,替换成如下的方式:
# 原来的 focal 换成了bionic-updates
deb http://nova.clouds.archive.ubuntu.com/ubuntu bionic-updates main restricted universe multiverse
# 可以使用这种方式批量替换
sed -i 's/hirsute/kinetic/g' /etc/apt/sources.list
这种方式不是很安全,最简单的方式还是直接换源。这里推荐大家去看下
apt-get update
apt-get install -y apt-transport-https ca-certificates curl
wget https://github.com/containerd/containerd/releases/download/v1.7.2/containerd-1.7.2-linux-amd64.tar.gz
tar Cxzvf /usr/local containerd-1.7.2-linux-amd64.tar.gz
wget https://raw.githubusercontent.com/containerd/containerd/main/containerd.service -O /lib/systemd/system/containerd.service
systemctl daemon-reload
systemctl enable --now containerd
wget https://github.com/opencontainers/runc/releases/download/v1.1.7/runc.amd64
install -m 755 runc.amd64 /usr/local/sbin/runc
wget https://github.com/containernetworking/plugins/releases/download/v1.3.0/cni-plugins-linux-amd64-v1.3.0.tgz
mkdir -p /opt/cni/bin
tar Cxzvf /opt/cni/bin cni-plugins-linux-amd64-v1.3.0.tgz
rm -rf /etc/containerd/config.toml
systemctl restart containerd
cat <<EOF | tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
modprobe overlay
modprobe br_netfilter
# sysctl params required by setup, params persist across reboots
cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
# Apply sysctl params without reboot
sysctl --system
lsmod | grep br_netfilter
lsmod | grep overlay
sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward
mkdir -p /etc/apt/keyrings # for 比较新的ubuntu版本
curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | \
gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | \
tee /etc/apt/sources.list.d/kubernetes.list
apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
echo deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main > /etc/apt/sources.list.d/kubernetes.list
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | \
apt-key add -
apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
kubeadm init --kubernetes-version 1.27.2
超级简单,暂时也没碰到什么问题。
kubeadm init \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version 1.27.2
k8s版本更新很快,正当各种调试折腾v1.27.2的搭建时,kubeadm init 提示新的部署版本是v1.27.3,所以我们需要在init时加上参数 --kubernetes-version 1.27.2,否则kubadm会开始下载新版本的相关image。
–image-repository 修改默认image的下载地址:registry.k8s.io。原因显而易见。
需要注意的是,我们仍然需要下载 registry.k8s.io/pause:3.8,因为在containerd 这个版本(1.7.2)的默认配置中,他还是默认采用pause:3.8, 这是containerd的缺省行为,编译入containerd可执行文件中了。
所以我们会看到kubeadm总是在输出"sandboxImage":“registry.k8s.io/pause:3.8”。
究其原因,这个默认行为来自于containerd代码,默认配置:
pkg/cri/config/config_unix.go#L88
// DefaultConfig returns default configurations of cri plugin.
func DefaultConfig() PluginConfig {
...
return PluginConfig{
...
SandboxImage: "registry.k8s.io/pause:3.8",
...
这个值可以通过 /etc/containerd/config.toml 的方式修改:
containerd config default > config.toml # 生成默认的containerd完整配置
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9" # 找到sandbox_image 配置项,将其修改为想要的image
systemctl restart containerd # 重启containerd,生效配置,注意:重启后相关的image会重新被下载。
那为什么crictl会从containerd返回registry.k8s.io/pause:3.8呢,查看kubeadm的代码cmd/kubeadm/app/util/runtime/runtime.go可以知道:
// SandboxImage returns the sandbox image used by the container runtime
func (runtime *CRIRuntime) SandboxImage() (string, error) {
args := []string{"-D=false", "info", "-o", "go-template", "--template", "{
{.config.sandboxImage}}"}
out, err := runtime.crictl(args...).CombinedOutput()
if err != nil {
return "", errors.Wrapf(err, "output: %s, error", string(out))
}
sandboxImage := strings.TrimSpace(string(out))
if len(sandboxImage) > 0 {
return sandboxImage, nil
}
return "", errors.Errorf("the detected sandbox image is empty")
}
它相当于执行了如下命令:
crictl是我们预先安装的crictl管理客户端。在本文后边的调试工具部分也会提及它。
crictl --runtime-endpoint unix:///var/run/containerd/containerd.sock \
--debug=true info -o go-template --template '{
{.config.sandboxImage}}'
kubeadm init 执行结束后,会有类似这样的输出:
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
...
kubeadm join 10.250.16.103:6443 --token 724zwh.95geawagieraqscz --discovery-token-ca-cert-hash sha256:2627b4645fb280cd077396171881b92bcff31c6ca0be13487af9d981d6cfc200
我们接下来就可以使用以上给出的kubeadm join命令添加worker node了。
kubeadm join 10.250.16.103:6443 --token 724zwh.95geawagieraqscz \
--discovery-token-ca-cert-hash sha256:2627b4645fb280cd077396171881b92bcff31c6ca0be13487af9d981d6cfc200
注意这里的token可以通过kubeadm token list
获取,也可以通过kubeadm token create
创建。
--discovery-token-ca-cert-hash
的参数注意有“sha256:”前缀。
参数--discovery-token-ca-cert-hash sha256:2627b4645fb280cd077396171881b92bcff31c6ca0be13487af9d981d6cfc200
数值部分可以通过以下命令获取:
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | \
openssl rsa -pubin -outform der 2>/dev/null | \
openssl dgst -sha256 -hex | sed 's/^.* //'
输出为 2627b4645fb280cd077396171881b92bcff31c6ca0be13487af9d981d6cfc200
如果不想加这个sha256,可以用以下命令避免校验。
kubeadm join 10.250.16.103:6443 \
--token 724zwh.95geawagieraqscz \
--discovery-token-unsafe-skip-ca-verification
这部分大家不一定碰到,有需要的时候可以从这里检索。
# 查阅containerd中的所有container运行时。
crictl --runtime-endpoint unix:///var/run/containerd/containerd.sock ps -a
# 上文中已经提及,以此方法可以查询containerd的相关配置。
crictl --runtime-endpoint unix:///var/run/containerd/containerd.sock \
--debug=true info -o go-template --template '{
{.config.sandboxImage}}'
注意circtl还有很多参数,我们可以用它查询或者操作容器运行时,在必要的时候。
# 查看containerd中各种images
ctr -n k8s.io images list
注意 使用ctr时候加上 -n k8s.io ,否则看不到已经下载的image,也就是说它是有命名空间的。
ctr和crictl的区别是ctr是containerd的操作客户端;
而crictl是所有容器虚拟技术的客户端,通过--runtime-endpoint unix:///var/run/containerd/containerd.sock
的方式和具体的容器实现(比如containerd docker-shim)交互.
# 搭建完成后,我们可以用kubectl命令了,具体这里就不说了,它属于k8s使用日常的事宜。
kubectl get all -A
k8s部署完成后 kubelet以systemd 服务的形式存在,可以通过systemctl status kubelet
查看服务状态。
kubelet配置文件:/var/lib/kubelet/config.yaml
进程:
/usr/bin/kubelet \
--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf \
--kubeconfig=/etc/kubernetes/kubelet.conf \
--config=/var/lib/kubelet/config.yaml \
--container-runtime-endpoint=unix:///var/run/containerd/containerd.sock \
--pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9
基础服务配置目录:
/etc/kubernetes/manifests
具体做什么的就不必说了。需要注意的是,修改这些文件可以实现调整k8s集群的作用,修改保存后,相应的服务会自动重启,不需要执行kubectl apply -f xxxx.yaml
。
比如修改 kube-controller-manager.yaml:
spec:
containers:
- command:
- kube-controller-manager
- --allocate-node-cidrs
- --cluster-cidr=10.0.0.0/16
那么配置的node就会添加podCIDR字段,即ipam.mode == kubernetes
spec:
podCIDR: 10.0.2.0/24
podCIDRs:
- 10.0.2.0/24
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf