您好，欢迎来到外链网！
当前位置：外链网 » 站长资讯 » 专业问答 » 文章详细 订阅RssFeed

详解kubelet?创建pod流程代码图解及日志说明

来源：互联网　浏览：115次　时间：2023-04-08
内容介绍
  • 正文
  • kubernetes调度pod简介
  • kubelet 创建pod代码及图解说明
    • kubelet 简介
  • kubelet创建及启动pod流程
    • kubelet 创建pod代码调用图解
    • kubelet 创建pod详细说明
    • kubelet 调用cri说明
    • kubelet创建pod整体架构图
  • kubelet创建pod日志说明

    正文

    本文将从如下方面介绍kubelet创建pod的过程

    • kubernetes调度pod简介
    • kubelet 创建pod代码图解说明 （本文重点）
    • kubelet 调用cri创建容器说明 （本文重点）
    • 通过日志来分析kubelet真实创建日志的全过程 （本文重点）

    kubernetes调度pod简介

    kubernetes（后面简称k8s）主要有三种管理（创建）pod的方式：

    • 一种是直接申明创建一个裸pod
    • 另一种是通过controller 来申明创建pod：比如，deployments、replicationcontrollers、daemonsets或者replicasets
    • 还有一种是static（静态） pod 这种用的比较少，一般是把pod的申明文件放在对应的kubernetes/manifest 内容介绍下，通常用来创建apiserver，controller-manager，scheduler这类k8s管理组件的pod。

    k8s推荐使用controller来管理pod，这符合k8s管理pod的习惯，便于使用k8s相关功能，比如弹性扩缩容，pod故障自动拉起等。 我们也以controller管理的pod为例，简单梳理下k8s创建及调度pod流程，如下图

    正文内容：

    • 客户端请求apiserver创建replicasets，apiserver通过认证、鉴权、准入后，会把请求相关信息持久化至etcd
    • Controller-manager 管理的replicaset controller 通过list-watch机制，watch到有replicasets创建请求，通过label selector发现集群中与这个replicasets 关联的pod当前状态与期望状态不一致，则会进行调协（reconcile）向apiserver发起创建pod请求
    • Scheduler 通过list-watch机制来发现未绑定的pod，并通过预选及优选策略算法，来计算出pod最终可调度的node节点，并通过apiserver将数据更新至etcd
    • Kubelet 通过list-watch发现有新的pod bound到本node上，则会发起创建pod相关流程

    kubelet 创建pod代码及图解说明

    kubelet 简介

    Kubelet 有点和controller类似，也是通过list-watch相关信息，或者轮询本地pod相关信息及事件，来触发相关动作，使pod处于”期望状态”，并且向apiserver上报本node（宿主机）及node里所有pod的状态信息。

    kubelet 不同于其他controller的一点就是，它是部署在每个node节点上的agent，它需要与apiserver 打交道同样也需要与cri(contain-runtime-interface)打交道来管理node上的容器。所以它需要通过apiserver来watch到对本地pod变更的事件，也需要不断轮询pod状态信息，将状态及时同步给apiserver，所以Kubelet整体工作逻辑是loop监听各类生产者产生的消息或者定时触发消息，来调用相应的消费者（不同的子模块）完成不同的操作，比如watch 到apiserver的请求，PLEG(pod lifecycle event generator)产生的事件，定时触发的任务等

    kubelet创建及启动pod流程

    kubelet 创建pod代码调用图解

    正文内容：

    kubelet 创建pod详细说明

    • 1.kubelet 会listwatch所有namespace下、绑定到本node上的pod，并将信息传入updatechannel。kubelet 的SyncLoop（是kubele的主循环函数，来控制例行循环往复的事情：同步接收、更新、处理pod变更相关信息）下的syncLoopIteration方法会监听多方消息，会监听各个消息源，来触发相应的操作，这个方法会接收前面listwatch到的updatechannel信息，交由对应的handler:如pod创建：调用HandlePodAdditions处理，pod删除调用HandlePodUpdates处理（DELETE is treated as a UPDATE because of graceful deletion.）
    • 2.HandlePodAdditions 会对pods 进行排序，判断，准入校验，之后调用dispatchWork 把对某个pod的操作 分配给 podWorkers 做异步操作（pod创建、删除、更新）处理
    • 3.异步操作会调用kubelet syncPod（syncPod is the transaction script for the sync of a single pod.）方法,syncPod会做一些pod创建前的准备工作

    a.如果pod updateType 为podkill，立即执行并返回(走pod删除流程)

    b.pod准入检查检查pod是否能运行在本节点

    c.更新状态给 status manager ，status manager将pod状态上报给apiserver

    d.检查网络插件是否就绪

    e.创建并更新pod cgroups配置

    f.为pod创建对应的内容介绍：pod内容介绍，volume内容介绍

    g.等待pod sepc中的volme都被attach/mount

    h.从apiserver中获取pull secrets

    i.调用 containerRuntime 的 SyncPod 方法开始创建容器
    复制代码

    • 4.containerRuntime 的 SyncPod 会做如下主要工作

    a.创建sandbox

    b.Create ephemeral containers

    c.Create init containers

    d.Create normal containers
    复制代码

    其中创建sandbox是关键，sandbox可以理解为pod的运行环境，是业务pod的父容器，在k8s里就是pause 容器,所有容器创建前都需要创建pause容器。首先会生成podsandbox相关配置：如dnsconfig，podhostname，设置sysctl，cgroups以及namespace

    然后会调用CRI（container-runtime-interface）来调用底层container runtime来真实操作容器,之后还会调用CNI插件来为容器设置网络。

    • 5.我们再来看下创建sandbox：RunpodSandbox的步骤 (ds *dockerService) RunPodSandbox 是在是一个cri的是实现，所以在dockershim下dockershim是内置在kubelet里的cri实现，用来衔接kubelet与docker,dockershim翻译为docker"垫片"，很形象）。kubelet通过grp call调用的dockershim来实现容器的创建管理。

    a.调用docker API Pull the image for the sandbox.
    (kubelet 的sandbox镜像：defaultSandboxImage = "k8s.gcr.io/pause:3.2")

    b. 调用docker Create the sandbox container.

    c.Create Sandbox Checkpoint.

    d.调用docker Start the sandbox container.

    e.Rewrite resolv.conf file generated by docker.

    f. Setup networking for the sandbox. 调用cni插件为容器设置网络

    kubelet 调用cri说明

    我们目前container-runtime为docker，docker并不支持CRI，所以要想调用docker 操作容器，k8s内置了dockershim来调用docker，dockershim可以理解为一个满足CRI标准的容器运行时，kubelet通过grpc call 来调用dockershim，dockershim收到kubelet的请求后，将其转化为REST API请求，再发送给docker daemon，docker daemon 在通过组装请求，调用docker API来完成container的最终创建、启动等相关操作。

    这块有两个地方需要说明下：

    1是为啥会有dockershim？ 这里有个小故事，首先k8s再具有一定市场规模后，想与docker 解耦，不想强依赖docker,同时为了支持多种container-runtime，故制定了CRI，只有满足CRI，kubelet便可以直接完成调用来管理container,然而docker一开始并不支持CRI，故k8s想了个这种的方式，开发了一个dockershim（docker "垫片"）来转发请求,这样k8s也完成了对docker的解耦,当然这看起来较繁琐且影响性能，故在kubernetes 1.24后，kubernetes宣布启用dockershim，需要我们在该版本后主动配置container-runtime。

    2.docker这面也很早就做了应对，docker抽离出了支持CRI标准的containerd，通过containerd来管理容器。

    所以如下图，调用docker API创建容器后，docker还会调用docker-containerd来管理创建容器，docker-containerd通过docker-containerd-shim来间接管理container，这样一个好处就是升级或重启docker，我们的业务容器依然可以正常运行，最终docker-containerd-shim通过runc来创建container，runc是docker做的基于oci的实现就是以前的libcontainer，用于容器创建。

    kubelet创建pod整体架构图

    （container-runtime="docker"，大多数企业目前应该都是使用的这种方式）

    正文内容：

    kubelet创建pod日志说明

    我们通过实战，开启debug日志来看下kubelet在创建pod时做了哪些工作

    注：日志仅保留主要输出及过滤敏感信息

    1.收到新pod创建时间，写入updatechannel通道
    I0921 18:10:00.486345   26075 config.go:414] Receiving a new pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"

    2.syncLoop: 收到add事件
    I0921 18:10:00.757557   26075 kubelet.go:2007] SyncLoop (ADD, "api"): opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)

    3.准入验证pod fit success
    I0921 18:10:00.759786   26075 predicates.go:986] Pod: opslk1-xxx fit success. Node: xx.xx.10.9 has enough resources.

    4.流转至syncPod，SyncPodType=create
    I0921 18:10:00.759956   26075 kubelet.go:1498] syncPod "xxx-3995-11ed-80a8-48df37244930" updateType:{{ }  types.SyncPodType=create)

    5.获取pod状态
    I0921 18:10:00.760128   26075 kubelet_pods.go:1529] Generating status for "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"
    I0921 18:10:00.760148   26075 kubelet_pods.go:1494] pod waiting > 0, pending
    I0921 18:10:00.760174   26075 kubelet.go:1603] apiPodStatus.Phase:Pending pod:"opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"

    6.配置cgroupConfig,设置cpu，内存
    I0921 18:10:00.760200   26075 kubelet_resources.go:149] Newest cgroupConfig for pod:"opslk1-5sfjn_lktest01(739e1c1a-3175-11ed-aff8-48df37244926)"
    are kubelet.cgroupResource{cpuShares:xxx, cpuQuota:xxx, memoryLimit:xxx, memoryLimitSwap:xxx}.

    7.等待pod相关volume attach及挂载
    I0921 18:10:00.768211   26075 volume_manager.go:350] Waiting for volumes to attach and mount for pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"

    8.向apiserver同步状态，先GET后PATCH
    I0921 18:10:00.791361   26075 round_trippers.go:419] curl -k -v -XGET   'https://xxx/api/v1/namespaces/lktest01/pods/opslk1-xxx'
    I0921 18:10:00.794250   26075 round_trippers.go:419] curl -k -v -XPATCH  'https://xxx/api/v1/namespaces/lktest01/pods/opslk1-xxx/status'
    I0921 18:10:00.798998   26075 status_manager.go:506] Status for pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)" updated successfully: (1, {Phase:Pending Conditions:[{Type:Initialized

    9.根据期望状态开始调协，Reconcile Pod "Ready" condition if necessary. Trigger sync pod for reconciliation.
    I0921 18:10:00.799365   26075 kubelet.go:2020] SyncLoop (RECONCILE, "api"): "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"

    10.mount volume
    I0921 18:10:02.177479   26075 operation_generator.go:506] MountVolume.WaitForAttach succeeded for volume "volume"  DevicePath "/dev/mapper/docker-xxx_3995_11ed_80a8_48df37244930"
    I0921 18:10:03.136754   26075 operation_generator.go:527] MountVolume.MountDevice succeeded for volume "volume"  device mount path "/export/kubelet/pods/xxx-3995-11ed-80a8-48df37244930/volumes/kubernetes.io~lvm/volume"
    I0921 18:10:03.136851   26075 operation_generator.go:567] MountVolume.SetUp succeeded for volume "volume" (UniqueName: "flexvolume-kubernetes.io/lvm/xxx_3995_11ed_80a8_48df37244930") pod "opslk1-xxx"

    11.volumes  attached、mounted 完毕
    I0921 18:10:03.168555   26075 volume_manager.go:384] All volumes are attached and mounted for pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"

    12.调用 containerRuntime 的 SyncPod 方法开始创建容器
    I0921 18:10:03.168568   26075 kuberuntime_manager.go:468] Syncing Pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)": &Pod{}

    13.创建sandbox容器:Setting cgroup parent,RunPodSandbox,Calling network plugin cni to set up pod
    I0921 18:10:03.168833   26075 kuberuntime_manager.go:398] No sandbox for pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)" can be found. Need to start a new one"opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"
    I0921 18:10:03.168885   26075 kuberuntime_manager.go:605] SyncPod received new pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)", will create a sandbox for it
    I0921 18:10:03.168891   26075 kuberuntime_manager.go:614] Stopping PodSandbox for "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)", will start new one
    I0921 18:10:03.168901   26075 kuberuntime_manager.go:841] Stop app containers for pod:"opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)".
    I0921 18:10:03.168913   26075 kuberuntime_manager.go:666] Creating sandbox for pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"
    I0921 18:10:03.170818   26075 docker_service.go:460] Setting cgroup parent to: "/kubepods/burstable/podxxx-3995-11ed-80a8-48df37244930"
    I0921 18:10:03.170827   26075 docker_sandbox.go:108] RunPodSandbox PodName:opslk1-xxx PodUID:xxx-3995-11ed-80a8-48df37244930 NameSpace:lktest01
    I0921 18:10:04.297831   26075 plugins.go:377] Calling network plugin cni to set up pod "opslk1-xxx_lktest01"
    I0921 18:10:04.298323   26075 manager.go:1011] Added container: "/kubepods/burstable/podxxx-3995-11ed-80a8-48df37244930/805dda102e017247685240c2f740295396edcb7071dfe211979215eac0870e0b" 
    I0921 18:10:04.298535   26075 container.go:448] Start housekeeping for container "/kubepods/burstable/podxxx-3995-11ed-80a8-48df37244930/805dda102e017247685240c2f740295396edcb7071dfe211979215eac0870e0b"
    I0921 18:10:04.298693   26075 cni.go:337] Got netns path /proc/26876/ns/net
    I0921 18:10:04.298701   26075 cni.go:338] Using podns path lktest01
    I0921 18:10:04.298820   26075 cni.go:307] About to add CNI network cni-loopback (type=loopback)
    I0921 18:10:04.301399   26075 cni.go:337] Got netns path /proc/26876/ns/net
    I0921 18:10:04.301405   26075 cni.go:338] Using podns path lktest01
    I0921 18:10:04.301466   26075 cni.go:307] About to add CNI network cni (type=cni)
    I0921 18:10:04.392172   26075 kuberuntime_manager.go:680] Created PodSandbox "805dda102e017247685240c2f740295396edcb7071dfe211979215eac0870e0b" for pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)"
    I0921 18:10:04.396981   26075 kuberuntime_manager.go:699] Determined the ip "xx.xx.226.17" for pod "opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)" after sandbox changed

    14,创建常规容器
    I0921 18:10:04.397114   26075 kuberuntime_manager.go:750] Creating container &Container{} in pod opslk1-xxx_lktest01(xxx-3995-11ed-80a8-48df37244930)
    I0921 18:10:04.398859   26075 kuberuntime_container.go:108] Generating ref for container opslk: &v1.ObjectReference{Kind:"Pod", Namespace:"lktest01", Name:"opslk1-xxx"}
    I0921 18:10:04.398883   26075 kuberuntime_container.go:117] To determine whether to restart the old container. Pod:opslk1-xxx_lktest01 PodIP: PodSandboxId: NameSpace:lktest01
    I0921 18:10:04.398888   26075 kuberuntime_container.go:258] pod:opslk1-xxx default KeepRootDirForPod: true
    I0921 18:10:04.398935   26075 server.go:471] Event(v1.ObjectReference{Kind:"Pod", Namespace:"lktest01", Name:"opslk1-xxx", UID:"xxx-3995-11ed-80a8-48df37244930", APIVersion:"v1", ResourceVersion:"19846024411", FieldPath:"spec.containers{opslk}"})

    以上就是详解kubelet 创建pod流程代码图解及日志说明的详细内容，更多关于kubelet创建pod流程的资料请关注站长源码网其它相关文章！

    本文从互联网转载，来源地址：www.downzz.com/fuwuqi/247459.html，原作者保留一切权利，若侵权或引用不当，请联系茶猫云(cmy.cn)删除。【茶猫云，优质云服务器提供商】