[Bug]: panic: we cant not find any cgroup driver of kubelet after requesting configz and default files

[Dongrc]

这个问题是否已经存在？

• 我已经搜索过现有的问题

部署环境

内核版本：Linux version 6.1.156-177.286.amzn2023.x86_64 (mockbuild@ip-10-0-50-14) (gcc (GCC) 11.5.0 20240719 (Red Hat 11.5.0-5), GNU ld version 2.41-50.amzn2023.0.4) #1 SMP PREEMPT_DYNAMIC Tue Oct 21 22:16:56 UTC 2025
华佗版本：latest (20251201)

如何复现

config配置了es地址与
[Pod]
KubeletReadOnlyPort = 10255

k8s（AWS EKS）中启动失败，报错：
time="2025-12-01T12:21:00.669519347Z" level="info" msg="InitDefaultClients includes engines: elasticsearch, local-file" file="storage.go:133" func="huatuo-bamai/internal/storage.InitDefaultClients"
panic: we cant not find any cgroup driver of kubelet after requesting configz and default files
goroutine 1 [running]:
huatuo-bamai/internal/pod.kubeletCgroupDriverCacheUpdate(0xc000157180)
/go/huatuo-bamai/internal/pod/container_kubelet_sync.go:475 +0x405
huatuo-bamai/internal/pod.ContainerPodMgrInit(0xc000157180)
/go/huatuo-bamai/internal/pod/container_kubelet_sync.go:150 +0x5f0
main.mainAction(0xc000425540)
/go/huatuo-bamai/cmd/huatuo-bamai/main.go:102 +0xda5
github.com/urfave/cli/v2.(*Command).Run(0xc00048a840, 0xc000425540, {0xc00003e0a0, 0x5, 0x5})
/go/huatuo-bamai/vendor/github.com/urfave/cli/v2/command.go:276 +0x1062
github.com/urfave/cli/v2.(*App).RunContext(0xc0000c9600, {0x29a6be0, 0x3776560}, {0xc00003e0a0, 0x5, 0x5})
/go/huatuo-bamai/vendor/github.com/urfave/cli/v2/app.go:333 +0x2c5
github.com/urfave/cli/v2.(*App).Run(0xc0000c9600, {0xc00003e0a0, 0x5, 0x5})
/go/huatuo-bamai/vendor/github.com/urfave/cli/v2/app.go:307 +0x6b
main.main()
/go/huatuo-bamai/cmd/huatuo-bamai/main.go:302 +0x10c5

修复建议或方案

func kubeletCgroupDriverCacheUpdate(ctx *PodContainerInitCtx) error {
	var (
		config kubeletconfig.KubeletConfiguration
		err    error
	)

	config, err = kubeletConfigDoRequest(kubeletPodListClient, kubeletConfigAuthorizedURL(ctx.PodAuthorizedPort))
	if err == nil {
		kubeletPodCgroupDriver = config.CgroupDriver
		return nil
	}

	log.Debugf("kubelet config port is not available, try to read config files: %v", kubeletDefaultConfigPath)

	config, err = kubeletConfigDefault()
	if err != nil {
		panic("we cant not find any cgroup driver of kubelet after requesting configz and default files")
	}

问题1：kubeletConfigDoRequest这里是只尝试了authorized port，没有尝试无认证的（10255）吗？
问题2：接下来尝试去default位置读取 kubeletDefaultConfigPath = []string{"/var/lib/kubelet/config.yaml", "/var/lib/kubelet/ack-managed-config.yaml"} 但是我的主机上并没有这两个文件

/host # ls -l var/lib/kubelet/
total 28
drwx------    2 root     root             6 Nov 28 10:53 checkpoints
-rw-------    1 root     root            62 Nov 28 10:53 cpu_manager_state
drwxr-xr-x    2 root     root            26 Dec  1 02:34 device-plugins
-rw-r--r--    1 root     root           628 Dec  1 02:30 kubeconfig
-rw-------    1 root     root            61 Nov 28 10:53 memory_manager_state
drwxr-xr-x    2 root     root            86 Nov 28 10:54 pki
drwxr-x---    3 root     root            29 Nov 28 10:54 plugins
drwxr-x---    2 root     root            38 Nov 28 10:54 plugins_registry
drwxr-x---    2 root     root            26 Dec  1 02:34 pod-resources
drwxr-x---   15 root     root         16384 Dec  1 12:19 pods

kubelet的配置是在

/host # cat etc/kubernetes/kubelet/config.json |grep cgroup
    "cgroupDriver": "systemd",
    "cgroupRoot": "/",

其他

No response

[hao022]

你好，欢迎反馈问题

1. 能够运行到kubeletCgroupDriverCacheUpdate 说明，已经指定了kubelet 只读端口或者认证端口
2. 当前kubelet 只可以从认证端口读取配置文件信息，这个是最终生效的配置信息（命令行，配置文件），因此这里从认证端口读取配置信息，你可以配置认证端口读取pod信息。
3. 如果只能使用只读端口，则该组件只能从默认配置文件读取配置。你可以修改代码将AWS EKS 的默认路径添加到默认文件列表，重新编译即可。（AWS EKS 也是非常重要的应用场景，放到默认配置文件是合理的。）
4. 后续我们会增加一个配置选项支持指定配置文件或者cgroupdriver 类型。

[hao022]

你好，欢迎反馈问题

1. 能够运行到kubeletCgroupDriverCacheUpdate 说明，已经指定了kubelet 只读端口或者认证端口
2. 当前kubelet 只可以从认证端口读取配置文件信息，这个是最终生效的配置信息（命令行，配置文件），因此这里从认证端口读取配置信息，你可以配置认证端口读取pod信息。
3. 如果只能使用只读端口，则该组件只能从默认配置文件读取配置。你可以修改代码将AWS EKS 的默认路径添加到默认文件列表，重新编译即可。（AWS EKS 也是非常重要的应用场景，放到默认配置文件是合理的。）

如果添加默认配置文件，能够解决您的问题，也希望尝试向社区提交代码。

5. 后续我们会增加一个配置选项支持指定配置文件或者cgroupdriver 类型。

[Dongrc]

没太理解 “3.如果只能使用只读端口，则该组件只能从默认配置文件读取配置。” 是为什么？ 只读端口和认证端口读到的信息应该是一样的吧。
另外，之所以使用只读端口，是因为EKS 节点上的 kubelet 不使用客户端证书来连接本地 API（https://127.0.0.1:10250），而是使用 kubelet kubeconfig 配置文件，通过 AWS IAM 认证方式连接到 EKS API Server 端点。
anyway 我先尝试简单扩展下kubeletDefaultConfigPath，看后面是否还会遇到其他问题。

[hao022]

没太理解 “3.如果只能使用只读端口，则该组件只能从默认配置文件读取配置。” 是为什么？ 只读端口和认证端口读到的信息应该是一样的吧。 另外，之所以使用只读端口，是因为EKS 节点上的 kubelet 不使用客户端证书来连接本地 API
（https://127.0.0.1:10250），而是使用 kubelet kubeconfig 配置文件，通过 AWS IAM 认证方式连接到 EKS API Server 端点。 anyway 我先尝试简单扩展下kubeletDefaultConfigPath，看后面是否还会遇到其他问题。

可以通过认证端口读取kubelet当前的配置，而只读端口没有读取配置文件的api。因此如果在只能使用只读端口的情况下，huatuo 只能通过读取默认的配置文件，获取cgroupdriver。

# curl http://localhost:10255/configz
404 page not found

# curl -s -k --cert /etc/kubernetes/pki/apiserver-kubelet-client.crt --key /etc/kubernetes/pki/apiserver-kubelet-client.key https://localhost:10250/configz | jq .kubeletconfig.cgroupDriver
"systemd"

[hao022]

没太理解 “3.如果只能使用只读端口，则该组件只能从默认配置文件读取配置。” 是为什么？ 只读端口和认证端口读到的信息应该是一样的吧。 另外，之所以使用只读端口，是因为EKS 节点上的 kubelet 不使用客户端证书来连接本地 API（https://127.0.0.1:10250），而是使用 kubelet kubeconfig 配置文件，通过 AWS IAM 认证方式连接到 EKS API Server 端点。 anyway 我先尝试简单扩展下kubeletDefaultConfigPath，看后面是否还会遇到其他问题。

@Dongrc kubeletDefaultConfigPath 修改有新进展吗？如果修复你的问题，试着提交一个pr？

[hao022]

kubeletDefaultConfigPath

该问题已经修复：850e7ef

[Dongrc]

@hao022 谢谢，修改kubeletDefaultConfigPath 可以解决问题。
不过路径应该是/etc/kubernetes/kubelet/config.json，前面的/host是我debug容器的路径，忘记说明了。
我原本打算修改下kubelet_sync的相关逻辑，让它通过k8s api server——而非本地的kubelet api server——来获取信息，这样避免开启10255端口，不过还没弄完就先没做提交。

[hao022]

@hao022 谢谢，修改kubeletDefaultConfigPath 可以解决问题。 不过路径应该是/etc/kubernetes/kubelet/config.json，前面的/host是我debug容器的路径，忘记说明了。 我原本打算修改下kubelet_sync的相关逻辑，让它通过k8s api server——而非本地的kubelet api server——来获取信息，这样避免开启10255端口，不过还没弄完就先没做提交。

感谢回复

1. 可以先考虑增加文件解析路径的方式修复该问题，将现在的代码/host/xxx 替换为/etc/kubernetes/kubelet/config.json
2. 当时设计华佗没有调用apiserver 接口获取容器信息，主要的原因为批量的部署，重启华佗组件会给apiserver 带来压力，影响集群稳定性。
3. 所以修改或者添加新的kubelet config文件路径，或者在命令行，配置文件指定kubelet config 路径是不错的选择。

[hao022]

@Dongrc ping...