kubernetes中利用LXCFS控制容器资源可见性
背景
Linux 利用Cgroup实现了对容器的资源限制，但在容器内部依然缺省挂载了宿主机上的procfs的/proc目录，其包含如：meminfo、cpuinfo、stat、uptime等资源信息。一些监控工具如free、top或业务应用还依赖上述文件内容获取资源配置和使用情况。当它们在容器中运行时，就会把宿主机的资源状态读取出来，导致资源设置不对。
上面提到的问题，可以通过LXCFS方法来解决。
LXCFS 简介
社区中常见的做法是利用lxcfs来提供容器中的资源可见性。lxcfs是一个开源的FUSE（用户态文件系统）实现来支持LXC容器，它也可以支持Docker容器。
LXCFS通过用户态文件系统，在容器中提供下列procfs的文件。
/proc/cpuinfo /proc/diskstats /proc/meminfo /proc/stat /proc/swaps /proc/uptimeLXCFS的示意图如下：
比如，把宿主机的/var/lib/lxcfs/proc/memoinfo文件挂载到 Docker 容器的/proc/meminfo位置后。容器中进程读取相应文件内容时，LXCFS的FUSE实现会从容器对应的Cgroup中读取正确的内存限制。从而使得应用获得正确的资源约束设定。
LXCFS 在 Kubernetes 中实践
注意
在网上搜索到很多文章使用https://github.com/denverdino/lxcfs-initializer项目，但是在 Kubernetes 1.14+ 版本中就不支持initializers方法。并且这个项目已归档，不在维护，所以不推荐使用这个项目。
社区推出另一个项目https://github.com/denverdino/lxcfs-admission-webhook通过Admission Webhook给 Pod 注入 LXCFS 设置。
依赖
集群内所有CentOS节点需要安装fuse-libs包，否则会报/usr/local/bin/lxcfs: error while loading shared libraries: libfuse.so.2: cannot open shared object file: No such file or directory错误。
$ yuminstall-y fuse-libs前提条件
演示环境是 Kubernetes version 1.18.2 二进制部署
1、Kubernetes api-versions 需要启用admissionregistration.k8s.io/v1beta1。（Kubernetes 1.9.0+ 版本默认都启用）
# 查看是否开启$ kubectl api-versions|grep'admissionregistration.k8s.io/v1beta1'admissionregistration.k8s.io/v1beta12、kube-apiserver配置中，需要配置MutatingAdmissionWebhook和ValidatingAdmissionWebhook。并且添加顺序要正确。
$grepMutatingAdmissionWebhook /opt/kubernetes/cfg/kube-apiserver --enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota,NodeRestriction\部署 LXCFS
下载 lxcfs-admission-webhook 项目
$ gti clone https://github.com/denverdino/lxcfs-admission-webhook.git $cdlxcfs-admission-webhook修改deployment/lxcfs-daemonset.yaml配置文件，因为apps/v1beta2在 1.18.2 版本已经弃用
$gitdiffdiff--git a/deployment/lxcfs-daemonset.yaml b/deployment/lxcfs-daemonset.yaml index 5f58120..ea67e8a100644--- a/deployment/lxcfs-daemonset.yaml +++ b/deployment/lxcfs-daemonset.yaml @@ -1,4 +1,4 @@ -apiVersion: apps/v1beta2 +apiVersion: apps/v1部署 lxcfs
$ kubectl apply -f deployment/lxcfs-daemonset.yaml# 查看 lxcfs 是否部署成功$ kubectl get pods -n default|greplxcfs lxcfs-4crr41/1 Running0153m lxcfs-jmzpk1/1 Running0155m部署 lxcfs-admission-webhook injector
# 执行 shell 部署脚本$ deployment/install.sh# 查看$ kubectl get secrets,pods,svc,mutatingwebhookconfigurations测试
启用需要注入的 lxcfs namespace，命名空间下所有 pod 都会被注入 lxcfs
$ kubectl label namespace default lxcfs-admission-webhook=enabled部署一个 apache 服务来测试
# 部署 apache$ kubectl apply -f deployment/web.yaml# 查看$ kubectl get pods|grepweb- web-596d5565b8-n79b81/1 Running0125m web-596d5565b8-s49nv1/1 Running0133m# 查看内存限制是否生效，下面显示内存 256Mi 就是 limits 设置的值$ kubectlexec-it web-596d5565b8-n79b8bashroot@web-596d5565b8-n79b8:/usr/local/apache2# free -mtotal usedfreeshared buffers cached Mem:2567248000-/+ buffers/cache:6249Swap:000清理
清理 lxcfs-admission-webhook
$ deployment/uninstall.sh清理 lxcfs
$ kubectl delete -f deployment/lxcfs-daemonset.yaml总结
lxcfs支持容器镜像Centos系统、Ubuntu系统、Debian系统，但是不支持容器镜像Alpine系统。
因为 Alpine 不是使用
Gnu libc，而是使用musl libc。
参考链接
- https://github.com/denverdino/lxcfs-admission-webhook
- https://yq.aliyun.com/articles/566208