Kubernetes dynamic persistent volume в vmware?

Question

[i-pushkin]

Есть kubernetes кластер уже рабочий, развёрнут на виртуальных машинах внутри кластера vmware. Используется большое дисковое хранилище типа HP MSA 2040 подключённый к кластеру.
Существут ли возможность настроить в куберенете создание динамических persistent volume в VMFS? Где почитать, какие технологии возможны? Не хочется создавать на базе обычной NFS шары.
Можно ли использовать с GlusterFS или CephFS? Нужно приобрести базовые знания об этом и как настраивать

Comments

[Максим Гришин]

А у вас vSAN что ли? dynamic persistent volume требует интерфейса хранилища данных, чтобы его кто-то выделил. Если есть какой-то динамический сторадж, можно из него резать тома, но доки читать надо, как именно для этого его нужно разметить или настроить управление.

[i-pushkin]

Максим Гришин, vSAN есть, нет знаний как это всё связать.

[bankinobi]

Связку с vmware настраивал по этим докам:
vsphere-csi-driver
vsphere-storage-for-kubernetes

Answer 1

[zzamzam]

Если это vsphere кластер, то можно подключить vsphere controller storage interface (CSI) https://vsphere-csi-driver.sigs.k8s.io/

Нужно:
- версия vsphere не ниже 6.7U3
- датастор для хранения дисков, которые будут PV в кубере
- сервисная учётка с нужными правами https://vsphere-csi-driver.sigs.k8s.io/driver-depl...
- развернуть в кубере vsphere cloud provider interface (CPI) https://vsphere-csi-driver.sigs.k8s.io/driver-depl... и затем компоненты CSI https://vsphere-csi-driver.sigs.k8s.io/driver-depl...

Для разворачивания CPI и CSI можно взять helm чарты, которые я делал по манифестам из доков:
https://github.com/zam-zam/helm-charts/tree/master...
https://github.com/zam-zam/helm-charts/tree/master...

Comments

[i-pushkin]

Что-то у меня не выходит, после установки не снимаются taint-ы с нод, видимо что-то не так делаю. Как правильно диагностировать? И глупый вопрос задам - vSAN же не нужен при такой конфигурации или это обязательно?

[zzamzam]

i-pushkin,
vSAN 100% опционален

Диагностировать через логи:

kubectl -n kube-system logs -l app.kubernetes.io/name=vsphere-cloud-provider -f
kubectl -n kube-system logs -l app.kubernetes.io/name=vsphere-csi-controller -f -c vsphere-csi-controller
kubectl -n kube-system logs -l app.kubernetes.io/name=vsphere-csi-controller -f -c csi-attacher
kubectl -n kube-system logs -l app.kubernetes.io/name=vsphere-csi-node -f -c vsphere-csi-node --max-log-requests=16

[i-pushkin]

zzamzam, у меня поды все создалист, вроде бы как всё ок. Но не создаются волюмы автоматически. Нужны ли особые права доступа или какие-то политики на стореджи в самом вицентре?