Добрый день! Прошу совета по поводу того, как поднять локально для экспериментов ROOK в minikube, т.к. не являюсь админом или девопсом, знания kubernetes также оставляют желать лучшего. Цель - локально поднять хранилище s3 для отработки взаимодействия с его АПИ и настроить уведомления об изменениях по хранилищу s3 в кафку.
Насколько понимаю, это уже не относится к стандартам s3 и в разных реализациях может настраиваться и работать по-разному, поэтому хочется конкретно с rook отработать.
Поднимаю на Ubuntu в Virtual Box. На виртуалку выделяю 12гб памяти, 4 2,8 ядра, 35гб дискового пространства, разрешаю виртуализацию. Дефолтную настройку дисков не меняю.
По инструкциям с официальных сайтов ставлю докер, kubectl, ceph-common, kvm, minikube, клонирую репозиторий rook.
Для докера во избежания проблем с переполнением служебного раздела делаю symlink для директории /var/lib/docker .
Затем поднимаю кластер minikube командой:
minikube start --disk-size=25g --extra-disks=3 --driver=kvm2
После чего также по примерам от разработчиков rook выполняю команду:
kubectl create -f crds.yaml -f common.yaml -f operator.yaml
Поднимается под rook-ceph-operator (обычно за 4-5 мин)
Затем выполняю:
kubectl create -f cluster-test.yaml
В результате максимамум у двух подов поднимается 1/2 контейнеров, ниже скрин.
В логах по этим подам:
spoiler
kubectl -n rook-ceph logs csi-rbdplugin-8hhdn
Defaulted container "driver-registrar" out of: driver-registrar, csi-rbdplugin
I0211 09:57:32.331731 18896 main.go:150] "Version" version="v2.13.0"
I0211 09:57:32.331886 18896 main.go:151] "Running node-driver-registrar" mode=""
I0211 09:57:42.333363 18896 connection.
go:253] "Still connecting" address="
unix:///csi/csi.sock"
I0211 09:57:52.343156 18896 connection.
go:253] "Still connecting" address="
unix:///csi/csi.sock"
I0211 09:58:02.332124 18896 connection.
go:253] "Still connecting" address="
unix:///csi/csi.sock"
E0211 09:58:02.333132 18896 main.go:176] "Error connecting to CSI driver" err="context deadline exceeded"
spoilerkubectl -n rook-ceph logs csi-cephfsplugin-fscpw
Defaulted container "driver-registrar" out of: driver-registrar, csi-cephfsplugin
I0211 10:00:25.755426 1 main.go:150] "Version" version="v2.13.0"
I0211 10:00:25.755517 1 main.go:151] "Running node-driver-registrar" mode=""
I0211 10:00:35.757112 1 connection.
go:253] "Still connecting" address="
unix:///csi/csi.sock"
I0211 10:00:45.755726 1 connection.
go:253] "Still connecting" address="
unix:///csi/csi.sock"
I0211 10:00:55.755708 1 connection.
go:253] "Still connecting" address="
unix:///csi/csi.sock"
E0211 10:00:55.756638 1 main.go:176] "Error connecting to CSI driver" err="context deadline exceeded"
После одной-двух попыток и остановок и под оператор также перестает подниматься, иногда и виртуалки целиком умирают.
Пробовал запускать toolbox.yaml после поднятия пода оператора, тоже не поднимается.
Пока из мыслей только либо нехватка каких-либо аппаратных мощностей, либо возможно что-то устарело в yaml-ах от rook.
Буду благодарен за подсказки, куда копать дальше.
Средний
