хотелось бы поэкспериментировать с такими вещами как Kubernetes и Mesos. Поскольку из ресурсов есть только одна машина на с несколькими ядрами и 14Гб оперативки, Хотелось бы проделать сл трюк.
Создать несколько докер контейнеров. распределить им ресурсы и объединить в кластер.
В идеале - потом запихнуть в один Spark, и прикрепить к мастеру хотя бы 2 ноды.
Так вот, чтоб я не собирал информацию по крупинке, может у кого есть опыт, может кто видел туториал где делается похожее? Где подводные камни и так д.. Напутствия, с чего начать и так д..
Буду рад любой информации, спасибо!
k8s тебя не поймет, скорее всего, да и dind вроде как не особо работает.
мезос скорее всего не все таски сможет поднять, да и java может не правильно ограничения на ресурсы контейнера видеть.
virtualbox/vagrant ? накладные не будут такие большие - пяток машин по 2гб поднять вполне можно.
- опять же таки - почему? Разве нет какого-то облегчённого режима для разработки?
на ресурсы контейнера видеть.
virtualbox/vagrant ? накладные не будут такие большие - пяток машин по 2гб поднять вполне можно.
- нет, так как за всё придётся платить, сервер в интернете, есть только ssh доступ, а у себя на локальной не хочется это всё поднимать,
)))) Хотелось бы не "танцевать с бубном" несколько недель, чтоб запустить Kubernetes и понять, что снова же что-то не так. )))
web_dev, контейнеры это не виртуализация а изоляция. и для docker-in-docker придется давать --privilege, что фактически просто запуск на хосте но в своем файловом окружение. одна ошибка и настройки сети радостно слетают в никуда. точно пермишены не настроить - не солярис (ну тоесть сисколы ты пропишешь, но не объекты позади тех сисколов).
как заработает сетка не известно. скорее всего далеко не во всех комбинациях (если вообще заработает и демоны сеточные не изгадят все). статические поды\таски скорее всего заработают.
посмотри minikube. для мезоса наверное тоже есть чтото.
web_dev, виртуалбокс\вагрант _самое_ простое решение для мультинодного кластера на одной машине. попробуй gcp free tier - вроде там k8s тебе сразу дают
rustler2000, Пасиб, да, нужно будет хоть "пощупать", но ведь что самому с нуля пытаться на сервере настроить и в облаке - есть немного разница же... Насколько я понимаю, там можно по истечению года закрыть аккаунт да и всё. Верно?
Простой
