впервые таким занимаюсь, решил поинтересоваться у коллег, кто что думает. мало ли у кого уже был похожий опыт =)
насчет seaweedfs огромное спасибо! обязательно ознакомлюсь. насчет нагрузочных тестов понял, попробую провести завтра на той инфре, которая у меня есть под рукой
SunTechnik, спасибо за развернутый ответ!
1. Абсолютно согласен и это можно было бы реализовать, если бы клиент клал архив прям себе на ФС и после завершения сбора, отправлял на S3 или сразу в reader-service. Однако мы прям очень не хотим взаимодействовать с ФС клиента, т.к. можем затереть какие-то артефакты.
2. Все верно.
3. Согласен, думаю, что клиенты получится запускать пачками и/или увеличивать количество хостов.
4. Да, это очень логично и хотелось бы так делать, но когда парочку хостов будет иметь сетевой доступ к такому большому количеству клиентов, может пойти что-то не так и случиться что-то очень плохое(если к таким хостам получит доступ хакер, а в теории, он может получить к ним доступ).
хорошая идея, спасибо! однако вроде как не можем так делать, потому что работаем у заказчика в закрытом сегменте сети.
кажется, конечно, что можно было бы поставить прокси, который торчит в интернет, но у нас инфраструктуры и времени под такое нет, потому что всегда работали только у заказчика и средствами заказчика
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
насчет seaweedfs огромное спасибо! обязательно ознакомлюсь. насчет нагрузочных тестов понял, попробую провести завтра на той инфре, которая у меня есть под рукой