Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, кстати, если пытаюсь занимать порты 8090 и дальше, ломаются прошлые контейнеры. Больше 9ти не выходит, вообщем. от 8081 до 8089, на 8080 лоадбалансер.

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, а можно подробнее о том, как в моём случае очередь реализовать с лоадбалансером? Хотя бы в какую сторону думать. Разве это не должен лоадбалансер с nginx по дефолту делать?

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik,

192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 200 21 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 200 20 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 200 21 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 200 19 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 200 20 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 200 21 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 200 20 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 200 20 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 504 0 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 504 0 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:52 +0000] "POST / HTTP/1.1" 504 0 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:55 +0000] "POST / HTTP/1.1" 200 20 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:55 +0000] "POST / HTTP/1.1" 200 19 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:55 +0000] "POST / HTTP/1.1" 200 21 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:55 +0000] "POST / HTTP/1.1" 200 21 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:55 +0000] "POST / HTTP/1.1" 200 21 "-" "Python/3.7 aiohttp/3.6.1" "-"
192.168.1.64 - - [13/Oct/2019:09:21:55 +0000] "POST / HTTP/1.1" 200 20 "-" "Python/3.7 aiohttp/3.6.1" "-"

Почему сервер на Docker не справляется с aiohttp запросами?

Максим, loadbalancer и 9 контейнеров действительно резко увеличили количество "хороших" ответов. Даже если я 99 портов подниму, всегда будет нагрузка, с которой сервер будет не справляться, получается? Как бы ещё реализовать очередь ту самую. Что бы всё работало стабильно, даже при больших объемах.

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, ура, у нас есть движение! Действительно, поднял 9 портов и количество "хороших" ответов резко увеличилось. Однако, всё ещё несколько десятков пришло 504... И до сих пор "пачками". Результат радует, но не понятно, поможет ли мне гарантированно повышение количества рабочих контейнеров?

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, делаю, как в инструкции, один в один. Но почему-то на 5001 и 5002 портах контейнеры не работают. Сайт "The connection was reset. The connection to the server was reset while the page was loading."

Почему сервер на Docker не справляется с aiohttp запросами?

Зачем вообще в скрипте нужен aiohttp, не пойму? Он же там просто картинку скачивает, которую мы ему на вход даём, как я понял...

Почему сервер на Docker не справляется с aiohttp запросами?

Спасибо за ответ. Сейчас работает примерно так: на сервер уходит 300 запросов, допустим. Консоль молчит сначала секунд 10, потом приходит пачка ответов, до 100 где-то. Из которых первых несколько ответов верные. а остальные 504. Потом ещё через секунд 10 приходит тоже самое, но верных меньше. Может это поможет в диагностировании.. Странно ещё, почему приходит пачками, а не по одному. Сам скрипт с командной строки работает не больше секунды. Мне кажется, раскидать по портам - будет не достаточно. Где-то в скрипте действительно конфликт, раз он так пачками отвечает. Вдруг мне нужно будет 1000 запросов сразу отправить... Нужно использовать как-то ресурсы по максимуму и при этом делать очередь, если нет места... С aiohttp я ещё совсем на "Вы", прошу простить. По возможности, хотелось бы поподробней о способах решения...

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, просто на сервер может сразу и 1000 запросов улететь. Нужно, что бы он их обрабатывал по возможности параллельно и не крашился... Если я просто раскидывать по портам их буду, это вряд ли поможет... Дело в самом контейнере, мне кажется...

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, а могу ли я в самой программе на питоне запускать docker сервер и из неё обращаться к серверу докера локально? Как такое реализовать на винде?

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, это скорее для тестов...

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, попробовал закастылить через Flask. На нем сделал сервер, через который просто нативно якобы через консоль запускаю скрипт, который уже на др порте обращается к докеру - работает, хоть и медленно - вм в шоке по нагрузке, иногда ответы мимо летят.

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, да, так точно. Жду ответа.

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, Питон - вот он - https://github.com/rahiel/open_nsfw--

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik,

Unclosed client session
client_session: <aiohttp.client.ClientSession object at 0x7face6e61d68>
Unclosed connector
connections:

Такая вот штука там появляется

Почему сервер на Docker иногда даёт 504 ошибку?

Vitaly Karasik, что странно, с трех консолей на localhost шлю в цикле запросы скриптом на питоне - все ответы приходят. А со стороны что-то сложности...

Как получать картинку с url, как-будто это локальный path?

Спасибо большое!

Почему сервер на Docker иногда даёт 504 ошибку?

И как поднимать несколько контейнеров сразу?

Почему сервер на Docker иногда даёт 504 ошибку?

А где эти логи посмотреть и что искать? :/

Почему сервер на Docker иногда даёт 504 ошибку?

А что конкретно там могло сломаться? Если я просто обращаюсь к серверу, даже через приложение, у меня всё работает отлично. Большое количественно запросов именно всё ломает. https://github.com/rahiel/open_nsfw-- - эта штука в docker