Как создать мультипоток через docker?

Question

[Михаил]

Вот такой пример. На сервере есть php и nodejs
PHP отправляет команду для ноды типа
node mydir/script.js https://example.com
На ноде стоит Puppeteer (это веб драйвер браузер типа) Его нормально нельзя в одной ноде несколько раз запустить одновременно.

И нода возвращает данные в PHP
Все хорошо работает НО!

PHP может отправлять хоть 100 ссылок для ноды в секунду. А нода обрабатывает 1 ссылку в секунду(

Вот я и подумал как сделать несколько потоков. Может на сервере создать штук 20 докеров с нодой
Но как я не пойму это сделать с докером.
Проскочила мысль, сделать 20 докеров на 20-ти разных портах

И потом по 20 штук из PHP отправлять. Может есть уже обкатанные методы?

Comments

[spaceatmoon]

Думаю что 20 контейнеров на разных портах хороший вариант.

[Михаил]

spaceatmoon, А есть где примеры подобного? Не могу найти.

Answer 1

[Дмитрий Шицков]

Если вы лимитированы голым докером в качестве рантайма, то можно попробовать использовать например scale в docker-compose, указав диапазон портов

services:
  web:
    image: "puppeteer" 
    ports:
       - "8081-8099:8080"
    scale: 10

Если задачу решать корректно, то нужно использовать очереди в Redis/Rabiit/NATS/прочие MQ.
Скрипт на PHP должен пихать задания в очередь, а 10 контейнеров с нодой забирать задачи из очереди, обрабатывать и возвращать результат в очередь с результатами (если результат небольшой). Так можно гарантировать что все сервисы будут заняты равномерно при нагрузке и не захлебнутся.

Comments

[spaceatmoon]

В документации написано по другому и ваш вариант почему-то не могу найти.
https://docs.docker.com/compose/reference/scale/

[Михаил]

spaceatmoon, Получается можно сделать например 10 контейнеров с нодой, 1 с MYSQL (реляции в данном случае важны) И забирать записи (Но не удалять их а помечать например а столбце "В очереди") И если ссылка спарсилась верно. То уже удалять. Это для того что бы в момент парсинга такой ссылки другие контейнеры её не забрали. Типа контейнеры должны будут брать из базы с условием where is null "В очереди"

Верно я понимаю?

Тогда вопрос, как запускать все 10 контейнеров автоматом? И вообще как обратится к скрипту с параметров в контейнере?

[Дмитрий Шицков]

spaceatmoon, в любом случае

This command is deprecated

Описание есть тут
https://docs.docker.com/compose/compose-file/compo...

[Дмитрий Шицков]

Михаил, очередь в базе Мускула. Ну такое себе... Попробуйте, только не забывайте блокировать строки, а то у вас 5 воркеров одновременно возьмут одну задачу и 5 раз проставят "в работе". Или, к примеру, упадет воркер и задача так и останется висеть "в работе".

Про остальное - как запускать 10 сервисов - в ответе есть. Или что-то другое не понятно?