В каких случаях многократный вызов одного скрипта с разными параметрами ускорит выполнение задачи, а в каких — нет?

Question

[eugene159]

Есть скрипт на PHP CLI, который парсит Excel и добавляет товары в CMS.

Предположим, что на добавление одного товара уходит примерно секунд 30. Всего товаров - 3000.

Я могу одновременно запустить скрипт 3 раза:
1 запуск: 1-1000 товаров
2 запуск 1001-2000 товаров
3 запуск 2001-3000 товаров

А могу запустить скрипт всего 1 раз: 1-3000 товаров.

Я слышал, что web однопоточный. Да и в целом ведь ресурсы процессора делятся на все запуски скрипта.
В каких случаях многократный запуск скрипта ускорит выполнение задачи?
• Если на VPS больше одного ядра?
• Всегда?
• Еще при каких-либо обстоятельствах?

Как это узнать (кроме тестирования - запуска с засеканием времени - я хочу узнать теорию)?
Как рассчитать оптимальное количество запусков скрипта для определенной конфигурации сервера? Кол-во ядер * 2 (ведь в одном ядре 2 потока)?

Comments

[Дмитрий]

Я бы на вашем месте ориентировался не на процессор, а на скорость чтения/записи диска, память. А процессор вам база данных сожрет вместе с диском.

[Надим]

Если нужна скорость, ручками сконвертируйте excel в sql-файл с нужной структурой и напрямую потом залейте готовый файл в базу данных через PhpMyAdmin, насколько я знаю там вполне себе можно делать импорт в уже существующие таблицы с дописыванием новых строк.

Это все можно автоматизировать, написать скрипт, чтобы вся работа по конвертированию выполнялась на вашем ПК на всех имеющихся мощностях, а затем готовый SQL быстро и моментально заливался бы в базу данных сайта.

Answer 1

[Ипатьев]

Если у вас задача потребляет CPU по максимуму, то да - распараллеливать её на большее количество процессов, чем имеется в наличии потоков - бессмысленно.
Но обычно задача по добавлению записи в БД потребляет не слишком много поцессора. А если речь про "парсинг", где процессор 99% времени ждет пакет из сети, распараллеливать можно хоть на десятки процессов.
Конкретное количество зависит от потребления процессора конкретной задачей.

Количество потоков не всегда равно количеству ядер, умноженному на два. Надо смотреть на конкретный процессор. Тем более на VPS, где процессор тоже виртуальный.

Если говорить про конкретный пример, то в идеале конечно надо написать нормальный код, который запишет в БД несчастные 3 тыщи товаров меньше чем за секунду. А заниматься параллелизмом уже когда счет пойдет на сотни тысяч. Тем более что цифра скорее всего взята с потолка. Я много повидал говнокода на своем веку, но такой, чтобы добавление одного товара занимало 30 секунд я даже вообразить себе не могу.

Единственная загадка - при чем тут "web", если речь идет про CLI. И, если уж говорить про веб, то с какой радости он "однопоточный".

Answer 2

[maksam07]

А если попробовать разобрать эту задачу с другой стороны:

SQL-запрос на добавление данных имеет вид: INSERT INTO table_name
VALUES (value1, value2, value3, ...)
что подразумевает добавление нескольких данных за один запрос. Возможно вы сможете сформировать все свои 3к товаров в один запрос, что, собственно, позволит вам сделать всего 1 запрос к БД, вместо 3-х тысяч и ожидать выполнения скрипта вообще не нужно будет.

Comments

[Ипатьев]

мне кажется, что SQL тут приплетен вообще от балды, чисто для примера. О чем говорит совершенно бессмысленная цифра в 30 секунд на одну запись.

[maksam07]

Ипатьев, да, тут много чего непонятно из этого вопроса. Если бы он пример привел, то хотя бы было понятно, откуда на одну запись идет так много времени. А из его описания вижу только, что можно попытаться одним запросом все закинуть без лишнего геморроя. Ну или максимум в несколько запросов, если VALUES слишком много для одного запроса

[Ипатьев]

Ну вообще, вопрос довольно однозначный. Он про распараллеливание долгоиграющего процесса , а не про вставку.
Сама по себе вставка 3000 строк в одну таблицу проблемы не представляет: можно хоть все за 1 раз, хоть по одной - разница не принципиальная.

[Ипатьев]

Надо просто всегда учитывать, что вы на публичном ресурсе. И потом в этот вопрос придут люди из поиска. Которым банальный ответ про SQL будет только мешать

[maksam07]

Ипатьев, можно и напрямую ответить на вопрос, но возможно автору необходимо другое решение, о котором он не может подумать, чтобы его задача действительно быстро и без лишних проблем решалась. А потом уже придет другой автор на этот ресурс, которому нужно будет распаралелливание и он его задаст и его задача будет более обоснована

[Ипатьев]

Еще раз. Делать вставку одним запросом - это не решение.
Там ускорение будет в единицы процентов.
Кроме того, вы беретесь рассуждать о "решении" задачи, о которой вы вообще ничего не знаете. Сколько там запросов, в какие таблицы, как именно обрабатываются данные перед вставкой.

Но я понимаю, вам хочется показать всем, что вы тоже уже знаете про insert с множественным value. И с этим желанием, увы, ничего не поделать.

[Дмитрий]

Ипатьев,

Там ускорение будет в единицы процентов.

Далеко не факт Как добиться баланса между скоростью и производительностью при импорте ~200к строк в базу данных?.

Answer 3

[aleksejjjjj]

Общего ответа нет, зависит от задачи.

Условно, если ваш скрипт грузит БД, и она забирает 100% времени процессора/диска и прочее - запуск второй копии может даже замедлить процесс.

Если же сам скрипт выполняет сложные вычисления, то запуск инстансов по количеству потоков процессора может ускорить процесс.

И даже это лишь предположения, пальцем в небо. По факту, на реальном железе вы можете увидеть ровно противоположные результаты.