Как реализовать параллельную обработку записей таблицы?

Question

[sbh]

Есть таблица с огромным количеством данных.
Есть скрипт который берет устаревшую запись (в таблице есть поле с отметкой последней обработки), обрабатывает ее и вносит результат обработки в таблицу.
Данных очень много в таблице, для ускорения обработки хочется запустить несколько экземпляров скрипта.
Но появляется проблема - экземпляры скрипта могут запросто схватить 1 и ту е запись из таблицы и начать ее обрабатывать одновременно.
Как реализовать параллельную обработку данных таблицы и избежать такого рода проблем?
Пока из идей только разве что добавить булево поле "in processing" и менять его когда какой-то из экземпляров скрипта хватает запись в обработку, после обработки менять данное поле обратно. Но тут возможна ситуация когда экземпляр скрипта по какой-то причине умрет и "in processing" останется в состоянии обработки навсегда.

Comments

[Zhainar]

можно одним селектом выбрать те записи, которые нужно обработать и распределить по воркерам.

[sbh]

Да, мы к такому выводу и пришли что надо писать оркестратор в скрипте

Answer 1

[ScriptKiddo]

Скорее всего вам не нужно новое поле.
Используйте SELECT с хинтом FOR UPDATE.

Если сессия умрет - MYSQL автоматически откатит изменения в рамках транзакции

https://dev.mysql.com/doc/refman/8.0/en/innodb-loc...

Comments

[sbh]

а можете своими словами объяснить как это работает? Другие экземпляры поймут что запись трогать нельзя, что она уже занята?

[ScriptKiddo]

sbh, да, примерно так. СУБД не даст изменить строку, которая изменяется в еще незакрытой транзакции.

Вот пример для InnoDB
https://dev.mysql.com/doc/refman/8.0/en/innodb-loc...

Насчет нового поля - необходимость зависит от вашей задачи. Если вносите результаты проверки в другую таблицу - тогда можно и без него обойтись.

[sbh]

ScriptKiddo, угу, то есть это блокирует запись таблицы на редактирование, но с помощью SELECT который будет выполняться скажем в 100 потоков 1 и ту же запись получить можно будет все равно, верно?

[ScriptKiddo]

sbh, конечно. Вам потребуется доп параметр, который позволит определить, обрабатывалась уже запись или нет.

В принципе, можете сделать так: один экземпляр скрипта выбирает последовательно пачку данных. К примеру, 1000 строк. После чего их обрабатываете через multiprocessing.map() в нужное количество процессов. Так, каждому процессу достанется своя порция непересекающихся данных для обработки.

[sbh]

ScriptKiddo, да, можно оркестратор написать для скриптов, но я думал это реализовать с помощью механизмов БД.

Answer 2

[Финник Здоров]

Сделайте обработку в несколько потоков, а для того, чтобы обработчики каждого потока случайно не взяли одно и то же, используйте очереди с блокировкой