Как распределить таблицу бд на несколько процессов?

Question

[ToxicDance]

Здравствуйте. В данный момент есть 1 консольное приложение, которое запускается по крону раз в 4 минуты(получение всех данных из бд и обработка), но проблема в том, что все данные нужно обработать за 1 минуту, а в данный момент это занимает около 7 мин.

Как я могу распределить базу между несколькими одинаковыми консольными приложениями, что бы уложится в 1 минуту обработки?

Comments

[Максим Тимофеев]

а надо ли всю базу трогать? Может быть можно запускать чаще и работать с меньшим количеством данных?
Ну и второй вопрос. Где код? Как можно оптимизировать ничего?

[ToxicDance]

Максим Тимофеев,

$rafa = Model::with('data')->where('status', 'work')->get();

        $new = [];
        $ids_success = [];
        $ids_errors = [];

        foreach ($rafa as $test) {
            foreach ($test['data'] as $t){
                if(...)
                {
                    $ids_success[] = $t['id'];
                    $new[] = [
                        'id' => $t['id'],
                        'percent' => $t['percent'],
                        'user_id' => $test['user_id']
                    ];
                }
                elseif(...) {
                    $ids_errors[] = $t['id'];
                }
            }
        }

        Model::whereIn('id',$ids_success)->update(['status', 'success']);
        Model::whereIn('id',$ids_errors)->update(['status', 'error']);
        Notify::insert($new);

Да. Необходимо обработать все данные в таблице. Запуск должен быть строго по интервалу

[Максим Тимофеев]

ToxicDance, В данном случае можно уйти от ORM, обойтись без моделей, что при большом количестве данным не слабо ускорит процесс. Плюс индексы должны быть на 'status' и 'work'.
Возможно стоит подумать про batch insert.

[ToxicDance]

Максим Тимофеев, Ок, спасибо.
А после всех этих правок , как можно разнести на несколько экземпляров( В кроне запуск допустим 3 раза 1-ого и того же приложения) и между ними распределилась таблица?

[Максим Тимофеев]

ToxicDance, вести лог, писать туда где остановился прошлый

Answer 1

[stratosmi]

Запрос просто правильно напиши. Индексы сделай как надо и т.п.
Распределяет СУБД сама.