Как накопить данные перед записью в таблицы?

Question

[skajtersen]

Есть массив строк - $rows, каждая строчка массива передается в функцию aggregator.

public function uploader($rows)
{
foreach ($rows as $row => $data) {
                $this->aggregator($data);
            }
...
}

В функции aggregator над каждой строкой выполняются многочисленые действия, после чего разные части строк записываются по таблицам.

public function aggregator($data)
{
...
table1->column1=data[1];
...
table1->column10=date[10];
table1->save();
...
table2->column1=data[11];
table2->column2=table1->column3;
...
table2->save();

}

Проблема в том, что для очень большого массива $rows запись занимает длительное время. Меня интересует как можно накопить записи в массив в функции aggregator, а потом записывать какое-нибудь определенное число строк в функции uploader. Нужен какой-нибудь batchInsert, но не совсем понятно, как написать его в этой ситуации.

Comments

[Николай Бараненко]

я правильно понял, что вы хотите вывести пользователю какую-то информацию в виде HTML таблицы, дать ему возможность поработать с информацией в ней и затем предоставить возможность зафиксировать его изменения в СУБД?

[skajtersen]

Николай Бараненко: Нет, пользователь тут только отправляет изначальный массив строк, а дальше этот массив заполняет таблицы.

Answer 1

[Максим Федоров]

В функции aggregator над каждой строкой выполняются многочисленые действия, после чего разные части строк записываются по таблицам.

Плохо, метод должен отвечать только за реализацию одного логического действия, а не за все и сразу

Меня интересует как можно накопить записи в массив в функции aggregator,

По нормальному никак ... можно например использовать global или аналогичные варианты - но это будет плохой код

Лучше разделите ответственность методов, например так:

class MyClass
{
    public function uploader($rows)
    {
        $items = [];
        foreach ($rows as $row => $data) {
            $items[] = $this->aggregator($data);
        }
        $this->save($items)
    }

    public function aggregator($data)
    {
        // выполнение нужных операций над данными
    }

    public function save($items)
    {
        // сохранение массива данных, аля batchInsert
    }
}

Comments

[skajtersen]

Да, да, как-то так и представлял. Вопрос как раз в том, как метод save() в данном случае может выглядеть.

[Максим Федоров]

skajtersen: сложно точно сказать, т.к. я не знаю ни структуры данных которые нужно сохранять ни то как и в какие таблицы их сохранять. В самом простом случае можно использовать что-то типа

$connection->createCommand()->batchInsert('mytable', ['id', 'name'])->execute();

[skajtersen]

Максим Федоров: Да, есть тут много всяких условий. Из-за этого указать адекватный порядок колонок таблицы для вставки весьма проблематично.

[Максим Федоров]

skajtersen: значит нужно как-то нормализовать данные

[skajtersen]

Максим Федоров: Спасибо за подсказки, разобрался и всё получилось

Answer 2

[davidnum95]

Использовать транзакции?

Answer 3

[Максим Тимофеев]

Нужен какой-нибудь batchInsert

Ну так он есть в yii:
www.yiiframework.com/doc-2.0/yii-db-command.html#b...
https://stackoverflow.com/questions/27355262/activ...
www.yiiframework.com/doc-2.0/yii-db-batchqueryresu...