Как создать очень много данных для тестирования?

Question

[Миха Панкратов]

Добрый вечер,

сразу о главном...

У меня есть 3 связанные таблицы, где есть 30 строк валидных данных.
Мне надо размножить эти связанные данные до к примеру 500 000 строк для тестирования.

Делаю жадной загрузкой и потом фором инсерт - выходит на 17 часов) Подскажите может есть более быстрый способ.

Спасибо.

Answer 1

[Миха Панкратов]

Лучше вссего использовать branchInsert и заполнение базы в один миг)

Answer 2

[un1t]

https://dev.mysql.com/doc/refman/5.5/en/optimizing...

Answer 3

[IceJOKER]

До множественного инсерта отключаете ключи .
После включаете .

dev.mysql.com/doc/refman/5.7/en/alter-table.html

А для генерации данных рекомендую Faker

Answer 4

[Максим Федоров]

используйте моменты описанные в статье, линк на которую дал un1t
но хотелось бы добавить что можно генерацию данных вынести за пределы php на уровень базы, это так же сэкономит время за счет отсутствия обмена данными между php и базой. К примеру вынести генерацию в хранимую процедуру:

CREATE PROCEDURE `make_data`()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE i < 500000 DO
    <тут INSERT запрос>
    SET i = i + 1;
END WHILE;  
END

ну и соответственно вызвать ее в том же phpMyAdmin:
CALL make_data();

ну и не забывайте про множественный инсерт, он так же даст выигрыш во времени

P.S. на мой взгляд лучше использовать готовые утилиты для генерации данных

Comments

[Миха Панкратов]

Сделал процедуру, итак такой метод записывает данные в 2 таблицы на 13 часов. Я думал такое можно замутить в пару секунд или же минут.

[Миха Панкратов]

Миха Панкратов: это нормальный тайм? для такого заполнения данными?

[Максим Федоров]

сказать нормальный или нет объективно не возможно, скорость обработки данных зависит от множества факторов, начиная параметрами железа сервера на котором Вы это делаете и настройками СУБД и заканчивая структурой данных которые инсертятся