Сколько будет весить БД после внесения этих данных?

Question

[hesy]

Добрый день,

Имею следующее:

• 44 643 файла
  
• 10 000 строк в каждом файле (сред. длина строки 8-16 символов)
  
• Общий вес ~5 гб.
  

Мне необходимо все строки из файлов внести в БД.
Я думаю сделать это локально через консоль (php ...), в цикле читать каждый файл построчно и вносить строку в БД.

Вопрос: сколько будет весить такая БД и правильный ли я выбрал способ внесения данных в БД, не загнётся скрипт на половине пути?

Comments

[lamer350]

176 634 377 kBts

[moropsk]

Ну а что мешает, закинуть эти данные в тестовую бд и проверить размер?

Answer 1

[Dimonchik]

путь неправильный
нужен multiadd / multi insert

весить будет те же 5гб + 1-3 на индексы / еонвертацию полей

Comments

[hesy]

dimonchik2013 вы были правы, пока добавилась только малая часть - но база уже весит в 4 раза больше (файл 10 мб vs база 40 мб)

Добавляю таким способом (PDO):

->prepare
->beginTransaction
foreach (...) {
   ->bindValue
   ->execute
}
->commit

Это конечно в разы быстрее обычного ->prepare ->execute, но за 10 часов, добавилось только 1 млн записей, а всего нужно ~46 млн. На середине записи, скорость добавления падает в разы, по сравнению с началом.

Вопрос: можно ли как то записать всё скопом один раз? Или еще ускорить этот процесс? (как раз про то, что вы говорили multiadd / multi insert)

[Dimonchik]

быстрее всего load from file в MyISAM таблицу

потом конверт в innodb если нужно