Как оптимизировать PDO для работы с MySql таблицами в 45 000 000 строк?

Question

[XpeH Петрович]

У меня есть таблица в 45млн. строк. Мне ее нужно разбить по некоторому полю в котором содержится год внесения записи (всего там примерно 6-7 лет, не помню точно, количество записей на один год всегда разное). Делаю я все это с помощью PDO, и памяти не хватает. Все хаки которые нарыл в интернете не помогли. php.ini уже настраивал, и со стороны скрипта, и со стороны собственно конфига. Можете что-то подсказать в плане решения подобной проблемы? Увеличить количество памяти я к сожалению не имею возможности, максимум что - могу попробовать поднять memcached, но не уверен что это лучшая идея, с одной строкой ответа приходит довольно много информации. С буферизацией запросов тоже пробовал химичить, но

->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false)

не помогает. Подскажите, как вы поступаете в таких случаях?

Answer 1

[XpeH Петрович]

курсор не получается сделать потому что насколько я понял в драйвере MySql недоступен курсор. ну, по крайней мере так писали в этих ваших интернетах)

Comments

[XpeH Петрович]

В итоге - решил что идет лесом мускул, поставлю себе слона (то бишь PostgreSQL), там хотя бы курсоры есть и не жрет он столько ресурсов при грамотном подходе. Всем спасибо)

[XpeH Петрович]

PostgreSQL решил все проблемы. Александр , спасибо)

Answer 2

[s1dney]

Вы что, пытаетесь селектом запросить все 45кк строк, что там памяти не хватает?
Используйте limit и курсор.

Answer 3

[Александр]

А можете показать запрос как вы это делаете?
Возможно я чего-то не понял в вопросе, но вам что действительно надо одновременно выводить 45 млн строк на страницу?

Comments

[XpeH Петрович]

эмммм....точно не помню совсем уж прям весь запрос, но постараюсь передать суть(просто код на работе, доступа удаленно нет, а я уже дома)))) Запрос примерно следующий -
$select=$connect->prepare('SELECT col1, col2, col3, col4, col5 WHERE col6=2013');
дальше -
$var->execute();
дальше -
while($result=$var->fetch()) {}
и там уже погнали внутри нужные манипуляции. Примерно так. Извините, а в комментариях можно встраивать код через тэг ""?

[XpeH Петрович]

аааа, извиняюсь, можно) дубль два

$select=$connect->prepare('SELECT col1, col2, col3, col4, col5 WHERE col6=2013');
$select->execute();
while($result=$var->fetch()) {
   // ... code here
}

[Александр]

А какие вы манипуляции поводите внутри цикла - это самое важное. Думаю вам нужна просто группировка и аггрегирующие функции в селекте

[XpeH Петрович]

Внутри цикла INSERT INTO в другую таблицу, сразу же. В принципе никаких там больше манипуляций нет. Memory Limit Exhausted или как там ее сервер мне пишет еще до while'а. То есть до цикла он даже не доходит насколько я понял.

[Александр]

а зачем вам делать инсерт через php? сделайте прямо в mysql запрос типа такого:
INSERT INTO table SELECT colName FROM table

[Александр]

Подробнее тут dev.mysql.com/doc/refman/5.0/en/insert-select.html

[XpeH Петрович]

знаю, знаю. Попробую завтра на работе, надеюсь поможет... и отпишусь)