Каким образом перебрать в таблице миллион записей?

Question

[chelkaz]

В таблице имеется около миллиона записей. Форейчем могу не более 50 тысяч перебрать. Памяти не хватает. Увеличил до 7 гигов.
Ничего подобного для Laravel фреймворка не нашел.
Задавал общую тему Есть ли ограничение для foreach?
Но там советовали PDO и fetch
Или память увеличить. В доках Laravel ничего подобного не нашел, там советуют через форейч.

Comments

[ComodoHacker]

Laravel не умеет итератор по селекту? Не верю.

Answer 1

[Никита]

https://laravel.com/docs/4.2/eloquent
Т.к. доки туповатые: ctrl+F -> Chunking Results

Comments

[chelkaz]

Спасибо! Пол ночи искал то что, должно быть в коробке. А то как обычно начинают советовать новое колесо или делать через задний проход. Специально для всех писал, что решение ищу для фреймворка Laravel. Вы единственный кто это заметил и коротко точно ответил! Спасибо!

Answer 2

[Анатолий Медведев]

Имеется таблица с записями около миллиона. Мне нужно ее перебрать и в процессе перебора отсеять.

дайте входные данные и то что вы хотите получить в результате на примере нескольких строк.

Comments

[chelkaz]

Вот я написал примеры, там оформлено с подсветкой. Просто здесь в комментарии не получается вставить тег для кода Есть ли ограничение для foreach?

[Анатолий Медведев]

chelkaz: мне не нужен код, мне нужны таблицы в базе данных.

[chelkaz]

Бэкап имеется ввиду? Или просто названия?

[Анатолий Медведев]

chelkaz:
Пример

Таблица Сотрудники
ID, Имя, Пол
1, Вася, Мужской
2, Юля, Женский
3, Коля, Мужской
4, Настя, Женский

Хочу что бы все стали мужиками

Таблица Сотрудники
ID, Имя, Пол
1, Вася, Мужской
2, Юля, Мужской
3, Коля, Мужской
4, Настя, Мужской

В таком виде сформулируйте свой вопрос.

[chelkaz]

В одной таблице имеется поле id и поле surname в поле surname почти миллион фамилий как женских, так и мужских, так и средних и еще разных наций. Мне нужно в процессе перебора их рассортировать по разным таблицам. С женскими я сделал их получилось около миллиона. Теперь так же мне нужно их перебирать и делать по каждой запрос к другому серверу для получения инфы. о фамилии и занесении данных. То есть задача стоит часть перебирать просто подряд таблицы в которых очень много записей.

[chelkaz]

Задача стоит ! часто ! перебирать. А сейчас приходится делать это партиями не более 50 тысяч.

[Анатолий Медведев]

chelkaz:

DB::table('users')->chunk(1000, function($users)
{
  foreach ($users as $user)
  {
    //
  }
});

примерно так видимо и придется, но я думаю если объектом является фамилия то надо сделать список фамилий и для всех однофамильцев производить получение и занесение данных за раз.

[chelkaz]

Вы написали то, что Никита Никита уже предложил)

Answer 3

[terzi_eduard]

DB::table('users')->orderBy('id')->chunk(100, function($users) {
    // Process the records...

    return false;
});