Не работает whereIn если данных больше 700,почему так?

Question

[Stas1995]

//тут вытаскиваются id всех пользователей
$user_ids= array_column($query->toArray(), 'id');

        // Формирование модели и превращение онного в массив user_id=> created_at
        $userPosts=
            Post::select('user_id', DB::raw("min(period_start) as created_at"))
                ->whereIn('user_id', $user_ids)
                ->groupBy('user_id')
                ->get()
                ->keyBy('user_id')
                ->toArray();
        dd($userPosts);

если в $user_ids данных меньше 700 все работает корректно,но если данных больше 700

то в dd($userPosts); прилетает пустой массив

Answer 1

[Дмитрий]

$userPosts=
Post::select('user_id', DB::raw("min(period_start) as created_at"))
->whereIn('user_id', function($query){
                  return $query->from('users') 
                     ->select('users.id');
            }) 
->groupBy('user_id')
->get()
->keyBy('user_id')
->toArray();
dd($userPosts);

Comments

[Stas1995]

а куда $users_ids впихнуть?

[Дмитрий]

Stas1995, а нахер здесь они? В этом запросе вытаскиваются все посты всех пользователей - хотите как то пользователей ограничить - правьте подзапрос в анонимной функции

Answer 2

[maksam07]

https://stackoverflow.com/a/12666530/2166371
https://stackoverflow.com/a/4275704/2166371

Comments

[Stas1995]

поменял max_allowed_packet на 2048M
все равно не выводит данные

[Stas1995]

как поменять whereIn как в mysql?

[maksam07]

Stas1995, возможно мускуль сообщает о каких-то ошибках? Логи сервера смотрели?

[maksam07]

Stas1995, в ларе есть возможность сделать raw запрос, где sql запрос пишешь полностью вручную

Answer 3

[Григорий Васильков]

В базах данных есть лимиты на число подстановочных элементов.

Если вы пытаетесь запросить 700 критериев - это значит вы неверно выполняете задачу (хотя кажется, что все верно).

700 критериев вы откуда-то взяли. Если вы взяли их из базы - используйте ответ Дмитрия, он берет айдишки прямо из базы, в итоге критерий получается вообще один.

Если вы взяли ваши критерии из файла, то вам следует разбить ваш запрос на повторяющийся с меньшим числом критериев, "делать по 100", например.

Comments

[Григорий Васильков]

Столкнулся недавно.

Оказалось дело в max_allowed_packet, который допустим в OpenServer для локальных нужд завышен, поэтому на локале работают запросы, а в базовой конфигурации той же MariaDB стоит дефолтное значение, которое очень небольшое и на проде запрос не пашет. Возвращает пустой ответ и всё.

Решается как Дмитрий написал - писать подзапросы. Причем если писать их через

->whereIn('field', $query) или ->whereIn('field', function ($query) {})

то потом нет возможности использовать

$query->chunk(500, function ($models) {});

(т.к. косячит ensureOrderby() из-за alias для таблицы, а ещё и лимит не может быть применен к whereIn $subquery в некоторых версиях БД)

Для этого можно так:

$sql = $subQuery->toSql();

$query
  ->from("table as t")
  ->join(
    "($sql) as sub",
    function ($join) use ($subQuery) {
      $join->on('t.field', '=', 'sub.field2)
      $join->addBinding($subQuery->getBindings());
    }
  );