Как оптимизировать обращения к базе данных?

Question

[photosho]

Всем привет. Есть такая ситуация: нужно вывести страницу со списком статей, причем статей на этой странице довольно много, в пределах 20. Считываю их все из базы данных. Допустим, так:

Post::orderBy('id', 'desc')->take(20)->get();

Далее, в этом же списке, надо вывести количество комментариев для каждой статьи. Получается, в foreach по каждой статье еще выполнять запрос на получение количества комментариев для нее. На 20 статей - это еще 20 запросов. Как-то многовато. Есть ли варианты минимизировать число запросов?

Читал про "жадную загрузку", но это, вроде, не тот случай...

Comments

[Silm]

"Читал про "жадную загрузку", но это, вроде, не тот случай... "
А почему это не тот случай?

[photosho]

Silm: Потому что, насколько я понимаю, там считываются связанные данные. Например, комментарии вместе со статьями. Нигде информацию о том, как считать не комментарии, а просто их количество, я не нашел.

[Silm]

photosho: вы получите все комментарии, но за 1 запрос, вместо 20, сможете выполнить count(). Другой вариант, это строить в ручную запрос с джойнами и агрегацией.

Answer 1

[Andrzej Wielski]

Жадная загрузка.
Post::with('commentsCount')->get();

В модели что-то вроде:

public function commentsCount()
		{
		  return $this->comments()
		    ->selectRaw('count(id) as aggregate')
		    ->groupBy('id');
		}
		public function getCommentsCountAttribute()
		{
		  if ( ! array_key_exists('commentsCount', $this->relations))
		    $this->load('commentsCount');

		  $related = $this->getRelation('commentsCount')->first();

		  return ($related) ? (int) $related->aggregate : 0;
		}

В каждом посте будет аттрибут "commentsCount" с количеством комментариев.

Comments

[photosho]

Andrzej Wielski: Странно получается:

$posts = Post::with('commentsCount')->get();

При попытке получить значение "commentsCount" выдает "0". Если писать без "with", то в дальнейшем обращение к "$post->commentsCount" выдает правильное значение. Свойство "productsCount" выдает правильное значение только, если предварительно было сделано обращение непосредственно к "commentsCount" этой статьи.

То есть, получается так, что с "with()" работать не хочет, а работает только тогда, когда для статьи "commentsCount" вызывается индивидуально. Почему может такое происходить? Вот запрос, который генерируется сервером:

select count(*) as count from `comments` where `comments`.`material_id` in ('10', '11', '12', '13', '14', '15', '16', '17', '18', '19', '20', '21') and `comments`.`material_type` = 'App\Models\Post'

Вот функция "commentsCount" в модели "Post":

public function commentsCount() {
        return $this->morphMany('App\Models\Comment', 'material')->selectRaw('count(*) as count');
    }

[Andrzej Wielski]

Вот функция "commentsCount" в модели "Post":

Ну конечно же не будет работать правильно. Ваш код совершенно не похож на мой.

Функция commentsCount считает, а getCommentsCountAttribute нужен для подгрузки с помощью with.
Полностью скопируйте мой код, и попробуйте так.

[photosho]

Andrzej Wielski: Полностью скопировал ваш вариант, причем, что странно, вариант с "groupBy" всегда выдает "1", а без него - правильное количество комментариев. Но, опять же, если выполнять запрос отдельно для каждой статьи. Если выполнить через "with", то всегда выдает "0".

И еще странность. В первом варианте вашего ответа была функция "getProductsCountAttribute" - вот если так, название этой функции отличается от "commentsCount" (даже если просто написать "getCommentCountAttribute", в единственном числе), то удается получить хоть что-то, хотя бы и выполняя запрос для каждой отдельной статьи. Если же название включает в себя имя функции "commentsCount", то везде - одни сплошные нули.

[Andrzej Wielski]

photosho: копировал из своей модели, не углядел. Думаю проблема в morphMany.
Этот код нормально работает для hasMany, с некоторыми изменениями работает с belongsToMany.

Можете вывести всю коллекцию материалов с помощью dd, пришлите пожалуйста скриншот данных в relations и attributes.
Без доступа к дебагу и коду сразу сказать в чем может быть проблема не смогу

[photosho]

Andrzej Wielski: goo.gl/RG9gI5

Это скриншот из того участка, где должно быть 3 комментария. Считывал "жадной загрузкой", с использованием "with".

[photosho]

Andrzej Wielski: Кстати, переключил на "hasMany" в статьях и "belongsTo" в комментариях - работает точно так же, включая "groupBy('id')", после которой возвращается только 1, несмотря на то, сколько там комментариев.

[photosho]

Andrzej Wielski: Спасибо, кажется, разобрался. Для того, чтобы правильно работало, - необходимо указать в "selectRaw" помимо "count(*)" еще и значение внешнего ключа:

return $this->morphMany('App\Models\Comment', 'material')->selectRaw('material_id, count(*) as count')->groupBy('material_id');

Answer 2

[Станислав Почепко]

Post::with('comments')->get()
У вас получится всего два запроса. И юзайте на здоровье count()

Comments

[photosho]

Станислав Почепко: Получится, ведь, что считываю все комментарии, чтобы затем узнать их количество? Это же долго, при их большом количестве.

[Станислав Почепко]

photosho: Это лучше вариант, чем есть, но можно сделать кастомную коллекцию для статей и сдлать в ней метод ,который будет одним запросом выбирать количество комментариев для каждого поста из коллекции. А потом средствами php в этом же методе сделать каждому элементу переменную count_comments, например, и вложить туда результаты через foreach

[photosho]

Станислав Почепко: Что-то не понял, это же то же самое, что уже есть (ваш второй вариант) - обращаться с отдельным запросом для каждой статьи из коллекции для считывания количества ее комментариев...

[Станислав Почепко]

photosho: Запрос написать вручную. Что бы это всё за один раз происходило

Answer 3

[Дмитрий Кузнецов]

Не знаю точно, но попробуйте использовать "Активную загрузку".
Laravel 4: https://laravel.ru/docs/v4/eloquent#активная
Laravel 5: https://laravel.ru/docs/v5/eloquent#активная

Comments

[photosho]

Дмитрий Кузнецов: Про жадную/активную загрузку уже смотрел, но непонятно, как с ее использованием считать количество записей.

Answer 4

[Артур]

Делать составной запрос. Или сначала поствы, потом брать ид статей через lists и запрос на комменты