Как сформировать ленту новостей/событий из нескольких таблиц (php/mysql)?

Question

[birdy90]

Добрый день!

Понимаю, что вопрос мало относится к указанным технологиям, но на всякий случай указал их.

Я пытаюсь сформировать ленту новостей. В эту ленту попадают новости, статьи, видео, репортажи. Каждый из этих типов данных лежит в отдельной таблице. Как минимум потому, что у них может немного различаться набор полей (основные совпадают), каждый из них имеет свою категоризацию.

Самое простое - выбрать всё через union, потом отсортировать и выбрать нужные:

select * from 
    (select * from news 
        union 
    select * from articles) as materials
order by time desc
limit <deisred_offset>, 10

Но в это варианте меня смущает, что таблицы довольно большие. Во-первых, выборка и сортировка будут занимать время, во-вторых offset, насколько мне известно, чем дальше от начала выборки - тем хуже

С другой стороны, мне не приходит в голову ничего более оптимального:
- так чтобы и по датам сортировалось предсказуемо (ведь новости могут публиковаться ежедневно по много раз, а статьи, например, раз в пару дней. Или вообще, одна из категорий давно не публиковалась. Это значит, что лимит на `select` до `union` повесить нельзя
- чтобы можно было сделать нормальный постраничный просмотр. Ориентироваться можно на идентификатор, но в данном случае идентификаторы пересекаются, и на них смотреть нельзя. А если по дате - то возвращаемся к предыдущему пункту - как выбирать данные, которые могут публиковаться очень часто, или не публиковаться годами

Есть ли какие-то руководства/практики построения таких конструкций?

Answer 1

[zhaar]

select top 10 * from news1 order by postdate desc
union all
select top 10 * from articles1 order by postdate desc
union all
...

Это самый простой вариант.
Наверти сюда условия для выборки по каждым статьям (даты отсечки, автора и пр.) и будет щастье

Comments

[birdy90]

но тогда, предположим, что новости публикуются по 5 штук в день, а статьи - по одной. в такую выборку попадут новости за последние два дня, а статьи - за 10 дней. как определить с какого элемента нужно показывать вторую страницу ленты? с последней новости (тогда статьи продублируются)? или с последней статьи (тогда новости за восемь дней потеряются)?

[zhaar]

birdy90, можно ведь добавить условие деления по дате (текущий день -1) и выводить результаты по датам. А еще можно на уровне сервера запросить все новости и уже средствами PHP рисовать последующие листы. Один раз запросил данные, распарсил по страницам уже сервером.
Если очень хочется, то этот запрос сделать подзапросом и уже в основном запросе с помощью лимита рисовать страницы.

[birdy90]

zhaar, выводить по датам тоже не получится. ведь может быть ситуация когда "вдруг" за несколько дней ничего не было. я листаю, а ничего не меняется. или не такой критичный случай, когда за какой-то день только одна запись, а в другой день - спам из полтинника

[zhaar]

birdy90, ну так тогда варианта 2:
1) Разные запросы к таблицам с последующей склейкой в PHP
2) Большой запрос к нескольким таблицам с последующей разбивкой результата постранично средствами PHP

Как бэ любой вариант работоспособен, просто для Union нужно будет, чтобы набор полей был одинаковый (либо "дорисовывать недостающие поля", где их не хватает)

Answer 2

[Кирилл Горелов]

Сделать на каждую таблицу отдельно по одному запросу.
Я думаю не стоит химичить с union.
Во-первых, ты можешь сделать свой запрос еще "тяжелее".
Во-вторых, я не думаю что у тебя там очень большая нагруженность, что тебе приходиться извращаться с объединением запросов.

Ну и последнее, раз на то пошло дело, то сделай по принципу "толстого клиента". На js делай запрос на получение последних новостей по отдельности, как пример.

Comments

[birdy90]

согласен, сейчас размеры таблиц не очень большие, всего порядка 10k. и кажется, что и union и несколько отдельных запросов, сработают. но если в руках окажется более крупный проект, я потеряюсь, думал, может есть какие-то практики, которые применяются в случаях, когда число записей переваливает за миллионы

[Кирилл Горелов]

birdy90, Что в твоем понятии "миллионы"???
Даже 3-5 миллионов, на более менее хорошей машине + хорошо проставленные индексы и твоя задача будет выполняться в районе секунды.

А еще ответ BojackHorseman навел на мысль. Я не знаю тоже самое имелось ввиду или нет.
Делаешь отдельную таблицу. И когда ты добавляешь свои новости или статьи по своим таблицам, ты их еще добавляешь в эту таблицу. И ты все свои записи забираешь только одним запросом и все. Старые записи ты из них можешь удалять раз в месяц, к примеру. Тем самым таблица не будет раздуваться и запросы будут проходить мгновенно.