Как реализовать подгрузку новых данных из БД с помощью Ajax?

Question

[sbh]

Суть такова - есть БД куда постоянно пишутся какие-то данные.
Хочется реализовать проверку с определенным интервалом и при наличии новых данных в БД подгружать их на страницу.
Как это вижу:

• есть обработчик на php который при запросе выдирает данные из БД и отдает;
  
• есть js код который делает эти запросы к скрипту с определенной частотой и при положительном ответе выводит новые данные на страницу;
  

Как реализовать механизм запроса новых данных? Выборка всех строк из БД у которых ID больше самого большого который сейчас есть на странице?

Либо может вообще всю схему работы можно более лаконично построить?

Comments

[Дмитрий]

Ну так и есть, можно привязать выборку к дате, или хранить где либо метку последнего запроса, и в запрос выбирать используя её

[sbh]

Дмитрий, а как в запрос включить наибольший ID? ну типа есть на странице куча строк, в том числе там есть и столбец ID. Как JS-ом выдрать со странички максимальный чтобы потом его в запросе передать?

[Дмитрий]

sbh, я в js не силен, но проще сделать на бэке, создайте файл, и после выборки делайте touch ему, следующее обращение проверяйте метку, правда могут быть коллизии, так как js может запускаться на нескольких клиентах, но и тут можно сделать через блокировку файла

[sbh]

Дмитрий, как то костыльно выглядит, подожду еще комментарии.

[Дмитрий]

sbh, ну как умеем)))

Answer 1

[DevMan]

обычно выборка привязана не к айди, а к текущему времени. это время уже известно при начальной выборке. нужно лишь его сохранить (хоть в сессию, хоть в печеньки, хоть в жс-переменную) и запрашивать материалы с датой от сохранённой до текущей (и обновлять сохранённую).

если речь о офсете/ленивой загрузке, то принцип такой же: сохраняем текущий офсет -> при следующем вызове достаем его, увеличиваем на нужное значение, отдаем данные с нужным офсетом, пересохраняем текущий офсет.

Comments

[mahmudchon]

А если мы говорим про постоянную подгрузку, скажем, статей, выбранных по определенным параметрам? Какой алгоритм действий наиболее приемлемый? Когда время - не ключевой фактов выборки. Хранить где то count и offset и на их основе?
Спасибо.

[Дмитрий]

mahmudchon, а зачем вам тогда вообще аякс. Пусть пользователь и тянет при реквесте данные

[mahmudchon]

Дмитрий, "реквест" же еще верно сформировать нужно. Какие параметры ему передавать? Может не верно вас понял. Меня интересует больше не реализация в реальном проекте, а понять грамотный принцип решения.

[DevMan]

mahmudchon, приведите конкретный пример.

[sbh]

DevMan, идет лог каких-то событий, пускай заказы будут, висит страница с ними и новые автоматом сверху подгружаются.

[mahmudchon]

DevMan, есть в базе статьи, 100 штук.
Нужно при посещении страницы вытащить 10 страниц, не по мере их появления, а по наличию, в соответствии с параметрами выборки (но это не суть).
Это частая реализация сейчас на сайтах - при прокрутке содержимого до последней статьи - на автомате подгружать следующие 10. Так вот - как отловить события приближения к последней статье на странице и тп - не интересно. Как скрипту, который отдает данные понять с какой статьи продолжить выборку? Тут, по сути START и LIMIT, где LIMIT равен 10. А START передавать, получается, в запросе и обновлять в js переменной или тп?

[Дмитрий]

mahmudchon, я имел ввиду чистым бэком отдавать из базы строки при обновлении или переходе по ссылке

[mahmudchon]

sbh, не, с этим уже понятно, сверяемся по времени. А что касаемо имеющихся при скроле?

[DevMan]

mahmudchon, да такой же принцип, просто сохраняете не дату, а текущий офсет.

[sbh]

DevMan, измените пожалуйста ваш ответ для обоих вариантов (сверка по тайстэмпу и по оффсету) и я отмечу его как ответ. Думаю многим пригодится это.

[DevMan]

sbh, сделал.

[sbh]

DevMan, еще вопрос - начал просто реализовывать и сразу наткнулся на камушек. Суть такая запросы на обновление идут пускай каждую минуту.
Мы отправили запрос, получили ответ с данными после этого в БД появились новые данные, мы делаем новый запрос с условием текущего времени и получается что те новые данные мы не получим потому что они попали в промежуток между запросами.
Нужно хранить TimeStamp последнего запроса и ориентироваться на него?

[Дмитрий]

sbh, нужно поле таймстампа в табличке, запрос вида
select * from table where timestamp > $timestamp

[sbh]

Дмитрий, вы не поняли. Про запрос ясно как отбирать.

[Дмитрий]

sbh, ну там переменная не случайно, это как раз метка, после запроса вы её обновляете как time()
Все что после неё будет новое

[DevMan]

sbh,

Мы отправили запрос, получили ответ с данными после этого в БД появились новые данные, мы делаем новый запрос с условием текущего времени и получается что те новые данные мы не получим потому что они попали в промежуток между запросами.

мы отправили запрос -> получили текущее время -> сделали выборку согласно интервала от предыдущего времени до текущего –> сохранили полученное текущее время -> отдали данные.
все что появилось после этого времени попадет в следующий запрос.

[sbh]

DevMan, а может случиться что данные попали в БД в ту секунду которая не учлась в промежутке между записью текущего времени и запросом?

[Дмитрий]

sbh, можно делать более точную метку с микросекундами
microtime()

[mahmudchon]

sbh, >=

[sbh]

"сделали выборку согласно интервала от предыдущего времени до текущего –> сохранили полученное текущее время " - вот про этот шаг я имею ввиду. Представим что данные пишутся очень быстро в систему. Запрос занимает 1 секунду.
Мы запрашиваем данные в 10:00:01, ответ приходит в 10:00:03, и мы записываем временную отметку для след запроса как 10:00:03, а данные записанные в БД в 10:00:02 не попадут в след выборку.

Пример возможно утопичный, потому как нет смысла в динамическом выводе такого количества данных, но все же.

[DevMan]

sbh, нет никакого промежутка. ты получил, к примеру, 12:34:56 и выбираешь данные согласно этого времени. появилась запись, соответствующая этому времени - она попадет в выборку прямо сейчас, появилась позже - попадет в следующую выборку. и совершенно не важно как/когда/насколько долго ты сохраняешь это время.

[Дмитрий]

sbh, сделайте запись метки до запроса

[DevMan]

sbh,

Мы запрашиваем данные в 10:00:01, ответ приходит в 10:00:03, и мы записываем временную отметку для след запроса как 10:00:03, а данные записанные в БД в 10:00:02 не попадут в след выборку.

нет. если мы запросили данные в 10:00:01, то и записываем 10:00:01; когда придет ответ нас не интересует.

[sbh]

DevMan, Ok, понял

[sbh]

Дмитрий, Да, так и сделал.