Как правильно парсить динамическое JSON Api?

Question

[Ilya78rus]

Доброго времени суток. Разрабатываю проект, требуется помощь
Имеется api другого ресурса, в котором данные обновляются раз в 1-2 секунды.
Необходимо постоянно иметь актуальные данные этого API у себя + перегруппировать его по своим нуждам и соответственно по запросу отдавать своему сайту. Главное - это получать актуальные значения.
Пробовал получать курлом и в цикле создавать требуемый ответ в json, но это достаточно долго и занимает порядка 5-10 секунд + иногда ответ совсем не возвращался с ресурса. Есть вариант получать api с js конкретно на странице, но это издевательство + тонна кода на стороне клиента.

Comments

[Модератор]

Ilya78rus дорогой пользователь, настоятельно рекомендуем еще раз обратить самое пристальное внимание на п. 3.1 регламента работы сервиса (и, в особенности, на его последний абзац). В противном случае, ваши вопросы будут удаляться по причине тег-спама, а систематические нарушения приведут к блокировке учетной записи.

Answer 1

[Ambrosian]

Обычный кэширующий прокси.

Comments

[Ilya78rus]

Как это может решить проблему, если задача - каждую секунду-две получать актуальные данные с api стороннего ресурса, а между этим перегруппировыть api, отрезать лишнее и сохранять у себя.
До этого делал так, каждые 5 секунд в фоне получал данные api, в цикле заносил нужные данные в бд и далее с сайта ajax запросами получал необходимые данные. Но конечный результат не всегда был точным, поэтому ищу другие способы реализации

[Ambrosian]

Ilya78rus, пожую:

отправляешь запрос, когда это нужно пользователю.
если ответ не успевает за отведенный срок - отдаешь пользователю из кэша.
когда ответ приходит - обновляешь кэш.
асинхронно все.

[Ilya78rus]

Отдавать пользователю не актуальную информацию нельзя
Это разработка букмекерской конторы, но используется API стороннего ресурса
Если информация не актуальна - это потеря денег

[Ambrosian]

Ilya78rus,

Отдавать пользователю не актуальную информацию нельзя

Такие вещи нужно сразу подчеркивать в первичном вопрос, вообще-то.

Ты не можешь это ускорить.
Если косяк не на твоей стороне.

Максимум что ты можешь - вежливо и красиво уведомлять пользователя, что не получилось обработать запрос.

Ну и, как я уже писал - асинхронность здесь как раз к месту.

[Ilya78rus]

Главное - это получать актуальные значения.

Я подчеркнул)
Спасибо за ответ

Answer 2

[Виталий]

Чтобы иметь актуальные данные из источника, которые обновляется раз в секунду , вы должны менее чем за секунду их получить, обработать и сохранить. Если этого сделать никак нельзя, значит нужно принять допущение что у вас будет задержка. И тут же надо думать надо ли у себя хранить всё или запускать скрипт по запросу клиента.
1 секунда - это очень быстро, у вас половину этого времени может только занять получения ответа от API. Поэтому -
- нужно иметь своей сервер максимально близко к API, это что то даст в + какие то миллисекунды
- если все это добро храниться в БД , и если это SQL решение - подумать над архитектурой, чтобы не терять время на блокировки таблицы, если такие сейчас есть
- разделить процессы: один занят только получением данных, другой только обработкой и тд

Comments

[Ilya78rus]

Благодарю за отклик.
В голове такая реализация:
В фоне получаем данные каждые 1-2 секунды, проверяем изменились ли значения, форматируем, заносим в бд.
На стороне клиента ставим интервал 1 секунду на ajax запрос к API уже получается моего сайта и соответственно перерисовываем страницу или отдельные элементы

Подскажите пожалуйста, на сколько такой вариант правильный и быстрый?

[Виталий]

Ilya78rus, на клиенте мб имеет смысл смотреть в сторону socet / long pollingи тд, что у них там сейчас актуально
по части БД, если вдруг SQL решения окажутся медленным, можно, так же смотреть на БД, которые работают с памятью, типа memcached и Redis
https://habr.com/company/oleg-bunin/blog/316652/

Answer 3

[TimsTims]

тогда писать бота так, чтобы ходил каждую 1 секунду на чужое api.
Если не хватает мощности парсить результаты - увеличивать мощность железа, либо бота запускать на другой виртуалке.
Если важна прям точность в данных , то пишете своего демона с вебсокетами (смотрите примеры с чатами). Тут от php почти ничего не остаётся. Суть такая;
1) есть ваш php демон который каждые 1 секунду выгружает данные и результат отправляет в программу 2:
2) программа #2 по-сути это сервер вебсокетов - как только получает данные от вашего php-демона, сразу же рассылает данные на всех подключенных клиентов (смотрите реализации чатов).
3) клиенты которые подключены через js websockets к вашей программе 2: немедленно все разом получают самую свежайшую информацию практически в тот же момент, когда о ней узнал ваш демон php.

Answer 4

[Сергей Соколов]

Два независимых потока: из API в ваше хранилище, и из хранилища посетителям сайта.

Один процесс забирает данные из API и обрабатывает их. (Никак не должно это занимать аж 5 секунд!) Результат обработки записывается в БД или какой-нибудь Redis.

Посетители запрашивают или получают push'ем актуальные данные из вашей БД или Redis.

upd. Это похоже на ваше, описанное в комменте к другому ответу, решение. Чем оно не устраивает?

Comments

[Ilya78rus]

Благодарю за ответ.
Обработка занимает более 2 секунд (ранее использовался похожий вариант), API здоровое, боюсь что будут большие погрешности
Если использовать ваш вариант, то как можно оптимизировать все это дело

[Сергей Соколов]

Ilya78rus, профилировать надо, понять, где узкие места в обработке.
Взять сервер помощнее.
На случай возможного облома очередного обновления, не “переключать” пользователей сайта с последнего просчитанного успешно сета пока не убедитесь в новом.
Размножить на 2, 3 или больше параллельных рабочих. Первый еще не закончил считать, а второй уже запрашивает апдейт из апи.