Как не превысить количество обращений к стороннему ресурсу со своего домена?

Question

[r0semary]

Ребята, привет!
Ранее не приходилось решать такого рода проблему, так что сразу и по порядку...
Цель состоит в том, чтобы мой сайт запрашивал медиа-ресурсы с другого api (или пусть даже сайта), который, как и положено, имеет ограниченное количество запросов за определенный промежуток времени, чтобы балансировать нагрузку.
Для своей стороны проблему вижу в таком ключе, что, как только, условно, ~10 пользователей сделают запросы с моего сайта в один и тот же момент времени, то апи другого домена просто вернет http code 429, а этого хотелось бы избежать. Прошу подсказать решение или вектор, куда копать (( про кэширование знаю только в теории. возможно, оно с этим делом связано, поэтому-таки и добавлен тэг ))

Comments

[Сергей Петров]

Можно использовать прокси, если кол-во запросов привязано к IP

Answer 1

[John Didact]

Такой вот круг: прежде, чем запросить инфу по апи, открывай файл и смотри, когда делал запрос, если меньше, чем, например, 10 минут назад, то отдавай кэш… если больше, то проси инфу по апи, обрабатывай её, сохраняй в кэш, в файл записывай время запроса.

Примерно так…

Answer 2

[0x131315]

Тебе нужен кеш.
Кеш - это хранилище, где каждый блок данных имеет как минимум два параметра: идентификатор и время жизни.
В простейшем случае это папка с файлами, где имя файла - это идентификатор, а время жизни вычисляется по разнице времени модификации файла и текущего времени.
Идентификатор однозначно идентифицирует блок данных. Обычно идентификатор - это хэш от сериализованного массива, в который помещают всё параметры, от которых зависит содержимое блока данных.
Например если данные на api зависят только от пути - айди это хэш от пути. А если ещё и от get-параметров, то к пути нужно добавить и эти параметры.
В таком случае, прежде чем обращаться к api, нужно посчитать хэш от запроса, и проверить, есть ли файл с таким именем в папке кеша, и не слишком ли он старый, и либо отдать данные из файла, либо обратиться к api, перезаписать файл полученными данными, и отдать данные.

Но вместо того, чтобы во всё это вникать и пилить велосипеды, лучше просто подключить в композере любой из популярных кешей, он не только будет работать лучше самописного, но и предоставит множество инструментов для обслуживания кеша.

Comments

[r0semary]

О, супер! Благодарю за вполне ясное объяснение подхода к задаче!
А может быть так, что время, на которое следует кешировать данные, заранее неизвестно? К примеру, ответ стороннего сервера намеренно не даёт знать об этом. Если да, то как можно грамотнее поступить в таком случае?

[0x131315]

r0semary, когда неизвестно время обновления информации на внешнем ресурсе - вполне обычная ситуация.
Если на внешнем ресурсе информация не обновляется или обновляется редко кеш можно хранить долго. Например неделю.
Если обновляется часто или нужно быстро отреагировать на изменения - кеш обновляют чаще, например раз в час или раз в день.
Даже если кеш обновляется раз в час - это уже экономит тысячи запросов, т.к. к внешнему ресурсу будут идти обращения вместо нескольких раз в секунду - всего раз в час.

И еще такой момент - иногда бывает кеш уже истек, и его нужно удалить, а внешний ресурс упал.
Технически можно отдать данные из устаревшего кеша, т.к. лучше устаревшие данные, чем ничего.
Но в большинстве случаев такое не продумывают, и в случае падения внешнего сервиса сайт лишается данных, а то и тоже падает.
Этот момент стоит предусмотреть заранее: перед зачисткой кеша убедиться, что данные для его обновления получены.