Чем и как ограничивать количество запросов к API?

Question

[Семён Семёнов]

Хочу дать доступ к своему API всем желающим, но боюсь придёт какой-то негодяй и положит своими запросами весь сервак. Как и чем можно ограничить клиента?

Конечно, самым простым способом вижу выдачу ключа и хранения в БД времени последнего запроса по этому ключу. Но что-то мне не нравится этот способ. Может есть что-то интереснее?

Answer 1

[Сергей Соколов]

Пользователи должны идентифицироваться: по ключу лучше всего.

Скажем, вы хотите установить лимит не более 10 запросов в 15 секунд.
Для учета можно использовать не БД а Redis.

Ключ - ключ API пользователя, значение - список. Хранить списки (Lists) timestamp'ом последних 10 запросов. Установить время жизни в 15 секунд.
При поступлении нового запроса смотреть, есть ли уже такой ключ и не более 10 записей в списке. Если меньше, дописывать в конец текущее время и разрешать выполнение запроса. Если 10 записей есть, но самая левая более 15 секунд назад, её можно стереть и справа вставить новую.

Comments

[Семён Семёнов]

Думаю проще немного по другому. Да, redis, как вариант, но думаю проще хранить количество запросов и время первого запроса. Т.е. при поступлении запроса проверять отношение количества запросов ко времени. Если скажем, за 5 мин пришло больше 100 запросов, отвечать 503 кодом.

Answer 2

[Stalker_RED]

Еще можно отслеживать по ip и по user-agent и/или referer, например, смотря откуда запросы идут.
Но все это при желании обходится.
Самым правильным вариантом было бы организовать сервис так, чтобы он выдерживал нагрузку. А банить и троттлить только совсем уж злостных.

Вообще сложно рекомендовать что-то конкретное, вы же даже не написали на какой платформе у вас API крутится.

Comments

[Семён Семёнов]

Вопрос не в платформе и не языке программирования, а в способе решения. Т.е. возможно оптимально было бы решить на уровне ОС, или на уровне сервера приложения или через само приложение, или через БД. Либо разделить и дать всем по чуть-чуть)) Пока мне нравится вариант что предложил выше SmInc.

Answer 3

[Евгений]

Как правило, в серьезных библиотеках для реализации REST API уже есть либо встроенная поддержка throttling, либо при помощи сторонних приложений. Например, в Django Rest Framework: Throttling

Comments

[Семён Семёнов]

Вопрос как своё сделать.

Answer 4

[Сергей Рогожкин]

Для Go есть неплохая библиотека для подсчета рейтов: https://github.com/paulbellamy/ratecounter Пользователя хорошо бы ассоциировать с ключом, чтобы не заморачиваться с источниками трафика, а ключу сопоставить набор обновляемых счетчиков. Как хранить ключи и счетчики - дело вкуса. Если порог превышен, получите-распишитесь HTTP 429 Too Many Requests. Это если самому. Вообще библиотеки для REST часто это из коробки умеют.

Answer 5

[catanfa]

можно использовать мощный и гибкий golimit