Как контролировать лимит?

Question

[Us59]

Есть 8 сайтов, на которых есть лимиты запросов, например сайт 1 - имеет лимит 10 запросов, сайт 2 - имеет лимит 30 запросов, итд, у всех они разные.

В чем заключаются лимиты? В том, что с одного IP адреса можно сделать N количество запросов в течении 24 часов. Еще не выяснил как обновляются лимиты (в какое время, возможно разное время)

Как контролировать лимиты? У меня есть 2000 прокси и мне нужно отмечать сколько запросов я сделал с определенного IP адреса к определенному сайту. Изначально я отмечал в БД в колонке лимит. но сейчас получается, если у меня 8 сайтов, и у каждого свои лимиты, то нужно создавать 8 колонок в БД для каждого случая. Есть ли более простые варианты контролировать такие вещи?

Comments

[Сергей Горностаев]

Непонятно как относится вопрос к веб-разработке. И абсолютно непонятно в чём у вас проблема хранить информацию о запросах в строках таблиц, а не колонках.

[Us59]

Сергей Горностаев, к какой тогда теме отнести такой вопрос?

[Сергей Горностаев]

Us59, что делает ваша программа? Это парсер?

[Us59]

Сергей Горностаев, да, парсер

Answer 1

[Сергей Горностаев]

Создать таблицу request_log с полями

• site - для адреса сайта или его идентификатора в другой таблице
  
• proxy - для адреса прокси или его идентификатора в другой таблице
  
• when - для даты и времени сделанного запроса
  

и просто добавлять в неё записи при совершении запроса парсером. В такой схеме абсолютно не важно сколько у вас будет сайтов и прокси.

Comments

[Us59]

и как это будет работать? При выборе IP адреса я делаю запрос к БД и выбираю рандомный proxy подходящий по параметрам (чтобы было не более N запросов с этого IP к сайту 2)

Вы предлагаете делать 2 запроса при выборе IP адреса, к одной таблице, а потом еще к другой, чтобы подсчитать сколько раз этот IP использовался для запроса? Также, не совсем понятно как в таком случае сбрасывать лимит использования в течении 24 часов?

[Сергей Горностаев]

Us59, не нужно там двух запросов. Делаете один запрос с отбором по when равному сегодняшнему дню, группировкой по site и proxy и агрегацией count, получаете количество сделанных за сегодня запросов с каждого прокси к каждому сайту. Даже если адреса сайтов и прокси будут храниться в отдельных таблицах, можно использовать объединение. И можно сразу отфильтровать из выборки те сочетания, в которых количество запросов превышает необходимый уровень.

[Us59]

Сергей Горностаев, получается, я сделаю такую таблицу, сам список IP хранится в другой таблице, в выборке IP я сделаю условие, чтобы он выбирал IP и подсчитывал, что этот IP не использовался больше чем N количество раз в таблице request_log + задавая условие, чтобы проверялось время?
Я правильно понял вашу идею реализации?)

Сразу назревает вопрос, как сделать такое условие в SQL.. (с моментом подсчета количества из таблицы request_log)

Вот мой запрос на текущий момент (достаточно много условий выборки как помне):

SELECT A.Id, A.ServiceId, B.Ip, B.Port, B.UserAgent FROM orders A, proxy B WHERE A.CaptchaRequest =:id AND A.StatusId = '5' AND B.IpCountry = 'RU' AND B.Used = '0' AND B.StatusProxy = '1' AND B.QtyVerifyTime = '0' AND B.QtyUsedTime < 10 ORDER BY NOW() - B.VerifyDateTime LIMIT 1

[Сергей Горностаев]

Us59, что-то вроде

select
  s.url,
  p.ip,
  count(*) as times
from request_log as r
inner join sites as s
  on r.site_id = s.id
inner join proxies as p
  on r.proxy_id = p.id
where r.when between between now() - interval '24 hours' and now()
group by r.site_id, r.proxy_id
having times < s.max_request
order by times;

Естественно, детали запроса зависят от используемой СУБД и конкретной схемы БД.

[Us59]

Сергей Горностаев, я думаю что сайты, которые установили этот лимит обновляют его в 00:00 ну или в какое-то время, а не записывают каждый IP и время его запросов, скорее всего все лимиты снимаются в 1 момент для всех, а при такой схеме мы будем отсчитывать ровно 24 часа с момента запросов, хотя лимита уже не будет...
При этом, сайт 1 может сбросить лимит в 05:00,а сайт 2 в 12:00 к примеру.

[Сергей Горностаев]

Us59, да не вопрос, now()::date + interval '1 minute' - полночь.

[Us59]

Сергей Горностаев, не могу сообразить как это сработает, сидел рисовал на листке 2 часа уже, не могу понять.

Например в таблице есть запись такого вида:

site | proxy         | when
 1   | 157.666.55.21 | 13.06.2019 13:55:00

Я не совсем понимаю как работает now()::date именно непонятен момент ::date.
NOW() получает текущую дату и время. если мы делаем ::date - он выдает только дату чтоли?! Я попробовал сделать запись в свою БД такого вида: now()::date мне выдало ошибку, мол так нельзя.

Я не понимаю каким образом мы можем сравнить дату и время которое когда-то записали например - 13.06.2019 13:55:00 с текущим временем, точнее чтобы условие выполнилось только когда текущее время будет 02:00 (например), т.е. чтобы условие не выполнялось в 01:00, а только в 02:00 или больше.

[Сергей Горностаев]

Us59, функция now() возвращает данные типа timestamp, содержащие текущие дату и время - 13.06.2019 13:55:00. Если привести эти данные к типу date, время будет отброшено - 13.06.2019. Теперь если преобразовать данные обратно к timestamp, то получится текущая дата с нулевым временем - 13.06.2019 00:00:00. Прибавление к дате интервала это и делает. Кстати, вместо now()::date должно сработать просто CURRENT_DATE, но это уже вкусовщина.

[Us59]

Сергей Горностаев, спустя 3 часа мозг уже закипел и я не могу понять до сих пор.
Если у нас есть дата и время в таблице вот такого вида: 13.06.2019 13:55:00.
если я сделаю что-то вроде этого:
SELECT * FROM `proxy` WHERE `VerifyDateTime` < CURRENT_DATE() + INTERVAL 1390 MINUTE то условие сработает в любой момент, даже если время будет больше на 1 секунду, а мне нужно чтобы оно срабатывало только если время 23:00 или больше, но не меньше (например опять же).

[Сергей Горностаев]

Us59, посмотрите внимательнее на мой запрос, там используется отбор по диапазону между одним временем и другим.

[Us59]

Сергей Горностаев, я просто запутался. сравнивал не текущее время, а из таблицы))

Answer 2

[Константин Цветков]

Как контролировать лимит?

Вам не нужно контролировать лимит. Вам нужно, что бы следующий запрос к сайту шёл от прокси с минимальным количеством оных за текущие сутки. Используя ответ от Сергей Горностаев это можно сделать. Если все COUNT превышают лимит — отложить опрос сайта на следующий день.

Comments

[Us59]

Константин Цветков , я думаю что сайты, которые установили этот лимит обновляют его в 00:00 ну или в какое-то время, а не записывают каждый IP и время его запросов, скорее всего все лимиты снимаются в 1 момент для всех, а при такой схеме мы будем отсчитывать ровно 24 часа с момента запросов, хотя лимита уже не будет...
При этом, сайт 1 может сбросить лимит в 05:00,а сайт 2 в 12:00 к примеру.

Поэтому я думаю вариант от Сергея не очень подходит мне, или я не понимаю как я могу использовать это.