Почему после запроса RSS Хабр перестаёт принимать соединения с IP?

Question

[domage]

Коллеги, сталкивался ли кто-нибудь с похожим поведением защиты Хабра при чтении RSS?

Вплоть до начала этой недели, всё работало нормально.

Использую официальный RSS:
https://habr.com/ru/rss/articles/?limit=100

Запрос выполняется обычным HTTP-клиентом на Go со следующими заголовками:

User-Agent: BlogWatcher/1.0 (+https://github.com/Hyaxia/blogwatcher)
Accept: application/rss+xml, application/atom+xml, application/xml;q=0.9,
        text/xml;q=0.8, */*;q=0.1

Наблюдаемое поведение:

1. С нового внешнего IP обычный curl к RSS Хабра работает и возвращает XML.
2. RSS-ридер выполняет один запрос к /ru/rss/articles/?limit=100.
3. После этого Хабр полностью перестаёт принимать соединения с данного IP.
4. Даже обычный curl больше не доходит до TLS:

Trying 178.248.237.68:443...
   Failed to connect to habr.com port 443: Timeout was reached
   HTTP status: 000

5. Бан держится как минимум 12 часов.

Не устанавливается даже TCP-соединение.

На чистом узле запрос был выполнен только один раз, без повторов. Поведение удалось воспроизвести на двух независимых узлах с разными публичными IP.

До запуска ридера, например, такой запрос работал:

curl https://habr.com/ru/rss/hubs/css/articles/all/

После запроса ридера перестают работать и этот RSS, и сам сайт с того же IP.

Что я делаю не так?
Есть ли сейчас специальные требования к User-Agent RSS-клиентов?
Может ли защита реагировать на TLS fingerprint стандартного Go HTTP-клиента?
Какой интервал обновления RSS считается допустимым?

Answer 1

[Nomad_77]

Привет!
Вообще RSS-запросы блочить не должно, будем разбираться, если в саппорте не хватит данных из вашего обращения – запросим ещё дополнительно

Comments

[Nomad_77]

domage пришлите мне ваш айпишник внешний на [e-mail] пожалуйста

Answer 2

[Пума Тайланд]

похоже на blackhole от анти-DDoS Хабра (у них Qrator), а не обычный rate limit — TCP-хендшейк вообще не проходит, а 429/403 так не выглядят. Вероятнее всего ловит TLS/HTTP2-отпечаток дефолтного Go http.Client, а не UA-строку — curl даёт другой fingerprint и потому не банится. Попробуй GODEBUG=http2client=0 и сними tcpdump на момент бана, для сравнения убери ?limit=100. Если стабильно ловит разные чистые IP — тащи в поддержку Хабра UTC-время, IP и дамп.

Answer 3

[Telcontar]

Не логичней ли задать этот вопрос техподдержке Хабра?

Comments

[domage]

Отличная идея, если бы меня не забанили так, что я даже по адресу тех поддержки зайти не мог :0)
Зашел через телефон, написал.

[Telcontar]

domage, можно было на email [e-mail]

[domage]

Вот и ответ «Разработчики системы не раскрывают принципы по которым она обнаруживает угрозы. Поэтому мы не располагаем возможностью предоставить информацию о том, какая активность привела к блокировке.»
Отлично, что сказать.

[Telcontar]

domage, напишите на Хабре в ЛС Алексей Бумбурум, я думаю он вам поможет. По крайней мере, он гораздо человечнее техподдержки.

Answer 4

[Drno]

сделай TLS отпечаток хрома или фаерфокса, вместо чистого GO
эт РКНка запросто может быть