Пишу приложение для десятка сайтов(пет-проджект). Столкнулся с проблемой:
когда проверяю через get/head-запрос(axios/fetch) - первое время все работает как нужно. Но через несколько часов работы сервера начинают отдавать 5хх ошибки(блок со стороны сервера, надо полагать), getaddrinfo ENOTFOUND, ECONNREFUSED и прочие прилагательные. Пробовал разные решения-библиотеки с гитхаба - та же песня. Нужно стабильное решение.
Спустя пару дней решил проблему через Puppeteer - работает отлично, можно по пути рендер проверять и множество других параметров, но решение получается очень увесистым и медленным(в сравнении с запросом выше), т.к. по факту нужен только статус ответа и цепочка редиректов. А в планах залить все это на heroku, где размер зависимостей урезается в <300mb. Да и при увеличении количества урлов для проверки общее время сильно растет, а надо вместить цикл проверки в ~5мин.
Вопрос: как найти золотую середину и не попадать под баны серверов?
P.S: к серверам доступа нет, нужно именно внешнее решение.
Денис Юрьев, Вот вам внешнее решение для проверки uptime. Если ваши методы не работают и выдают ошибку попробуйте другие методы и сайты из ответа, возможно там вас не будут блочить.
