Как обойти блокировку сайта от ботов для его парсинга в Screaming Frog?

Question

[MariaFirst]

При парсинге сайта в Screamong Frog у многих страниц выдаётся код 403. Статус-чекеры также выдают 403. При этом в браузере эти страницы нормально прогружаются и участвуют в ранжировании.
Я пробовала снизить количество потоков, менять User-Agent. Ничего не помогает. Какие есть ещё способы обхода блокировки?

Answer 1

[Александр Денисов]

0. У большого сайта, на котором настроена защита — крайне сложно пробить её лягушкой.
1. Попробовать парсить с другого впн, например, через tunnelbear.
2. Заказать парсинг на kwork.
3. Попробовать парсинг через a-parser со сменой проксей.

Answer 2

[Дмитрий]

Здравствуйте!

В robots.txt есть блокировка Screaming Frog или чего-то другого?

Пробовали снизить время парсинга страниц?

Answer 3

[Михаил Р.]

Какие есть ещё способы обхода блокировки?

- Ip из базы.
- Количество визитов с одного ip за промежуток времени.
- Проверка на безголовый браузер.
- Быстрая базовая проверка на всякие популярные фреймворки для тестов (selenium, puppeteer итп).
- Проверка на отпечаток устройства, в основном - на железо.
- Если с парсим от лица сенсорного устройства - проверка атрибуты сенсорного устройства.

Answer 4

[Gabib]

Попробуй в настройках поменять поискового робота, на гугловского или от яндекса