Парсинг на Python при помощи tor?

Question

[Gringo0]

Относительно недавно начал заниматься парсингом. Использую tor. Попробовал достаточно много способов из инета, но ip так и не меняется, хотя tor, пароли, подключение настроены нормально. Хотелось бы узнать работает ли вообще сейчас базовый парсинг с помощью tor и зачем нужно прописывать мосты, либо же нужно искать обходные пути?

Comments

[GavriKos]

TOR - Это вы про тот что с луковицей? https://ru.wikipedia.org/wiki/Tor

А какое отношение он имеет к парсингу? Парсингу на вход подается условно вебстраница. Как вы ее получили - через тор, через почтовых голубей или просто с винта загрузили - неважно.

[Gringo0]

Т.к. после 13 запросов уже требуется капча, а так можно делать запросы и менять ip

Answer 1

[Михаил Р.]

Относительно недавно начал заниматься парсингом. Использую tor.

Жестко.

Попробовал достаточно много способов из инета, но ip так и не меняется

Но нам вы их конечно же не показали.

Хотелось бы узнать работает ли вообще сейчас базовый парсинг с помощью tor

Технически - работал, работает и будет работать. Функционально - не работал и не будет работать, т.к. ip выхода тора палятся так, как не палятся спам-ip дата-центров, ну и про скорость и стабильность работы тора не стоит забывать.

либо же нужно искать обходные пути?

- Если денег нет - использовать публичные списки ip проксей.
- Если денег почти нет - использовать не публичные списки ip проксей.
- Если деньги есть - использовать мобильные прокси.
- Если деньги ЕСТЬ! - использовать резидентские прокси.

Answer 2

[Довольный Айтишникъ]

Относительно работает, так как например я, как владелец сайта, могу в настройках cloudflare указать запрет трафика из тор сетей и всё, что бы вы не делали, вам ко мне не попасть. Другие cdn сети тоже такой функционал предлагают, да и на самом веб сервере такое можно настроить.

Зачем блокировать - через тор крайне мало полезных заходов, в основном мамкины хакеры и т.п.

Comments

[Gringo0]

Спасибо за ответ

Answer 3

[dim5x]

зачем нужно прописывать мосты

Как будто бы это гуглится:

В некоторых странах доступ к сети Tor может быть заблокирован. Мосты, не являющиеся частью публичного списка узлов, позволяют обойти эти блокировки, так как их сложнее обнаружить и заблокировать.

Работает, почему бы не работать. Но, имхо, такой себе способ: скорость непредсказуемая, коннект сейчас есть, а через минуту нет, крупные выходные ноды могут быть блокированы ресурсами, которые вы парсите. Одним словом: зачем?