BadCats
@BadCats

Создание прокси сервера для парсинга сайта?

DISCLAMER: я новичок в сетях и только начал в этом разбираться, поэтому могу писать/описывать некоторые вещи неправильно.
Собственно проблема:
Есть интернет магазин, цены с которого необходимо спарсить. Конечно же, на нем есть защита от ботов - по ип и количеству запросов и капча. Через n-ое время парсер спотыкается о капчу. Как я понимаю, мне нужен анонимный прокси-сервер/vpn - для смены моего ип?
Если так, то возникает следующий вопрос:
Можно ли, имея динамический ип от провайдера - на mikrotik настроить прокси сервер, что бы, через него шли запросы от парсера? Если можно - буду благодарен, если кинете в меня годным туториалаом (я вроде где-то читал, что как раз OpenVPN - для этого подходит? ). Если нет - с радостью выслушаю альтернативные варианты.
Пара уточнений:
1) Нужно именно самостоятельно настроить прокси, если все же есть такая возможность, а не арендовать на стороне - по двум причинам:
- безопасность
- желание научиться это делать (более весомый аргумент)
2) Я если честно - в ужасе от количества типов vpn
Начал читать документацию:
https://mikrotik.wiki/wiki/%D0%A2%D0%B5%D0%BE%D1%8...
- но, если можно - в двух словах - не о том, КАК работают разные протоколы, а ЗАЧЕМ И КОГДА их применяют.
  • Вопрос задан
  • 527 просмотров
Решения вопроса 2
CityCat4
@CityCat4 Куратор тега Сетевое администрирование
//COPY01 EXEC PGM=IEBGENER
Интересно. Чел, который понимает, что делает что-то "околозаконное" приходит и просит "дяденьки, научите меня плохому" :)
Плохому, чувак, учатся сами :)
Можно ли, имея динамический ип от провайдера - на mikrotik настроить прокси сервер, что бы, через него шли запросы от парсера?

Можно, конечно. В том случае, если динамика - белая. Если она серая - не имеет смысла, потому что она "белеет" где-то там у провайдера.
Впрочем финал у этой истории будет примерно одинаков, только если динамика серая, он наступит гораздо быстрее, если магазин, который парсят - толстый.
В саппорт поступт заявка о непонятно откуда взявшейся капче на сайте магазина, куда "я сто лет хожу". Одна, вторая, сотая... Саппорт выяснит (либо у магазина, либо сам), откуда идет поток запросов и просто забанит Вас за нарушение договора. Если динамика белая и пул у прова большой, какое-то время так будет работать (в зависимости от скорости удаления банов на сайте магазина).
(я вроде где-то читал, что как раз OpenVPN - для этого подходит?

А я где-то читал, что в Австралии люди ходят на головах и зовутся "антиподы" :) VPN - это Virtual Private Network. Какое из этих слов можно применить к парсингу - я не знаю :) (в свете "а не арендовать на стороне", так-то конечно имеет отношение)
а ЗАЧЕМ И КОГДА их применяют.

Когда есть необходимость - тогда и применяют. Это тема на солидную книжку
Ответ написан
- но, если можно - в двух словах - не о том, КАК работают разные протоколы, а ЗАЧЕМ И КОГДА их применяют.


Вот очень хорошая статья которая частично может ответить на ваши вопросы и похожие вопросы других людей.
https://telegra.ph/Sravnenie-Proxy-SSH-i-VPN-09-06
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы