Ответы пользователя по тегу Proxy
  • Закроют ли возможность покупки прокси?

    JabbaHotep
    @JabbaHotep
    Пытаюсь минимизировать ручную работу
    С нашим роскомнадзором возможно все, хотя и маловероятно. То что происходит сейчас, очень тревожный звонок. Фактически идет защита прав одних за счет нарушения прав других и если это сойдет им с рук, то дальше будет только хуже.
    Ответ написан
    Комментировать
  • Какие взять прокси для парсинга Amazon?

    JabbaHotep
    @JabbaHotep
    Пытаюсь минимизировать ручную работу
    С Амазоном работает Digitalocean, но все равно придется решать капчу
    Ответ написан
    Комментировать
  • Как парсить без бана?

    JabbaHotep
    @JabbaHotep
    Пытаюсь минимизировать ручную работу
    Для большинства сайтов подойдет закупка прокси, но есть и такие сайты которые уже забанили пулы известных облачных сервисов (линода там и прочие digitalocean), поэтому гарантированно рабочего решения для всех сайтов с помощью прокси нет.
    Также на проблемных сайтах помогает максимально копировать запросы из реального браузера, все хедеры, рефереры и тому подобное. Также в практике были случаи когда парсинг прерывался из-за кук, в этом случае можно чистить куки. Паузы подбирать, например, nike нещадно банит, но если сделать паузы 40-80 секунд, то можно отпарсить с одним прокси без проблем.
    В общем, каждый кейс надо разбирать отдельно и принимать решение наиболее подходящее.
    Ответ написан
    Комментировать