• Как убрать смену ноды для tor?

    ky0
    @ky0
    Миллиардер, филантроп, патологический лгун
    Никак, без переписывания кода клиента. Это концептуальная часть Тора - периодическая смена узлов для уменьшения шанса детектирования по паттернам трафика в случае прослушки или ненадёжной выходной ноды.
    Ответ написан
    2 комментария
  • Защита социальных сетей или как обходить блокировку парсинга?

    xmoonlight
    @xmoonlight
    https://sitecoder.blogspot.com
    Помимо того, что уже сказано:
    1. Парсить нужно не перебором линков в списке, а "вглубину" связанных линков.
    После, сортировать их и замерять прогресс спарсенных данных в нужном списке - уже у себя.
    2. Парсинг-профиль: на каждый акк соц.сети свой User-Agent (мобильный!), который должен быть постоянен и не более 5-ти разных ip одного города в час, не более 20-30ти разных ip одного города (или региона/страны, что хуже) в сутки: т.е. они должны повторяться как при перемещении по одному городу с мобилой в строгом порядке по "цепочке" и продолжительности (интервала времени) их использования.
    3. Парсить только отображённые линки, а не то, что в коде страницы.
    4. Соблюдать те же тайминги, что и при ручной навигации.
    5. Полностью и корректно! имитировать весь пользовательский ввод текста в поля и навигацию по линкам с помощью тача: соблюдать процент ошибочного тача как при обычном использовании.
    Ответ написан
    Комментировать
  • Защита социальных сетей или как обходить блокировку парсинга?

    kocherman
    @kocherman
    Парсить FB надо на мощных виртуалках, на каждой виртуалке по 5-10 запущенных Chrome, никаких selenium. Переписываешь скрипты на Userscript. Много IP достигается покупкой premium-proxy-list. Однотипный поиск делать бесполезно. Надо смотреть фото, читать комменты, соблюдать рандомные задержки. Изредка ставить лайки. Не забывай эмулировать разные разрешения экрана и разные размеры окон.
    Ответ написан
    8 комментариев