• Парсинг сайта. Как бы вы сделали?

    kshnkvn
    @kshnkvn
    yay ✌️ t.me/kshnkvn
    1. Python
    2. Прокси. Если есть возможность немного потратиться - luminati (быстрые сервера, большое кол-во, сам выгребаю с их помощью инфу с 3х спорт-сайтов ежеминутно). Если нет денег - пишите парсер для прокси-сайтов, фильтруйте эти прокси под конкретный сайт и делайте прокси ротатор, что-бы каждый запрос отправлялся с разного IP.
    3. В идеале парсить не сайт, а запросы. Заходите на сайт, открываете dev tools - network и смотрите какие запросы отдаёт/принимает сайт. Очень часто на подобных сайтах используется что-то типа API и у вас будет возможность загрузить json/xml/etc по матчам, что очень сильно ускорит парсинг. Если же нет, то возвращаемся к пункту 1 и добавляем туда lxml что-бы парсить сайт.
    Ответ написан
    Комментировать