Ответы пользователя по тегу Парсинг
  • Как подобрать подходящий хостинг для парсера объявлений?

    weranda
    @weranda
    С этой задачей почти любой хостинг справится. Задачу можно запускать по cron. Ограничения на использование ресурсов у хостера — это у него и надо уточнять. Много зависит от используемых ресурсов. Только так. Можете еще в ветке searchengines задать этот вопрос. Там много представителей хостеров тусуется. Может быть, что-то посоветуют и даже предложат. В идеале надо все уточнять у хостера (у одного может быть выставлено max_execution_time в 30 секунд, у другого — 600 и т. д.)
    А еще можно настроить окружение прямо на компьютере заказчика.
    А еще можно взять VPS.

    Алгоритм выбора прост: запрашиваете информацию у хостеров.
    Ответ написан
    8 комментариев
  • Парсинг сайта (его содержимого) из веб-архива. Как?

    weranda
    @weranda
    Wayback Machine Downloader называется штуковина — это если все скопировать, а если парсить, т. е. разбирать на части, то тут масса вариантов, к примеру lxml (вроде его используют внутри BeautifulSoup и Scrapy).
    Ответ написан
    Комментировать