Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
sim3x
3931
вклад
9
вопросов
5172
ответа
29%
решений
Ответы пользователя по тегу
Crawling
Как получить офлайн-копию современного сайта?
sim3x
@sim3x
Можно попробовать
https://github.com/gildas-lormeau/SingleFile
Если требуется сохранить динамичность SPA, то скорее никак не сделать
Ответ написан
более трёх лет назад
Комментировать
Нравится
3
Комментировать
Как ускорить большое количество get запросов?
sim3x
@sim3x
Быстрее чем может отдать сервер - никак
Используйте scrapy - там есть весь требуемый функционал
Если сайт донор на шареде, то его еще может прибанить хостер
Потому не делайте на него 100RPS
Ответ написан
более трёх лет назад
6
комментариев
Нравится
1
6
комментариев
Архитектура поискового веб приложения?
sim3x
@sim3x
Django + postgresql + shinxsearch
Нет никакого смысла "економить" и думать, что у вас "простое" приложение - используйте фреймворк
Но судя по тексту вопроса, вам стоит начать с задач попроще и там где есть полноценные пошаговые гайды
Ответ написан
более трёх лет назад
Комментировать
Нравится
1
Комментировать
Как скачать десятки тысяч страниц из списка?
sim3x
@sim3x
bash/sh
wget
curl
Ответ написан
более трёх лет назад
7
комментариев
Нравится
2
7
комментариев
Какую программу использовать как аналог Scrapyd для пауков Scrapy, написанных на python3?
sim3x
@sim3x
stackoverflow.com/questions/37283531/scrapyrt-vs-s...
cron
systemd
Ответ написан
более трёх лет назад
4
комментария
Нравится
1
4
комментария
Python scrapy подойдет ли?
sim3x
@sim3x
1 Полностью сьемитировать не получится
2 Да
Ответ написан
более трёх лет назад
2
комментария
Нравится
1
2
комментария
Оценили как «Нравится»
Закрыть
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама