@wacom1

Как ускорить чекер ссылок?

Доброго времени суток. Имею скрипт, который берет из файла ссылку и проверяет её на определенное содержимое в html странице. Проблема в том, что скрипт работает довольно медленно и при больших базах(несколько миллионов ссылок) вообще не эффективно. Может кто усовершенствовать код или скинуть свой скрипт?

https://pastebin.com/sP97c4uL
  • Вопрос задан
  • 96 просмотров
Пригласить эксперта
Ответы на вопрос 2
@MagicMight
Как минимум, я советую распараллелить потоки, если позволяют ядра процессора и пропускная способность сети. Не уверен, что смогу найти код, но писал скрипт, позволяющий с одного портала скачивать картинки по определенному диапазону url-адресов. Распараллеливание действительно помогло.

UPD.
Нашел код, за его работоспособность относительно текущего сервиса не ручаюсь, но "честно, все работало".
https://pastebin.com/grFejrjR

Там много лишнего кода, не относящегося к задаче. Как минимум, там есть смена прокси и их чек, списки которых я выгружал с бесплатных сайтов и в онлайн режиме чекал. И лишняя "красота" в виде цветастого аутпута. Да, это те самые картинки, которые кто-то выгружает через прогу "Lightshot" :)
Ответ написан
dimonchik2013
@dimonchik2013
настоящие экстремалы предпочитают жен своих друзей
asyncio или golang
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы