попробовал вместо ProcessPoolExecutor - ThreadPoolExecutor, ссылки терять перестал. И в данном случае, работает примерно на той же скорости что и Process.
Впорос еще актуален, если есть мысли по поводу, буду благодарен.
FireGM: нет) банальный парсинг. Я не понял с вашего коментария - это много или мало?
у меня просто парсер страниц - где очень мало ajax"ов - 1000 траниц отрабатывает +\- 12 минут.
А вот на сайте который изобилует ими ~ 17 - 20 секунд страница, это 36 страниц за те же 12 минут...
Я, по правде говоря, гуглением не находил каких то цифр по поводу парсинга через селениум+фантом.
а 1000 страниц за час - это мне сказал сотрудник на работе, что у вроде бы есть проттип парсера этого же сайта, но на NodeJS.. Вот от этой цифры я и отталкиваюсь.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Впорос еще актуален, если есть мысли по поводу, буду благодарен.