Как прикрутить Redis к парсеру на Python?

Pavel Denisov: Спасибо!

Как прикрутить Redis к парсеру на Python?

Сейчас это выглядит вот так:

from multiprocessing import Pool

with Pool(150) as p:
        p.map(parse_all, url_list)

Как прикрутить Redis к парсеру на Python?

Сейчас у меня пул в 150 воркеров, тогда все-таки Redis или другая DB?

Как прикрутить Redis к парсеру на Python?

Где искать документацию я знаю, спасибо!)))

Как прикрутить Redis к парсеру на Python?

Pavel Denisov: А потом при новом запуске открываем файл и сравнивать со списком всех ссылок и удалять из списка те что в файле? Или может сразу записать все ссылки в файл и удалять из файла после того как спарсил?

Как запустить web driver chrome без открытия окна броузера(т.е. фоном)?

На винде не тестировал, а на Ubuntu все работет с этим кодом. То есть запускаете виртуальный дисплей :

from pyvirtualdisplay import Display
chromedriver = '/путь/к/драйверу/chromedriver'
os.environ["webdriver.chrome.driver"] = chromedriver
display = Display(visible=0, size=(800, 600))
display.start()
browser = webdriver.Chrome(chromedriver)

Вуаля!

Как запустить web driver chrome без открытия окна броузера(т.е. фоном)?

Scrapy не подходит потому что аутентификация на сайте проходит только с предустановленным плагином дополнительной защиты от сайта. И второй момент то что сайт на .net и адрес страницы после перехода на следующую страницу не всегда меняется.

Как запустить web driver chrome без открытия окна броузера(т.е. фоном)?

Firefox подходит, но он тоже вылезает. PhantomJS не подходит потому что аутентификация на сайте проходит только с предустановленным плагином дополнительной защиты от сайта.

Удаление с сервера не связанных с сайтом файлов?

Вот какой ответ я искал! Круто! Спасибо!

Удаление с сервера не связанных с сайтом файлов?

Спасибо! Попробую совместить оба способа.

Удаление с сервера не связанных с сайтом файлов?

А если речь идет о тысячах файлов? То есть только кропотливый труд?

Какие хорошие сервисы по веб-аналитике вы знаете, платные и бесплатные?

Гоша Манн: Если честно, то не изучал данную тему глубоко, но другого я не встречал. Может быть у Вас есть варианты?

Какие хорошие сервисы по веб-аналитике вы знаете, платные и бесплатные?

keltanas: На счет яндекса со стоимостью клика никаких ограничений нет. То что все в одном и просто и понятно - это круто конечно, только из-за этого зарегистрировался оплатил и продолжаю терпеть все их выходки)))
но есть просто банальные вещи, которые можно сделать в тот же день. Например, не очень правильно ограничивать таблицу с заявками определенной шириной, сделайте 100% и будет хорошо. Так как сейчас это работает достаточно не удобно. Да и сами разработчики предлагают работать с apple magic mouse чтобы было комфортно. Об этом я с ними говорил, и они с этим тоже согласны, но никаких действий так и не последовало.
По поводу elama, у них есть такая идея - запилить что то наподобие, сами об этом сказали. Но учитывая вышеизложенное, когда это еще будет)

Какие хорошие сервисы по веб-аналитике вы знаете, платные и бесплатные?

Про LPtracker! Первое впечатление действительное такое, что парни молодцы. НО! После подключения у меня не прошло и дня (и сейчас продолжаю) чтобы я не наткнулся на баг или сбои в работе сервиса. В первые дни нам выдали номера которые были прикреплены к другой компании, тем самым спустив средства контекстной рекламы другой компании на звонки в нашу.
Статистика считала неправильно, да и сейчас цифры некорректные, так как в одном отчете и оффлайн и онлайн номера вместе.
Стоимость клика не подтягивается в систему, приходится все делать своими руками. Обещали сделать за две недели...все жду)
Создается такое впечатление что я устроился к ним работать на тестирование сервиса и качества предоставляемых услуг. Правда платят не мне, а я!)
И это только малая доля того с чем я столкнулся на сегодняшний день! Чувствую впереди еще долгая дорога к полноценному СЕРВИСУ!
Я за ребят, но делать они ничего не хотят.