Как научить общаться phantomjs и python?

Question

[shamcode]

Есть десяток парсеров на python (с использованием grab), которые парсят несколько сайтов и сохраняют это все в БД, и отображение распарсенного вконтента на Django. Хотел часть парсеров переписать на phantomjs, но уперся в сохранение результатов в БД.
Крайне не хотелось бы писать в базу напрямую из phantomjs.
Как можно научить общаться между собой python и phantomjs? Например есть скрипт на питоне который запускает несколько парсеров на phantomjs, а они отдают ему распарсенный контент, который скрипт обрабатывает и кладет в БД.

Answer 1

[mefisto]

Как вариант сделать очередь на базе redis/rabbit.
А с какой целью вы хотите перевести часть парсеров на фантом?

Comments

[shamcode]

Для RIA и просто завязанных на AJAX и клиенткий Js сайтах гораздо проще через заинжектенный jquery нажать кнопку и получить содержимое блока, чем транслировать код на python и реверсить формат общения frontend'а и backend'а
Например вот на этом сайте spys.ru/, часть данных обсфурциваны и конечный вид таблица получает уже после обработки клиенским javascript. Даже не буду говорить, как надоело обрабатывать сложные ajax формы с десятками связанных полей.

Answer 2

[Yuri Shikanov]

phantompy

Answer 3

[Евгений]

Можно на фантоме сделать "прокси" и к нему обращаться по http из питона - чтобы получать уже собранные страницы

Answer 4

[Сергей]

Selenium webdriver для PhantomJS не вариант?