Реально ли в js phantom сделать многопоточность через прокси?

Question

[dmitred]

Добрый день, подскажите по поводу много поточности в js phantom.

Задача такая:

1. Авторизация на сайте по логину паролю
   
2. Переход на страницу, скролинг и передача этой страницы в php скрипт.
   

Для одного процесса все ясно, вроде разобрался.
Это занимает 4,5-5 секунд.

Но стоит задача получать информацию от 70-80 запросов за эти 5 секунд.

Авторизация примерно от 50-150 аккаунтов (рандомно) и возможно бы решение с участием прокси чтобы было.

Это хотя бы в теории реально?))) И куда копать, что почитать? не нашел ничего. Гуглю уже неделю((

Буду благодарен за любую помощь!

Comments

[DevMan]

при чем тут пхп в тегах вопроса?

[dmitred]

из PHP это все запускается у меня и может быть эта задача может быть решена именно со стороны php скажем многопоточным обращением в фантому

Answer 1

[Антон Л]

Это возможно и нет в этом никакой магии. Не обязательно привязываться к фантому в вашем случае(некоторые проблемы у него, с закрытием алертов например), используйте любой другой веб драйвер для селениума. Работа через прокси и замена заголовков, а так же фильтрация трафика проходящего через веб драйвер возможна через https://github.com/antonecma/browsermob-proxy-clie..., который я для этих целей и написал. Тоесть вам нужно копать в сторону гугла со следующими запросами :Selenium, chromewebdrive, browsermob proxy, ну и можете webdriverio глянуть.

Comments

[dmitred]

Спасибо, буду искать, я и фантом то нашел под задачу эту, он медленный очень по 5 секунд на один запрос, жаль что первые 50 записей только отдает vk по curl, вот мне и порекомендовали фантом потому, что там можно проскролить страницу ниже, меня изначально это не устраивало, но на данный момент единственное решение.

[Антон Л]

На самом деле в запуске в течении 5 секунд нет ничего страшного, возможно запустить 100 экземпляров вебдрайвера изначально, а потом не закрывать их, а просто делать attach к текущей сессии селениума.

Answer 2

[Александр Аксентьев]

В теории да.
На практике чтобы запустить 70-80 фантомов нужно на каждый иметь по виртуальной машине.
Фантом не работает в несколько "окон"

Comments

[dmitred]

ну виртуальные машины это не вариант столько)
т.е. если я запущу из php

$command = '/usr/bin/phantomjs script.js' . " $als";
$message = shell_exec($command);

с разными параметрами в цикле, фантом не будет делать запрос следующий пока не отработает предыдущий?

[Антон Л]

Да не надо на каждый экземпляр виртуальную машину, это не правда.

[dmitred]

Антон Л: а можно например установить его 70 раз в разные директории и вызывать из разных параллельно?

[Антон Л]

Не надо таких извращение. Я ниже предложил вам вариант. У фантома есть свой вебдрайвер(это понятие в рамках селениума) так и используйте его. Но если вы хотите обойтись генерацией поток именно фантома тогда вызывайте параллельно или мой вам совет посмотрите сюда https://www.npmjs.com/package/phantomjs-pool

[dmitred]

Антон Л: спасибо

[Алексей Сундуков]

Александр Аксентьев про виртуальные машины не правда. PhantomJS прекрасно стартуется в несолько инстансов. Главное задать разные порты для webdriver.

[Александр Аксентьев]

Алексей Сундуков: буду знать. Когда мне это нужно было, я не смог нагуглить решение,но не очень пытался.

Answer 3

[Алексей Сундуков]

Из консоли запускайте несколько PhantomJS с разными настройками прокси и вебдрайвера.
Безголовый браузер работающий быстро и стабильно. Возможно?