Алексей Сундуков

Поддержу Максим Федоров насчет записи видео.
Я для таких сложных случае делал так. На сервере кроме headless браузера был поднять Xvfb. Тогда через x11vnc можно прямо в реалтайме смотреть что происходит. Обычно бывает, что просто недогрузился какой либо элемент (и помогает implicitlyWait).

Как в PhantomJS выполнять сценарий во всех iframe?

А где пример когда который это делает? PhantomJS можно запусить в дебаг режиме, тогда в консоле будут видны все проблемы которые у него возникли при работе.

Оберните XPath в wait().

На сколько я помню ни как. Переключаться не трубуется, нужно просто помнить ID нужной сессии и не закрывать её. По webdriver можно получить список имеющихся сессий.

Неправильно готовите. Кластер на базе PhantomJS может переживать 100к и за сутки.

Из консоли запускайте несколько PhantomJS с разными настройками прокси и вебдрайвера.
Безголовый браузер работающий быстро и стабильно. Возможно?

Наверное уже не очень актуально, но оставлю ремарку для истории. Потеря страниц на парсенге - ситуация штатная. Обилие JS, падения кода при работе с DOM, сетевые проблемы, все может привести к генерации исключения и фейлу получения данных. Так что при разработке стоит сразу заклываться на штатность такой ситуации и просто отлавливать неразобранные страницы и отправлять на повторный парсинг.

1000 страниц за 1 час более чем реальная задача. Сам получал скорость в 1000 за 15 минут. Достигается просто поднятием кластера. Требует много ресурсов (у меня выходило что-то около 10 узлов на каждый до 5Гб ОЗУ).

Внесу небольшую ремарку все же. Нужно различать 1) скорость отработки одной страницы 2) скорость отработки Х страниц в секунду. Обычно под "более быстрый" понимают второе, т.к. на практике у нас много страниц и мы хотим от как можно быстрее пропарсить. Так, вот, если задача поднять именно п. 2, то делать это можно и на selenium, просто придется запустить целый кластер из нод. Что обычно выливается в большие требования по ресурсам. И если selenium все устраивает и есть такие ресурсы, то есть смысл оставаться в его рамках.

Отключить на странице JavaScript и при этом нормально работать со страницей из JS не получится. Но если так хочется отключить JS (а можно и картинки), то задается настройками модуля WebPage: phantomjs.org/api/webpage/property/settings.html

Если работа идет через WebDriver, то отключается через javascript.enabled=false. Реализация зависит от выбранного языка.

Нужно запускать PhantonJS с опцией --ignore-ssl-errors=true Command Line Interface и это работает и решит проблему (если проблема конечно именно с сертификатом). То, что это делается через опции самого драйвера python совершенно не значит, что он запускает PhantonJS именно с этой опцией (обычно можно проверить через strace). Я бы рекомендовал запустить PhantomJS из командной строки руками и коннектиться из питона уже к нему.

За Firefox с ходу не скажу, но подозреваю, что там это будет сделать сложнее.

1) А зачем для такого выкосоуровнего инструмента отслеживать такую низкоуровневость как изменение DOM? Максимум что нужно это XPath для вытаскивания данных и wait() для ожидания появления данных вычисляемых через JS или подтягиваемых через AJAX.
2) На сколько я помню ни каких. Банально даже статуст HTTP ответа получить нельзя.

Нужно просто понимать, что Selenium и webdriver в частности писались для тестирования, а не написания ботов. То, что он используется и для ботов, просто побочный эффект. Поэтому что-то как ни крути придется допиливать руками. В контексте PhantomJS к примеру дописать для него JS скрипты (как вариант, стоит ознакомиться к CasperJS в котором какой-то набор JS уже написан) которые дополнят недостающий функционал.

Вот как раз ботов на базе phantomJS отсеять получиться с трудом. В лучшем случае можно отслеживать частоту запросов с одного IP, но гарантии ни какой, что там нет легитимного пользователя. Ну такую проверку бот быстро может обойти просто засылая запросы через пачку прокси, а сам список прокси постоянно ротировать.