Алексей Сундуков

На 100к ссылок, особенно если требуется их обходить достаточно часто (или на сервере ресурсов мало), есть уже смысл задумать о более кастомных (читай, напилить руками низкоуровневый механизм), но более быстрых механизмах. Как-то запросы на получение AJAX данных через curl. Или если данные получаться в рамтайме на клиенте через замудренный JS, то применить SpiderMonkey, V8 либо другие серверных движки.

В общем чтобы пропарсить наверное миллион таких строк у меня уйдет месяц непрерывной работы селениума

Делал на кластере из PhantomJS парсер который должен был за 15 минут обходит чуть больше 1к страниц и парсить из них разные хитрые таблички. Требовалось что-то около десяти инстансов PhantomJS, 20 Гб ОЗУ и 16 ядер ЦПУ. На таком кластере 100к за сутки переварит реально.
Когда требование по времени ужесточилось до 5 минут, напилил на SpiderMonkey.

element is not found

Нужно использовать wait(). Тогда дальше код будет выполняться когда на странице появиться нужный элемент.

где нет кучи попапов, которые все надо прокликать

Наличие/отсутствие попапов не играет роли. Все, что появляется в DOM, все можно отработать. Регулярно тягаю данные с яндекс ворстата. Много там разных хитрых обработчиков. Но все силами PhantomJS-а через webdriver решается рано или поздно.

Это действительно так?

Возможно. Но так ли это в вашем контексте ни кто кроме эксперимента не скажет. Т.е. берем данное утверждение и проверяем в своей задаче парсинга.

Многопоточность PhantomJS это вопрос к исходникам. Одна нода PhantomJS-а способна принимать по Webdriver запросы по загрузке разных страниц. Т.е. работать с несколькими сайтами одновременно в рамках одного запущенного PhantomJS возможно. С одним сайтом под одним аккаунтом проблематично. Поэтому если нужно работать с одним сайтом под одним аккаутом параллельно, то проще всего запускать несколько экземпляров PhantomJS, а потом из приложения разруливать запросы на разные ноды.

Лично сам делаю так из PHP. В приложении пишется запускалка нод, а так же роутер запросов. В принципе что-то готовое на Java есть, нужно смотреть в сторону Selenium Grid (вариант от Яндекса). Но сам не использовал, у меня нет смысла размывать стек явой.

делать поиск только по дочерним элементам, а не по всей странице

Дописать ось работы с потомками.
Хотя из описание не очень понятно, какие элементы родительские а какие дочерние. Какая структура поддерева "родитель-ребенок"?

Если и есть, то наверное что-то специфичное только. Т.е. в целом по больничке можно считать, что вот прямо так готового коробочного аналога webdriver нет. Наверное допишу по недостаткам:
- невозможно сохранить файл через диалоговое окно браузера.

Пожалуй дополню/уточню имеющиеся:
- поведение отличается да, но в принципе все варианты описаны в документации, где-что будет работать, а где не будет, к сожалению ситуация неизбежна;
- возможно неточный XPath (как вариант, поиск в DOM данных которые должны подгружаться в момент Х, но на момент запроса их еще нет)? Активно работаю с XPath и проблем не замечал;
- нестабильный это да, может просто большая нагрузка на одну ноду? Есть смысл посмотреть в сторону прокси от Яндекса, они там в опенсорц запили свой вариант.

В целом если нужно "как человек", то как ни крути, нужно использовать PhantomJS, дописать нужное поведение к нему на JavaScript и запускать его в режиме webdriver. Это не очень подходит для тестов (т.к. по сути работа сайта не проверяется в ХХ браузерах), но может неплохо отработать для бота.