Алексей Сундуков

Одним XPath запросом ни как. Придется написать пару запросов: 1) получаем //div[contains(@class,"versions")] коллекцию узлов div которые делаем узлом контекста для 2) запроса //a[contains(@class,"versions-item")].

Код примерно такой будет:

$elements = $xpath->query('//div[contains(@class,"versions")]');
foreach ($elements as $contextNode) {
    $versionsItemNode = $xpath->query('//a[contains(@class,"versions-item")]', $contextNode);
}

Вариантов много. Из простого:

• по User-Agent
  
• по IP адресу через отслеживание количества запросов с одного адреса
  
• по используемым публичным прокси (многие такие сервисы явно сообщают, о себе кто они)
  
• и т.д.
  

Из сложного:

• отслеживают перемещение мыши
  
• ведут аналитику на о типичных поведениях пользователя и ищуют анамалии
  

Если начинают банить прямо с самого первого запроса, значит спались на чем то элементарном и примитивном. Потому что при сложных вариантах защиты для сбора аналитики боту дают по сайту походить.

На 100к ссылок, особенно если требуется их обходить достаточно часто (или на сервере ресурсов мало), есть уже смысл задумать о более кастомных (читай, напилить руками низкоуровневый механизм), но более быстрых механизмах. Как-то запросы на получение AJAX данных через curl. Или если данные получаться в рамтайме на клиенте через замудренный JS, то применить SpiderMonkey, V8 либо другие серверных движки.

В общем чтобы пропарсить наверное миллион таких строк у меня уйдет месяц непрерывной работы селениума

Делал на кластере из PhantomJS парсер который должен был за 15 минут обходит чуть больше 1к страниц и парсить из них разные хитрые таблички. Требовалось что-то около десяти инстансов PhantomJS, 20 Гб ОЗУ и 16 ядер ЦПУ. На таком кластере 100к за сутки переварит реально.
Когда требование по времени ужесточилось до 5 минут, напилил на SpiderMonkey.

element is not found

Нужно использовать wait(). Тогда дальше код будет выполняться когда на странице появиться нужный элемент.

где нет кучи попапов, которые все надо прокликать

Наличие/отсутствие попапов не играет роли. Все, что появляется в DOM, все можно отработать. Регулярно тягаю данные с яндекс ворстата. Много там разных хитрых обработчиков. Но все силами PhantomJS-а через webdriver решается рано или поздно.

Это действительно так?

Возможно. Но так ли это в вашем контексте ни кто кроме эксперимента не скажет. Т.е. берем данное утверждение и проверяем в своей задаче парсинга.

Использую PhantomJS как 1.8 версии так и 2 на машинах с debian7, ubuntu 12/14. Попадаются сайты как в utf-8 кодировке, так и в 1251. Ясное дело все текста - кириллица. Работаю через webdriver из php. Проблем нет.

Use XPath, Luke.

<?php

// [1- Скачиваем файл
// Создаем поток
$opts = array(
	'http' => array(
		'method'  => 'GET',
		'timeout' => 10,
	),
);

$context = stream_context_create($opts);

// Открываем файл с помощью установленных выше HTTP-заголовков
$page_content = file_get_contents('http://lubematch.shell.com/ru/ru/equipment/100_2_8i_avant_001755', false, $context);
// -1]

// [2- Парсим данные
// [3- Строим DOM
// по сути - отключаем вывод ошибок валидации
libxml_use_internal_errors(true);
$page_dom = new \DOMDocument();

$page_dom->strictErrorChecking = false;
$page_dom->preserveWhiteSpace  = false;
$page_dom->validateOnParse     = true;

$page_dom = new \DOMDocument();

// [4- loadHTML не дает использовать utf-8, делаем хаком http://php.net/manual/en/domdocument.loadhtml.php#95251
$page_dom->loadHTML('<?xml encoding="UTF-8">' . $page_content);

foreach ($page_dom->childNodes as $node) {
	if ($node->nodeType == XML_PI_NODE) {
		$page_dom->removeChild($node);
	}
}
$page_dom->encoding = 'UTF-8';
// -4]

$page_xpath = new \DOMXPath($page_dom);
// -3]

// Вытаскиваем Standard
$param_1 = $page_xpath->query('//table[@id="recommendation"]//tr[2]/th')->item(0)->nodeValue;
// Вытаскиваем Spirax S4 ATF HDX
$param_2 = $page_xpath->query('//table[@id="recommendation"]//tr[5]/td[1]')->item(0)->nodeValue;
// -2]

var_dump($param_1, $param_2);