Ilya

Я со Scrapy ни разу не работал, но думается мне вам надо смотреть в сторону относительных xpath-запросов в стиле:

titles = hxs.xpath("//table[@class='orders overhaul-services-table']//tr")
        for title in titles:
                item['year'] = title.xpath('./td[2]/span/text()').extract()
                item['organization'] = title.xpath('./td[2]/a/text()').extract()

где item - массив с вашими данными.
Относительные пути должны начинаться с точки.

День добрый.

1. Прокси прокси рознь. Одни шустры и беспроблемны, другие утром работают, вечером нет. Конечно же, время ответа у каждого свое. Можно просто при таймауте выше 5-7 сек переключаться на другой прокси.
2. Имхо, только эмпирическим путем это надо определять.
3. Скажу по своему только опыту - с общедоступными мороки больше. Я покупал списки прокси. Но и их покупка не избавляет от проблем - те же задержки, какие-то могут не работать вообще. В общем прокси - не всегда панацея.

Самая дешевая из тех, что я нашел jeto.ru/products/hosting/ispmanager (3000 р за вечную 5 lite)

Вот пример работающего кода, но советую сделать его отдельным методом или функцией хотя бы, чтобы передавать в нее DOMNode:

$results = $xpath->query('//div[@class="example"]'); // тут путь до элемента, внутренности которого нужны
$innerHTML = ''; 
$children = $results->item(0)->childNodes;
foreach ($children as $child) 
	$innerHTML .= $results->item(0)->ownerDocument->saveHTML($child);

echo $innerHTML; // тут все внутренности

Предлагаю $data_file забирать через curl() или хотя бы file_get_contents(), кешировать на какое-то время, а его разбор делать уже из локальной копии.

Если я правильно понял вопрос, то чтобы делать xpath-запрос внутри ноды, ноду надо передать вторым параметром в метод query().

Именно про PHP Simple HTML DOM Parser говорить не берусь, потому как не использую его, но про чистый xpath сказать могу вот что:

//*[text()[contains(normalize-space(.),"Employment type")]]

normalize-space() нужен для того, чтобы избежать проблем с пробелами. Именно это выражение у меня на чистом xpath сработало как надо.

Чтобы не зависеть от наличия или отсутствия пробелов, можно использовать такой код:

//div[@class='lialia' and contains(translate(normalize-space(@style), ' ', ''), 'display:none')]

На вашем же примере это выражение у меня отработало отлично.

Мне следующее выражение видится довольно таки рабочим:

//p[preceding-sibling::h4 and following-sibling::h4]

К слову, соберутся все теги p между всеми h4. Потом итерируете результаты и работаете с каждым item() индивидуально.

Указанный вами пример рабочий, правда я использовал simple_load_string, но сути это особо не меняет. На выходе будет массив из трех элементов, потому как с атрибутом FirstCode="USD" в вашей xml 3 элемента. Я бы предложил использовать более классический способ работы с xpath:

$xml = '<CurrencyRateListAnswer>
<Result>
<Content>
<Item FirstCode="USD" SecondCode="RUB">69.966015</Item>
<Item FirstCode="CNY" SecondCode="KZT">50.799100</Item>
<Item FirstCode="RUB" SecondCode="KZT">4.859019</Item>
<Item FirstCode="USD" SecondCode="KZT">323.777331</Item>
<Item FirstCode="RUB" SecondCode="CNY">0.091096</Item>
<Item FirstCode="USD" SecondCode="CNY">6.070173</Item>
</Content>
</Result>
</CurrencyRateListAnswer>';

$dom = new DOMDocument('UTF-8');
$dom->preserveWhiteSpace = false;
$dom->loadXML($xml);

$xpath = new DOMXPath($dom);
$query = $xpath->query('//Item[@FirstCode="USD" and @SecondCode="KZT"]');
echo $query->item(0)->nodeValue; // 323.777331

Если и этот заведомо рабочий код не работает, то надо проверять подключен ли модуль xpath.

Если говорить о конкретно этом куске html кода, то текст после strong можно получить так:
//div/strong/following-sibling::text()
В итоге надо будет пройти по получившемуся DOMNodeList тем же foreach, потому как текст3 находится в item(1) в конкретно этом случае.

С помошью xpath получать дату смысла нет, нужно взять nodeValue в нужном теге p и старой доброй регуляркой получить дату.
Если говорить про конкретно ваш случай, то вот такой вариант (php):

$q = $xpath->query('//div/p');
$r =  $q->item(0)->nodeValue; // самый первый параграф
preg_match('/\*(.*)/i', $r, $match);
echo trim($match[1]); // результат

А разве не сработает по аналогии с php?

$query = $xpath->query('//span[@class="less-review"]');
$query->item(0)->nodeValue; // тут уже чистый текст без лишних тегов.