Ilya

Использовать CasperJS, например.

Проблема в том, что в контенте встречаются символы, которые состоят не из 3 байтов как в UTF-8, а из 4-х (всякие смайлы, эмоджи и пр.), и для их хранения вам надо для поля content использовать SET utf8mb4, а COLLATION utf8mb4_unicode_ci.
Вот тут очень много по этому поводу написано.

UPD: и вторая опция - принудительно очищайте данные до подходящего UTF-8 текста.

CasperJS в помощь.

Из быстрых вариантов могу предложить работу с функциями IMAP: imap_open(), imap_fetchstructure(), imap_fetchbody() и т.д. Тут есть пример выгрузки файлов из почты. Соответственно по cron каждую минуту дергать письма с ящика.

Вариант посложнее - разобраться с email пайпингом (email piping), то есть фактически все письма будут уходить на php-скрипт, а там вы уже вольны делать с данными что хотите. Знаю, что в cPanel email piping работал из коробки.

Можете попробовать использовать опцию:
curl_setopt($curl, CURLOPT_FRESH_CONNECT, TRUE);
что позволит всегда использовать новое соединение.
Если дело в кэше, то должно решить задачу.

Есть хорошая новость и плохая.

Хорошая:
Перед обращением по URL вы можете вручную выставить cookie isBestLocationDetected = true и у вас не будет экрана запроса производителя.

Плохая:
Если будете активно обращаться к серверу, то получаете капчу.

Если же финт с cookie не устраивает, то при парсинге просто определяете что именно сейчас получил парсер - страницу с данными о товаре или выбор производителя. Если производителя, то phantomJS умеет в click(), так что проблем быть не должно. Но, я думаю, cookie должно хватить.

За годы парсинга данных я пришел к простому набору:

Curl + tidy + DOMXpath

Я со Scrapy ни разу не работал, но думается мне вам надо смотреть в сторону относительных xpath-запросов в стиле:

titles = hxs.xpath("//table[@class='orders overhaul-services-table']//tr")
        for title in titles:
                item['year'] = title.xpath('./td[2]/span/text()').extract()
                item['organization'] = title.xpath('./td[2]/a/text()').extract()

где item - массив с вашими данными.
Относительные пути должны начинаться с точки.

День добрый.

1. Прокси прокси рознь. Одни шустры и беспроблемны, другие утром работают, вечером нет. Конечно же, время ответа у каждого свое. Можно просто при таймауте выше 5-7 сек переключаться на другой прокси.
2. Имхо, только эмпирическим путем это надо определять.
3. Скажу по своему только опыту - с общедоступными мороки больше. Я покупал списки прокси. Но и их покупка не избавляет от проблем - те же задержки, какие-то могут не работать вообще. В общем прокси - не всегда панацея.

Предлагаю $data_file забирать через curl() или хотя бы file_get_contents(), кешировать на какое-то время, а его разбор делать уже из локальной копии.

Именно про PHP Simple HTML DOM Parser говорить не берусь, потому как не использую его, но про чистый xpath сказать могу вот что:

//*[text()[contains(normalize-space(.),"Employment type")]]

normalize-space() нужен для того, чтобы избежать проблем с пробелами. Именно это выражение у меня на чистом xpath сработало как надо.

А разве не сработает по аналогии с php?

$query = $xpath->query('//span[@class="less-review"]');
$query->item(0)->nodeValue; // тут уже чистый текст без лишних тегов.