Есть вариант, что первый просто загружает данные через JS или что там нынче модно, и вы просто не можете в таких парсерах получать данные. Или он вам присылает страницу для robot, хоть и есть Юзер-агент.
Поставьте точку остановки на строке "tree = lxml.html.document_fromstring(html_text)" и запустите через дебаг.
Посмотрите, как выглядит страница html_text, всё ли с ней нормально?
Потом посмотрите в браузере "исходный код страницы", есть ли там то, что вы ищите.
Если всё это есть, то ошибка у вас в коде или в xPath запросе. А если этого нет в html_text, то и получить это нельзя таким способом :) Придётся менять подход или инструменты для парсинга.
