DataNotFound. Python + Xpath. В чем проблема?

Question

[FTM]

Добрый день. Парсю один известный торрент-трекер, чтобы сделать более удобный каталог музыки по жанрам. И вот незадача. Под отладчиком все хорошо. Данные находятся. А вот вне отладчика при первой же попытке спарсить текст - ошибка Xpath not found. Изначально пользовался xpath_list, потом пришлось сузить критерии выборки и перейти на xpath_text.

Вот кусок кода:

for q, i in enumerate(g.xpath_list('//tr[@class="hl-tr"]//a[@class="torTopic bold tt-text"]')):
            # получаем ссылки на активные ветки
            hrefs.append(i.get('href'))
            # достаем из ссылки id топика
            id = re.search(r'\d+', hrefs[q]).group()
            # получаем количество закачек торрента по его id
            down_count_temp = g.xpath_text('//tr[@id="tr-' + id + '"]//p[@class="med"]/b')

Answer 1

[FTM]

Переписал код на селекторах без xpath. Все работает.

Answer 2

[SilentSokolov]

Могу предположить, что используете grablib. Сайты изменчивы, то есть редко на 100% можно быть уверенным что определенный момент что тот или иной элемент будет на странице.

В отладчике вы проверяете на "известной" странице, а как только парсер доходит до "живой" страницы, где элемент отсутствует - выдает исключение.

Comments

[FTM]

На сколько я понимаю работу grab, после go в grab-объекте сохраняются данные страницы. Поэтому работа идет с локальными данными что в отладчике, что в работе. Сейчас переписываю код на селекторы. Может, поможет.