Работа с Element table в lxml

Question

[Phillip Gruy]

Для личных нужд понадобился небольшой парсер отчетов.
На хабре как раз в этот момент писали про LXML и как он быстро работает. Решил попробовать сделать красиво.
В результате застрял с Element table.

PR = xml = lxml.html.document_fromstring(open('test.html').read().decode('utf-8'))
i = 1
while True:
    table = PR.xpath('/html/body/table['+str(i)+']')
    if not table:
        break
    i += 1
    print table

Результатом является набор [<Element table at 0x********>]
Единственное что нашел это дальше сделать table[0].text_content() и получить множество строк из таблици.
Мне же хотелось бы красиво получить заголовки с каждой таблицы + массив(массивы) только тех колонок из таблице которые мне нужны что бы потом отфильтровать нужные значения и вывести в читаемом виде.

Заранее спасибо.

Answer 1

[Алексей Акулович]

А можно взять pyquery, который суть небольшая обертка поверх lxml, но писать в более, имхо, удобном стиле css селекторов.

Comments

[Алексей Акулович]

Просто в качестве примера по вашему коду:

from lxml import etree
from pyquery import PyQuery

tree = etree.HTML(file('test.html', 'rb').read(), parser=etree.HTMLParser(encoding='utf-8'))
dom = PyQuery(tree, parser='html')
for tbl in dom('html body table'): # или просто dom('table')
    tbl = PyQuery(tbl) # tbl выдается как нативный элемент lxml, тут мы его заворачиваем для дальнейшей удобной работы
    print tbl.attr.class_ # к примеру

Answer 2

[simbajoe]

У table вроде должен быть метод xpath. Посмотрите как тут делают: stackoverflow.com/questions/1577487/python-lxml-and-xpath-html-table-parsing

Comments

[Phillip Gruy]

Посмотрел. Но одно из двух.
Либо это немного не то, либо я не понимаю как это.

Изначально я делал так.

# -*- coding: utf-8 -*-
__author__ = 'DarkTwin'
import lxml.html
import time
#отмечаем время начала работы скрипта
start = time.time()
 
#передаем в lxml отчет
PR = xml = lxml.html.document_fromstring(open('test.html').read().decode('utf-8'))
 
ab_namber = PR.xpath('//td[class="s3"]/text()')  # номер обанента
data = PR.xpath('//td[class="s13"]/text()')    # дата записи
dop = PR.xpath('//td[class="s14"]/text()')    # центральная часть таблицы
cost = PR.xpath('//td[class="s15"]/text()')    # стоимость услуги
 
#удаляем повторения в номерах обонентов с сохранением последовательности и выводим данные
ab_namber = [v for i,v in enumerate(ab_namber) if v not in ab_namber[:i]]
for i in (i for i,x in enumerate(ab_namber)):
        print ab_namber[i]
 
#делаем срезы с интересующими нас данными
time_val = dop[0:len(dop):6]    # срез по колонке время
ab_namber = dop[1:len(dop):6]   # срез по колонке абонентский номер
time_cost = dop[2:len(dop):6]   # срез по колонке количество единиц услуги
type_of_service = dop[4:len(dop):6] # срез по колонке вид услуги
 
 
#если все хорошо то количество записей в колонке даты будет ровно количеству записей в стоимости
if len(data) == len(cost):
    for i in (i for i,x in enumerate(cost) if x != '0.00'): # нас интересуют строки с не нулевой стоимостью
        print data[i], time_val[i], ab_namber[i],  time_cost[i], type_of_service[i],  cost[i]
#как итог
    print u'Всего значений-', len(cost), u'из них без стоимости-', 
        cost.count('0.00'), u'интересующух строк-', len(cost)-cost.count('0.00')
else:
    print 'error'
 
print
 
#отмечаем время окончания работы скрипта и выводим значение
finish = time.time()
print (finish - start)
 
 
 

Но одна из главных задач не решилась, а именно с тем что мне нужно знать номер абонента которому принадлежит запись.
И простите маня за пой python, я недавно начал изучать только.

[simbajoe]

Да, с пайтоном тут есть проблемы. Почитайте про структуры данных. Начать можно тут: docs.python.org/2.7/tutorial/index.html

[Phillip Gruy]

Я почитаю, но хотелось бы и задачу решить.
Навести марафет я успею.

[simbajoe]

Попробуйте запустить код по ссылке для вашего документа. Там все достаточно прозрачно, будет понятнее как оно работает.
Еще неплохо может помочь установка ipython, в котором можно поиграться с lxml, посмотреть какие методы есть у каких классов «вживую».