Как запарсить элементы таблицы?

Question

[Arti-Jack]

Имею сайт: https://www.weblancer.net/jobs/?type=project

Нужно запарсить элементы из этой таблицы (получить сведения о работе - заявки, цена и прочее). Но я не могу никак достать элементы из таблицы.

Вот мой код:

# Web-page (https://www.weblancer.net/) parser

import urllib.request
from bs4 import BeautifulSoup

def get_html(url):
response = urllib.request.urlopen(url)
return response.read()

def parse(html):
soup = BeautifulSoup(html)
table = soup.find("table", clazz="items_list")
print(table)

def main():
parse(get_html("https://www.weblancer.net/projects/"))

if __name__ == "__main__":
main()

Вообще, я правильно понял, что это нужный тэг? Просто я не нашёл таблицу.

Comments

[javedimka]

clazz="items_list"

[Arti-Jack]

javedimka, прошу прощения, не понял?

[javedimka]

Arti-Jack,
table = soup.find("table", clazz="items_list")
Думаешь clazz это правильный keyword для этой функции?
Вот если открыть доку для бс4, то можно увидеть, что для поиска по класску следует использовать class_, а не clazz

[Arti-Jack]

javedimka, ааа, понял. А вот сам тэг верно найден?

[javedimka]

Arti-Jack, Нет, там нет таблицы, там верстка дивами сделана.

[Arti-Jack]

javedimka, т.е нужен

find("div", class_="container-fluid cols_table show_visited")

?

[javedimka]

Arti-Jack, Пока не попробуешь - не узнаешь.

[Arti-Jack]

javedimka, Не рискуешь - не пьёшь вина? :)

[Arti-Jack]

javedimka, вроде вышло, но в консоль ещё вывелась эксепшн строка:

To get rid of this warning, change this:

 BeautifulSoup([your markup])

to this:

 BeautifulSoup([your markup], "lxml")

  markup_type=markup_type))

[javedimka]

Arti-Jack, да тут рисковать не надо, просто пару статеек прочитать, тем более такое можно выполнить на чистом lxml строк в 10, без взяких прибамбасов в виде bs.

[javedimka]

Arti-Jack, ну сделай что ошибка просит, там ясно написано что сделать надо.

[frig]

Надо было сразу rss брать. Есть парсить проще и он при изменении дизайна не меняется.

Answer 1

[Николай Бараненко]

попробуйте такой пример

from bs4 import BeautifulSoup

content_table = """
<table>
    <thead>
        <th>ID</th>
        <th>Vendor</th>
        <th>Product</th>
    </thead>
    <tr>
        <td>1</td>
        <td>Intel</td>
        <td>Processor</td>
    </tr>
    <tr>
        <td>2</td>
        <td>AMD</td>
        <td>GPU</td>
    </tr>
    <tr>
        <td>3</td>
        <td>Gigabyte</td>
        <td>Mainboard</td>
    </tr>
</table>
"""

soup = BeautifulSoup(content_table, 'html.parser')
headers = {}
rows = soup.find_all("tr")
thead = soup.find("thead").find_all("th")

for i in range(len(thead)):
     headers[i] = thead[i].text.strip().lower()

data = []

for row in rows:
     cells = row.find_all("td")

item = {}

for index in headers:
     item[headers[index]] = cells[index].text
     data.append(item)

print(data)

Answer 2

[Evgen]

Я, как адепт scrapy, порекомендую его.
Удобно работать с xpath, напримере таблицы, будет код типа:

for row in response.xpath('//table[@id="table1"]/tr'):
    item['name'] = row.xpath('./td[1]/text()').extract_first()
    yield item

P.S. Часто бывает, что увидеть вёрстку глазами скрипта нужно отключить JS.