При парсинге таблицы выдает ошибку 'NoneType' object has no attribute 'find'. Как решить?

Question

[dasha1996]

Необходимо спарсить значения определенных ячеек в одной из таблиц, размещенных на сайте. В коде конкретно указываю, к какой таблице нужен доступ, но все время выдает ошибку. Как бы не пытался изменить код, все равно ошибка

AttributeError: 'NoneType' object has no attribute 'find_all'

Вот мой код. Ошибка в строке 'rows'.

from bs4 import BeautifulSoup
from lxml import html
import csv

headers = {'Accept': 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.63'}
url = 'https://old.baltbet.ru/BetInfoSE.aspx?id=688709154'

response = requests.get(url, headers=headers)

file = open('data.csv','w')
writer = csv.writer(file)

soup = BeautifulSoup(response.text, 'html.parser')


rows = soup.find('table',class_ ='betinfo2').find('tbody').find_all('tr')
for row in rows:
    columns = row.find_all('td')
    data_list = [columns[0].text]

writer.writerow(data_list)
file.close()

Answer 1

[PavelMos]

rows = soup.find('table',class_ ='betinfo2').find('tbody').find_all('tr')

В питоне всё - объекты, и результаты функций возвращают объекты, к которым, как тут, последовательно применяются другие функции (в данном случае это встроенные функции объекта BS).
find_all применяется к тому, что было получено в find('tbody'), примененному к soup.find и тд. Но из-за того ,что на предыдущем шаге ничего не нашлось, функция вернула NoneType. К которому нельзя применять find_all, рассчитанный на работу с объектом BS.

Comments

[dasha1996]

Хорошо, но почему же он не находит саму таблицу на первом шаге soup.find? Таблица же эта существует на сайте и в коде она обозначена именно как table <“class=betinfo2”>. Как мне найти эту таблицу?

[PavelMos]

Если посмотреть исходный код, а не исследовать элемент, то tbody нет, сразу th и tr начинаются.
Так что

rows = soup.find('table',class_ ='betinfo2').find_all('tr')

[PavelMos]

dasha1996,
Если посмотреть исходный код (или распечатать результат первого супа), а не исследовать элемент, то tbody нет, сразу th и tr начинаются.
Так что

rows = soup.find('table',class_ ='betinfo2').find_all('tr')

<div id="BetCoefs">
	<table class="betinfo2">
		<tr>
			<th><strong>№</strong></th>
			<th><strong>Исход</strong></th>
			<th><strong>Результат</strong></th>
		</tr>
		<tr><td>16156177</td><td>X</td><td>Не завершено</td></tr><tr><td>16168299</td><td>X</td><td>Не завершено</td></tr><tr><td>16204997</td><td>2</td><td>Не завершено</td></tr><tr><td>16211087</td><td>1</td><td>Не завершено</td></tr><tr><td>16211088</td><td>X</td><td>Не завершено</td></tr><tr><td>16211090</td><td>X</td><td>Не завершено</td></tr><tr><td>16211900</td><td>1</td><td>Не завершено</td></tr><tr><td>16212294</td><td>1</td><td>Не завершено</td></tr><tr><td>16212964</td><td>2</td><td>Не завершено</td></tr><tr><td>16213587</td><td>2</td><td>Не завершено</td></tr><tr><td>16214143</td><td>X</td><td>Не завершено</td></tr><tr><td>16214256</td><td>2</td><td>Не завершено</td></tr><tr><td>16214289</td><td>2</td><td>Не завершено</td></tr><tr><td>16215157</td><td>2</td><td>Не завершено</td></tr><tr><td>16216150</td><td>2</td><td>Не завершено</td></tr>
	</table></div>

[dasha1996]

PavelMos, спасибо! Эта ошибка ушла, но теперь возникает другая.
data_list = [columns[1].text]
IndexError: list index out of range

Мне нужно вытащить содержимое второй ячейки каждой строки таблицы. Как бы цифру в скобках не изменяла, все равно эта ошибка выходит. Что не так?

[PavelMos]

dasha1996, не так то, что ты используешь продвинутые инструменты, не разобравшись в основах языка и типах данных, и когда возникает проблема - простая, а не связанная с функционалом в данном случае BS, стопоришься на месте.

data_list = [columns[1].text]
IndexError: list index out of range

Питон пишет - обращение к элементу списка по индексу, выходящему за пределы списка. Значит, в списке нет элемента [1]. Почему ? Потому что там только или элемент [0], или он, columbs, вообще пустой.

[dasha1996]

PavelMos, изначально в моем коде и был элемент [0], так как в каждой строке таблицы у меня по 3 ячейки и я пыталась обратиться ко вторым ячейкам каждой строки, то исправила на [1].
Но и [0] и [1] выходzт за пределы списка. Как он может быть пустым, если в коде страницы данный элемент содержит текстовое значение?
И почему-то когда я распечатываю columns мне выдает только последнюю строку моей таблицы

[PavelMos]

dasha1996, выдаёт последнюю строку возможно из-за того что columns где-то в цикле не дополняется, а перезаписывается и там остаётся только последнее. Ты columns в самом цикле распечатываешь или после ?
Вообще нужно смотреть весь текст, чтобы понять, в чём проблема.

[dasha1996]

PavelMos, свои проблемы я исправила. Запустила еще один цикл for coloum in columns и в нем ошибка list index out of range исчезла, элемент [1] нашелся. И в принципе программа выдает мне то, что мне нужно, но каждый из элементов почему-то повторяется по три раза..

Вот такой код:

import requests
from bs4 import BeautifulSoup
from lxml import html
import csv

headers = {'Accept': 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.63'}
url = 'https://old.baltbet.ru/BetInfoSE.aspx?id=688835725'

response = requests.get(url, headers=headers)

file = open('data.csv','w')
writer = csv.writer(file)

soup = BeautifulSoup(response.text, 'html.parser')

rows = soup.find('table',class_ ='betinfo2').find_all('tr')
for row in rows:
columns = row.find_all('td')
for coloum in columns:
data_list = [columns[1].text]
print(data_list)

[dasha1996]

import requests
from bs4 import BeautifulSoup
from lxml import html
import csv

headers = {'Accept': 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.102 Safari/537.36 Edg/104.0.1293.63'}
url = 'https://old.baltbet.ru/BetInfoSE.aspx?id=688835725'

response = requests.get(url, headers=headers)

file = open('data.csv','w')
writer = csv.writer(file)

soup = BeautifulSoup(response.text, 'html.parser')


rows = soup.find('table',class_ ='betinfo2').find_all('tr')
for row in rows:
    columns = row.find_all('td')
    for coloum in columns:
        data_list = [columns[1].text]
        print(data_list)

[PavelMos]

dasha1996,

for coloum in columns:
        data_list = [columns[1].text] #зачем переборка, если в цикле обращение не к итератору coloum, а к перебираемым columns ? 
        print(data_list)

for row in rows перебирает строки, т.е. row это строка (состоящая из нескольких тд). Далее перебирать эти тд не нужно, если известен индекс.
А ошибка с out of range из-за того, что в первой строке таблицы td нет. Поэтому надо обработку предусмотреть. И это можно было увидеть, распечатав rows

for row in rows:
    columns = row.find_all('td')
    try:
        data_list = [columns[1].text]
    except Exception as e:
        print (e)
    print(data_list)

[dasha1996]

PavelMos, в таком случае у меня распечатывается только одна ячейка последней сроки.

[PavelMos]

dasha1996,
приведи еще раз полный текст того, что запускаешь.

for row in rows:
    columns = row.find_all('td')
    try:
        data_list = [columns[1].text]
        print(data_list, 'row: ', row, 'col:',columns)
    except Exception as e:
        print (e,row)
        
list index out of range <tr>
<th><strong>№</strong></th>
<th><strong>Исход</strong></th>
<th><strong>Результат</strong></th>
</tr>
['2'] row:  <tr><td>16161325</td><td>2</td><td>Не завершено</td></tr> col: [<td>16161325</td>, <td>2</td>, <td>Не завершено</td>]
['X'] row:  <tr><td>16161327</td><td>X</td><td>Не завершено</td></tr> col: [<td>16161327</td>, <td>X</td>, <td>Не завершено</td>]
['1'] row:  <tr><td>16161329</td><td>1</td><td>Не завершено</td></tr> col: [<td>16161329</td>, <td>1</td>, <td>Не завершено</td>]
['X'] row:  <tr><td>16163706</td><td>X</td><td>Не завершено</td></tr> col: [<td>16163706</td>, <td>X</td>, <td>Не завершено</td>]
['X'] row:  <tr><td>16163953</td><td>X</td><td>Не завершено</td></tr> col: [<td>16163953</td>, <td>X</td>, <td>Не завершено</td>]
['1'] row:  <tr><td>16164574</td><td>1</td><td>Не завершено</td></tr> col: [<td>16164574</td>, <td>1</td>, <td>Не завершено</td>]
['X'] row:  <tr><td>16164578</td><td>X</td><td>Не завершено</td></tr> col: [<td>16164578</td>, <td>X</td>, <td>Не завершено</td>]
['X'] row:  <tr><td>16164580</td><td>X</td><td>Не завершено</td></tr> col: [<td>16164580</td>, <td>X</td>, <td>Не завершено</td>]
['2'] row:  <tr><td>16164583</td><td>2</td><td>Не завершено</td></tr> col: [<td>16164583</td>, <td>2</td>, <td>Не завершено</td>]
['X'] row:  <tr><td>16164589</td><td>X</td><td>Не завершено</td></tr> col: [<td>16164589</td>, <td>X</td>, <td>Не завершено</td>]

[dasha1996]

PavelMos, получилось, спасибо большое. А как лучше теперь этот список преобразовать в одну строку?

[PavelMos]

dasha1996, список преобразовать в одну строку python