Парсинг сайта, Python + BeautifulSoup?

Question

[mr-ZA]

Приветствую, пытаюсь спарсить сайт: [ foxtools.ru/Proxy ]
Выдает ошибку выхода за пределы массива, что странно учитывая что строка в приложенном фото должна соответствовать выборке. Ошибка снизу.. что с этим делать?

import requests
from bs4 import BeautifulSoup

def get_html(site):
    r = requests.get(site)
    return r.text

def get_page_data(html):                         #sources
    soup = BeautifulSoup(html, 'lxml')           #(format_in, parser)

    line = soup.find('table', id='theProxyList').find_all('tr')     #resolve table

    for tr in line:
        td = tr.find_all('td')
        ip = td[1].text
        port = td[2].text
        country = td[3].text
        anonym = td[4].text
        types = td[5].text
        time = td[6].text

        data = {'ip': ip,
                'Port': port,
                'Country': country,
                'Anonymize': anonym,
                'Type': types,
                'Time': time}

def main():
    url = 'http://foxtools.ru/Proxy'
    get_page_data(get_html(url))

if __name__ == '__main__':
        main()

Код ошибки:

Traceback (most recent call last):
  File "D:/home/projects/Python/Parser_proxy.py", line 34, in <module>
    main()
  File "D:/home/projects/Python/Parser_proxy.py", line 31, in main
    get_page_data(get_html(url))
  File "D:/home/projects/Python/Parser_proxy.py", line 15, in get_page_data
    ip = td[1].text
IndexError: list index out of range

Comments

[devalone]

Если нужны публичные прокси, у меня есть проект по сбору с разных источников: https://github.com/DevAlone/proxy_py

Answer 1

[Александр]

На первой итерации цикла td возвращает пустой список отсюда и ошибка.

import requests
from bs4 import BeautifulSoup

def get_html(site):
    r = requests.get(site)
    return r.text

def get_page_data(html):                         #sources
    soup = BeautifulSoup(html, 'lxml')           #(format_in, parser)

    line = soup.find('table', id='theProxyList').find_all('tr')     #resolve table

    for tr in line:
        td = tr.find_all('td')
        if td == []:
            continue
        ip = td[1].text
        port = td[2].text
        country = td[3].text
        anonym = td[4].text
        types = td[5].text
        time = td[6].text

        data = {'ip': ip,
                'Port': port,
                'Country': country,
                'Anonymize': anonym,
                'Type': types,
                'Time': time}
        print(data)
def main():
    url = 'http://foxtools.ru/Proxy'
    get_page_data(get_html(url))

if __name__ == '__main__':
        main()

Comments

[Сергей Горностаев]

Зачем if td == []? Pythonic way - просто if not td

[Александр]

Сергей Горностаев, Сергей я не прям гуру Python это if td == [] я словами могу объяснить если td == пустой список то продолжить.
А вот это как словами объяснить if not td?

[Сергей Горностаев]

Александр, пустой список ложен.

[Александр]

Сергей Горностаев, Понятно, Спасибо!

Answer 2

[Александр]

Иногда в структуре сайта встречаются изъяны - незнаю намеренно или нет, но они препятствуют парсингу используя простой код, приходится городить огороды и костыли, которые обрабатывают все возможные ситуации.
Ищи,проверяй, возможно там просто нет нужного количества элементов td в одной из строчек, добавляй условия.

Comments

[mr-ZA]

Если оставить так:

import requests
from bs4 import BeautifulSoup

def get_html(site):
    r = requests.get(site)
    return r.text

def get_page_data(html):                         #sources
    soup = BeautifulSoup(html, 'lxml')           #(format_in, parser)

    line = soup.find('table', id='theProxyList').find_all('tr')     #resolve table

    for tr in line:
        td = tr.find_all('td')
        print (td)
        #ip = td[0].text
        #print(ip)
        #port = td[2].text
        #country = td[3].text
        #anonym = td[4].text
        #types = td[5].text
        #time = td[6].text

        #data = {'ip': ip,
         #       'Port': port,
          #      'Country': country,
           #     'Anonymize': anonym,
            #    'Type': types,
             #   'Time': time}

def main():
    url = 'http://foxtools.ru/Proxy'
    get_page_data(get_html(url))

if __name__ == '__main__':
        main()

Выводит такое:
[]
[, 78.41.246.137, 80,  Швеция (SE),
низкая,
HTTP
, 0.04, 20.04.2019 в 11:20]
[, 37.187.118.56, 80,  Австрия (AT),
наивысшая,
HTTP

[Александр]

ну вот - пустой массив, что было и так ясно.

[mr-ZA]

Александр, хорошо, а как все-таки получить ip и прочее?

[Александр]

так сложно дописать if?

if len(td) >= 7:
        ip = td[1].text
        port = td[2].text
        country = td[3].text
        anonym = td[4].text
        types = td[5].text
        time = td[6].text

это как бы элементарные вещи в программировании, которые в самом начале изучают.
кто только не лезет в программирование.

[mr-ZA]

Александр, ты сам понял что написал василий?) Если больше 7 выведи 1234.., ты если сам не особо смыслишь не пиши лучше, Python не повседневный мой язык, не можешь сам не мучай жопу

[Сергей Горностаев]

mr-ZA, он всё правильно написал, надо проверять количество возвращённых элементов и отбрасывать данные не соответствующие ожидаемой структуре.