Задать вопрос

Adnim

Лайки

  • Как запарсить элементы таблицы?

    @Verz1Lka
    Web scraping expert
    Я, как адепт scrapy, порекомендую его.
    Удобно работать с xpath, напримере таблицы, будет код типа:
    for row in response.xpath('//table[@id="table1"]/tr'):
    item['name'] = row.xpath('./td[1]/text()').extract_first()
    yield item

    P.S. Часто бывает, что увидеть вёрстку глазами скрипта нужно отключить JS.
    Ответ написан
    Комментировать
    Комментировать

  • Как создать запрос к сайту и вернуть значения?

    SoreMix
    @SoreMix Куратор тега Python
    yellow
    f12->network. Отправляем запрос, смотрим что отправилось. Через requests составляем такой же запрос, потом через bs4 вытаскиваем результат

    import requests
from bs4 import BeautifulSoup


headers = {'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
            'content-type': 'application/x-www-form-urlencoded',
            'referer': 'https://ciox.ru/text-upside-down',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}

payload = 'usertext=texthere&enter='

s = requests.Session()

s.get('https://ciox.ru/text-upside-down', headers=headers)
r = s.post('https://ciox.ru/text-upside-down', data=payload, headers=headers)


soup = BeautifulSoup(r.text, 'html.parser')
result = soup.find('textarea', {'class': 'input_c result'})
print(result.text)
    Ответ написан
    Комментировать
    Комментировать