Как правильно составить цикл в phyton?

Question

[monkeyb]

У меня есть файл со списком url.
Нужные данные со страницы(url) я могу получить:

r = requests.get('https://somesite.com')
# Parsing the HTML
soup = BeautifulSoup(r.content, 'html.parser')
status = soup.find('div', class_='closed')
titles = soup.find('h1', class_='section_hero__title')
id= soup.find('p', class_='numer_id')

Как правильно составить цикл для прохождения по всем url из списка и записи полученных данных в csv ?

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента.

[Модератор]

Фрагменты кода надо размещать в виде текста и оборачивать тэгом code для корректного отображения. Удобно делать кнопкой </>
Это обязательно, см.п.3.8 Регламента.
Сюда же относится traceback, ввод и вывод в консоли и другая структурированная текстовая инфа.

Answer 1

[Максим Припадчев]

Для начала оберните ваш код тегом python.

ваш псевдо код для сбора данных будет иметь вид

result = []
for url in urls:
    r = requests.get(url)
    soup = BeautifulSoup(r.content, 'html.parser')
    status = soup.find('div', class_='closed')
    titles = soup.find('h1', class_='section_hero__title')
    id= soup.find('p', class_='numer_id')
    result.append((url, status, titles, id))

где urls это ваши urls из файла. Ваш результат будет список кортежей, где каждый кортеж имеет вид (url, status,titles,id). Полученную структуру данных легко записать в csv файл.
можно например так.

import csv
with open('file.csv', mode='w') as file:
    writer = csv.writer(file, delimiter=',', quotechar='"', quoting=csv.QUOTE_MINIMAL)
    writer.writerow(['url','status','titles','id'])
    writer.writerows(result)

Вот так запишет ваши данные первый ряд это названия колонок в вашем csv, а потом данные. Если названия колонок не нужны то уберите строку. writer.writerow(['url','status','titles','id']) из кода.

Ну а так я бы рекомендовал установить pandas создаьть dataframe посмотреть на него может если надо что то подправить и из него писать csv например вот так

import pandas as pd

df = pd.DataFrame(data=result,columns = ['url','status','titles','id'])
df.to_csv('file.csv')

здесь мы создаем фрейм и пишем csv файл в функции to_csv можно задать параметер header=False тогда имена колонок не запишутся, плюс есть параметр mode, его можно поставить в 'a' (append) и если файл уже существует он будет добавлять туда новые строки.

Comments

[monkeyb]

Спасибо за столь развернутый ответ!
Разобрался!
Есть еще 2 вопроса, на которые я пока не нашел ответов:
1. в url ничего не приходи
2. как записать только полученные значения из

prices1 = soup.find('div', class_='closed')
    titles = soup.find('h1', class_='section_hero__title')

Спасибо!

[Максим Припадчев]

monkeyb, Вы указали в вашем что все парсится.
скорее всего, испольуйте атрибут text. soup.find('h1', class_='section_hero__title').text Ну это не точно у меня то html вашего нету, что бы я мог точно указать.
Судя по таблице Нужно будет провести дополнительную работу над каждым полем. Например, значек евро убрать вам то работать с цифрами в дальнейшем.
Это не входит в ваш вопрос, вопрос стоит в том что бы организовать работу. Я вам ответил и привел примеры.
Ключевой момент это структура данных список кортежей, потому то из нее хоть в базу данных писать можно, хоть в файл, хоть фрейм создавать.

А ват эти детали не входят в ваш вопрос и что бы на них отвечать нужно видеть html файл.

[monkeyb]

Спасибо!
Разобрался!

soup = BeautifulSoup(r.content, 'html.parser') заменил на text
к titles = soup.find('h1', class_='section_hero__title')
сделал вывод через
titles_raw = titles.text

в итоге все работает как надо!

Answer 2

[igor6130]

Оберните свой код в for ... in ...

Comments

[monkeyb]

Получил такое

Data = []
url = '.....'
 
with open('urltest.txt', encoding="utf-8") as file:
    count = 0
    lines = [line.strip() for line in file.readlines()]
    for line in lines:
        requests.get(line)
        soup = BeautifulSoup(r.content, 'html.parser')
        prices1 = soup.find('div', class_='product__price')
        print(prices1.text)

в итоге выводит первое получение значение по 1й url на все прохождения...

[igor6130]

monkeyb, у вас requests.get(line) никуда не возвращает результат. Добавьте переменную.

[monkeyb]

не пойму как это сделать, можете пальцем еще раз ткнуть?

[igor6130]

monkeyb,
r = requests.get(line)

[monkeyb]

Спасибо, странно, до этого так и сделал, но выдавал ошибку. Скопипастил ваш код, сработало

Answer 3

[whoiam_frontend]

Используйте оператор for