Почему не работает вложенный цикл for Python?

Question

[Александр Кошелев]

Парни, честно не понимаю в чем проблема такого цикла!

quotes = []
for i in authors:
    sep = 'https://www.site.com/authors/'
    name_for_file = i.partition(sep)
    data_2 = requests.get(i).text
    soup_2 = BeautifulSoup(data_2, 'html.parser')
    path_author = f'/resources/Parsing/brainyquote.com/authors_quotes/{name_for_file[2]}.txt'
    for string in soup_2.select('[style="display: flex;justify-content: space-between"]'):
        print(string)
        quotes.append(string.text)
        with open(path_author, 'w') as writefile:
            for quote in quotes:
                writefile.write(quote)
    quotes.clear()

Сначала я протестировал одиночную запись в файл и все работает, запись файла осуществляется.

for string in soup_2.select('[style="display: flex;justify-content: space-between"]'):
    ...

Потом я обертываю данный код в цикл, в котором беру из списка authors каждого автора, генерирую ссылку на файл (каждую переменную я выводил и все без ошибок).
То есть часть кода до второго цикла робит
Второй цикл тоже работает отдельно
Но вместе не работают.
Подскажите пожалуйста что конкретно я не так сделал и как исправить?
Суть кода - беру ссылку из list, делаю на нее запрос, получаю контент, записываю контент в файл

Comments

[Влад Григорьев]

а суть такова, что сначала надо учить основы потом писать парсеры.
А так как основы не учены, а если учены то не поняты, то у вас и цикл виноват, а не ваш код...

а проблема тут может быть много но явно видны две
1. может не чего не найтись тут for string in soup_2.select('[style="display: flex;justify-content: space-between"]')
2. файл перезаписывается при каждой итерации

[Алан Гибизов]

Правильно ли я понял, что у вас есть список кусочков текста quotes, который вы вторым циклом пытаетесь сложить в один файл?
Тогда лучше вместо второго цикла воспользоваться методом строк join и собрать им все элементы списка в одну строку; и уже одним разом эту строку записать в файл.

[Александр Кошелев]

Влад Григорьев, ну к чему эти прилюдии про основы? Основы это одно , а прод другое!
Да, в этой строке и не нашлось, потому что линки на которые идет запрос в листе с \n и сам запрос идет с \n на 404, это было сложно определить с первого раза тк 404 тоже отдает контент, но в этом контенте тупо нет атрибута который я ищу, это и запудрило мне мозги, что контент есть а записи нету.
По поводу второго ващего комментария, то вы как знаток основ должны были увидеть что файл постоянно новый , тк там присутствует переменная в ссылке. А quotes.clear() для того чтобы очищать массив тк он после каждой итерации заполняется данными и если его не очищать то данные будут нагромождаться

[Александр Кошелев]

Алан Гибизов, первый цикл это запрос к разным страницам (их 400+) и второй цикл это уже обход каждой линки на нужные состовляющие

[Александр Кошелев]

Влад Григорьев, вопрос же по человечески задал, зачем блин морали читать. Жизнь без ошибок у вас если то вы прям неземное существо....

[Александр Кошелев]

Влад Григорьев, получилось приятель. Без обид между нами!

[Влад Григорьев]

Александр Кошелев, к тому что бы писать "прод" надо знать основы, и файл новый но перезаписывается постояно во втором цикле

[Александр Кошелев]

Влад Григорьев, Я же тебе написал, что он не перезаписывается!!! Там создается новый файл. Учи основы короче!

[Влад Григорьев]

Александр Кошелев,

# создаешь путь до файла 
    path_author = f'/resources/Parsing/brainyquote.com/authors_quotes/{name_for_file[2]}.txt'
    # ЦИКЛ
    for string in soup_2.select('[style="display: flex;justify-content: space-between"]'):
        print(string)
        quotes.append(string.text)
       Открытие файла на перезапись пока идет ЦИКЛ
        with open(path_author, 'w') as writefile:

рано с таким говно кодом пытаться кого-то учить основы

[Александр Кошелев]

Влад Григорьев, критикуешь? Покажи пример как это красиво написать!
Ты букавку 'w' увидел и зная основы говоришь что перезапись? Спору нет, тут 'w' а не 'a', но какое это дело имеет к итоговому результату? Я один раз закидываю в файл данные и все, а изначально он пустой и поэтому mode 'a' мне не нужен.
Еще раз для тех кто в тик токе.. файл записывается 1 раз, и как видно на скринах выше все робит.
PS жду пример карсивого кода

[Влад Григорьев]

Александр Кошелев, зачем мне помогать и оптимизировать код, того кто на подсвечивания потенциальных проблем "кидается какахами"
Ну и если цикл заведомо возвращает один результат, он не нужен

[Александр Кошелев]

Влад Григорьев, какими какахами?
Мой цикл возвращает один результат всегда?)

Answer 1

[Алан Гибизов]

Вместо второго цикла что-то вроде:

with open(path_author, 'w') as writefile:
    writefile.write('\n'.join(quote))

Если это будет работать без присмотра, то обвесить проверками типов или лучше конкретными try/except.

Comments

[Александр Кошелев]

Алан Гибизов, я там сам косякнул, в первой ветке прокоментировал ошибку. Спасибо за отзывчивость вам, уже не первый раз мне помогаете!

[Алан Гибизов]

Александр Кошелев, уф, я первый-то for и не углядел. Пардоньте :) не понял изначально, в чём вопрос. Не про тот for говорил.

[Александр Кошелев]

Алан Гибизов, мне парень написал ответ который пропал почему то. Как бы и не ответ, но тупо сказал что ни че нет в string. А так как я в Jupyter тестово пишу то я вывел массив, а что там \n я не увидел, и вот и получилось что к не той ссылке шел запрос. Исправил траблу удалив лишний \n. Пойду тестить дальше))

[Александр Кошелев]

Алан Гибизов, получилось, ееееу)
правда я контент принтую (забыл принт закоментить) и так как это не на компе все делается а на Jupyter не локал хост то слегка долго

[Александр Кошелев]

По сути там еще цикл должен быть, цикл для пагинации. Я качаю контент по 468 ссылкам (источникам) только с первой странице, а там их несколько бывает. Но пока мне и столько хватит, потом допишу и все качну)

[Александр Кошелев]

Алан Гибизов, Знаете в чем прикол?
Прикол в том, что я начал переносить код в PyCharm и он не работает!
А не робит изза того, что сайт на cloudflare подвешен и я получаю
<title>Just a moment...</title>
Да, все верно, я также вижу такую превьюху когда захожу на сайт!
Но когда я делаю через Jupyter то он получает контент целевой странице, а в ином случае такая вот шляпа. Пока не знаю как это решить.
Вот тут я принтую данные и получаю что контент приходит не целевой страницы а cloudflare предупреждения, ппц!

data = requests.get(url).text
print(data)

[Александр Кошелев]

Александр Кошелев, а ну надо проксировать, у меня Jupyter на бурж серваке висит (не мой) поэтому Just a moment не ловит, а сразу цель страницу. Не подскажите где взять проксю рабочую бесплатно?

[Александр Кошелев]

Оооо, нашел и даже от pip, но если Алан знаете где взять прокси отпишите плыз!

[Александр Кошелев]

Мда...., проксю подтянул из pip install free-proxyИ ничего не поменялось....

[Алан Гибизов]

Александр Кошелев, я не пользуюсь прокси. Если я что-то и «парсю», то это как правило не требует проксей. Такая у меня специфика. Не помогу в этом. Ну и потом, бесплатных прокси хороших нет и быть не может, так как весь мир в них залазит и делает нехорошими.