Как сохранить результат работы парсера в файл .txt?

Question

[Vadimganin]

Я создал парсер и хочу сохранить результат вывода в консоль в файл .txt, но есть проблема.

Код:

import requests
from bs4 import BeautifulSoup as sup

page = 1

while True:
    response = requests.get("https://stopgame.ru/review/new/izumitelno/p" + str(page))
    html = sup(response.content, "html.parser")
    items = html.select(".items > .article-summary")

    if (len(items)):
        for elements in items:
            title = elements.select(".caption > a")
            res = title[0].text
            print(res)
            with open("games_list.txt", "w", encoding='utf-8') as file:
                file.write(res)

        page += 1
    else:
        break

Вывод:

Shadow Warrior 3: Обзор
Not for Broadcast: Обзор
Strange Horticulture: Обзор
Insomnis: Обзор
Supraland Six Inches Under: Обзор
Troubleshooter: Мы зря пропустили
Wolfstride: Обзор
Fights in Tight Spaces: Обзор
Gunfire Reborn: Обзор
White Shadows: Обзор
Ruined King: A League of Legends Story: Обзор
Shin Megami Tensei V: Обзор
Corpse Party (2021): Обзор
Inscryption: Обзор
The Riftbreaker: Обзор
UNSIGHTED: Обзор
UnMetal: Обзор
Impostor Factory: Обзор
Bonfire Peaks: Обзор
Eastward: Обзор
Severed Steel: Обзор
OPUS: Echo of Starsong: Обзор
Tales of Arise: Обзор
Black Book: Обзор
И так далее

Проблема в том, что в файле сохраняется только последняя строка, а не все строки указанные выше.

Answer 1

[Владимир Куц]

...
with open("games_list.txt", "a", encoding='utf-8') as file:
...

Comments

[Vadimganin]

Спасибо большое!
Можно еще вопрос, как сделать текст в файле, как в консоли, в столбик?

[PavelMos]

Добавлять к res символ перевод строки
или сначала сохранять вывод в массив а потом записывать через например модуль записи csv

[AVKor]

Vadimganin, file.write(res + '\n')

[Vadimganin]

AVKor, спасибо, большое! Наконец-то я сделал то, что хотел!

[shurshur]

Vadimganin, альтернативный вариант - использовать print с дополнительным параметром:

print (res, file=file)

Заодно отмечу, что можно заменить стандартный \n в выводе через print на что угодно, в том числе на пустую строку:

print (res, end='\n--\n')
print (res, end='')

Answer 2

[shurshur]

Я, конечно, понимаю, что указанное куратором тэга решение будет работать, но вообще говоря оно всё равно неправильное. Легко увидеть, что в таком варианте при повторном запуске скрипта файл не будет пересоздан - в него будут добавлены всё те же записи ещё раз.

Тут ошибка в том, что файл открывается заново в каждой итерации цикла, что само по себе неразумно, а также и перезатирается его содержимое. Поэтому-то и получается одна строка в итоге. Для исправления надо вынести открытие файла на уровень выше, чем for. В этом случае он будет открыт один раз и закрыт только после завершения цикла.

Comments

[Vadimganin]

Тоже верно, спасибо за комментарий! Я только учусь программировать и набираюсь опыта. Рад услышать поправки и советы профессионалов!

[Vadimganin]

Вы правы, но в данном случае я вношу в текстовый файл по очереди каждый элемент сайта. Я вынес with open за цикл и у меня отобразились элементы только с первой страницы сайта, в котором "достаю" названия игр. В цикле значение не заносится повторно, а по очереди заносит в файл названия игр с каждой страницы.

[Vadimganin]

file = open("games_list.txt", "a", encoding='utf-8')

for elements in items:
      title = elements.select(".caption > a")
      res = title[0].text

file.write(res + "\n")

Это не работает должным образом

[shurshur]

Vadimganin, а, ну тогда вынести файл вообще за цикл while.

[Vadimganin]

shurshur, тогда сохраняется вообще только последний элемент списка

[Vadimganin]

shurshur, смысл while в том, что происходит запись каждого элемента списка до тех пор пока не закончатся страницы на сайте, иначе в файл после записи названий игр записывались бы пустые строки, ибо больше нет страниц с информацией.

[Vadimganin]

Причины записи файла в цикле for:

1. Если я вынесу запись файла за for, то будут выводиться названия только с первой страницы, а их там. За циклом работает только самый первый элемент списка.

2. Если я вынесу запись файла за while, то будет выводиться только последний элемент. Код сработает, и выведется только последний элемент.

Попробуйте запустить код со всеми зависимостями и замените запись файла на print print(res)
Там будет в "онлайне" перебираться каждое название игр. "Онлайн" как раз и создается с помощью for, и если не занести запись файла в этот цикл, то "онлайна" не будет, и код будет работать некорректно, т.е. будут выводиться не все названия, а только лишь часть или вообще только одно название.

Как иначе сделать запись файла, кроме как не в цикле for?

[shurshur]

Vadimganin, это нормальный подход: открыть файл, пройтись по сайту, записывая в файл, закрыть файл. А открывать файл стопицот раз, чтобы записать в него строчку и сразу закрыть, ненормально.

Я предлагал вынести не запись в файл, а его открытие:

with open(...) as f:
    while True:
        for element in items:
            res = ...
        f.write(res)

[Vadimganin]

shurshur, хорошо, спасибо, буду знать!

Answer 3

[Константин Нагибович]

ваш_файл.py > out.txt