Как корректно дописывать в файл на Python?

Question

[AnKus]

Делаю парсер по расписанию, который будет дописывать новые контакты в существующий файл, а так же в отдельный файл только новые контакты. Уперся в то, что при записи новые строки пишуться не в единичном экзепрляре, а по несколько повторений сразу. Т.е. первый новый контакт мне записывает 10 раз, второй 20, третий 30 и тд. Как это исправить ? Для примера, чтоб не ломать код самого парсера, написал неольшой новый код, вместо блока парсинга, воспользовался библиотекой RandomWords. Вот собственно сам код:

import schedule
from random_word import RandomWords
import asyncio

new_words = []
old_words = []


async def working():
    word = RandomWords().get_random_word()
    with open('old_words.txt', 'r') as f:
        lines = [line.strip() for line in f.readlines()]
        for _ in lines:
            if word in old_words:
                continue
            else:
                new_words.append(word)
        print(word)
    return new_words, old_words
    

async def writer():
    with open('old_words.txt', 'a') as f:
        for line in new_words:
            f.write(f'{line}\n')
    with open('new_words.txt', 'a') as f:
        for line in new_words:
            f.write(f'{line}\n')


async def gather():
    tasks = []
    tasks.append(asyncio.create_task(working()))
    tasks.append(asyncio.create_task(writer()))
    await asyncio.gather(*tasks)
    

def main():     
    asyncio.run(gather())


if __name__ == "__main__":
    schedule.every(2).seconds.do(main)
    while True:
        schedule.run_pending()

Answer 1

[AlbertForest]

for _ in lines:
    if word in old_words:
        continue
    else:
        new_words.append(word)

В этом куске ты как бы говоришь:
- "Добавь word в new_words столько раз, сколько строк в old_words.txt"

Comments

[AnKus]

похоже на то. а как тут тогда поступить ?

[AlbertForest]

AnKus, Я бы на твоем месте вообще перестроил логику. Код очень странный и не очень понятно что ты хочешь получить. Конкретно этот момент

дописывать новые контакты в существующий файл, а так же в отдельный файл только новые контакты

В чем тут смысл? Просто в два файла нужно писать или что?

with open...
Может стоит что то вроде aiofiles.open() использовать, раз код асинхронный?

async def gather():

Вообще не понятное решение. Не проще ли создавать таск внутри working() только тогда, когда есть данные для записи? Заодно и от глобальных переменных избавишься.

[AnKus]

i3a4em, может и проще. только начал изучать асинхронность.

В чем тут смысл? Просто в два файла нужно писать или что?

один файл - это общий файл с контактами, второй - это только новые контакты, полученные со свежего парсинга. С ними потом разные действия выполняются. Но это к делу не относится.

Вообще не понятное решение. Не проще ли создавать таск внутри working() только тогда, когда есть данные для записи? Заодно и от глобальных переменных избавишься.

Вот тут не понял ...

[AlbertForest]

AnKus,

from random_word import RandomWords
import asyncio
import aiofiles

class Saver():
    def __init__(self):
        self.old_words = None
        self.setup()
        self.queue = asyncio.Queue()
    
    # Сохраняет содержимое в множество, что бы не читать файл каждый раз
    # Вызывать ассинхронно смысла нет, тк мы пока не знаем список слов, которые уже есть
    def setup(self):
        with open('old_words.txt', 'r') as f:
            self.old_words = set([line.strip() for line in f.readlines()])
    
    async def write(self):
        while True:
            new_word = await self.queue.get() # Получаем новое слово
            self.old_words.add(new_word)  # Добавляем в множество
            for file in ['old_words.txt', 'new_words.txt']:
                async with aiofiles.open(file, 'a+') as f:
                    await f.write(f'{new_word}\n')
            
    
async def working(_saver):
    while True:
        word = RandomWords().get_random_word()
        await _saver.queue.put(word)  # Добавляем новое слово в очередь
        await asyncio.sleep(1)
    
    
if __name__ == "__main__":
    saver = Saver()
    # Создаем цикл событий
    event_loop = asyncio.get_event_loop()
    # Запускаем генератор слов
    event_loop.create_task(working(saver))
    # Запускаем сохранялку
    event_loop.create_task(saver.write())
    event_loop.run_forever()

Примерно так

[Shandy]

А не проще вообще в базу данных писать контакты?

[AnKus]

Shandy, проще, но вопрос не об этом …

[AnKus]

i3a4em, спасибо

[Shandy]

AnKus, так если проще, то зачем городить такое?