Будут ли ошибки при многопоточной записи в 1 файл?

Question

[TemaKam]

Если в нескольких потоках идет запись в один файл - могут ли возникнуть ошибки, по типу что когда-нибудь 2 потока одновременно в 1 позицию начнут писать?

Если да, то как этого избежать, но чтобы запись все равно была в потоках?

Comments

[Ternick]

Не встречал такое и потоки в питоне не работают одновременно от слова совсем,из-за gil.

[Ternick]

Dr. Bacon, вопрос реализации потоков, в вопросе об этом ничего не сказано, стандартный класс threading, не испортит файл

[TemaKam]

Ternick, да, threading

Answer 1

[Hemul GM]

Легко это организовать. Ставишь флаг "я пишу", если поток, который собирается писать видит, что флаг стоит, то ждёт, пока флаг пропадёт, затем сам ставит флаг, пока не допишет свои данные.

Comments

[TemaKam]

и не возникнет ситуации такой же, что одновременно 2 и более потока увидят, что флага нет и начнут все записывать?

[Hemul GM]

TemaKam, это называется блокировка. Использовать в качестве флага можно не просто переменную, а например threading.Lock()

[TemaKam]

Hemul GM, вот это?

spoiler

[Hemul GM]

TemaKam, да

[TemaKam]

Hemul GM, значит я в функции потока просто оборачиваю запись в файл в это?

with threading.Lock():
    запись в файл

[TemaKam]

Hemul GM, или нужно (если в классе всё) инициализировать в __init__ self._lock = threading.Lock(), а затем уже так, как я написал with self._lock: запись в файл?

[TemaKam]

Hemul GM, можете все же подсказать, так будет правильно или нет?

Answer 2

[Владимир]

Я бы наверное сделал отдельную очередь и поток для записи. Грубо говоря: каждый поток-обработчик ставит в очередь сообщения вида: "Начало записи", "Блок данных, которые должны идти последовательно", "Еще блоки"... "Конец записи". А поток, который сидит на записи, выбирает из очереди эти сообщения, собирает из них правильные последовательности данных и записывает целиком в файл. Тогда исключаются и конфликты и перемешивание данных (если это критично).

Comments

[Stanislav Pugachev]

Кафку нада ставить я считаю