Как мне правильно настроить TimedRotatingFileHandler?

Question

[Dark Hacker]

У меня есть такие настройки логгера, которые в полночь начинают запись в новый файл.

LOGGING = {
    "version": 1,
    "disable_existing_loggers": False,
    "formatters": {
        "verbose": {
            "format": "{asctime} [{name}] ({module}) {levelname} - {message}",
            "style": "{",
            #"datefmt": "%Y-%m-%d"
        },
        "simple": {
            "format": "{levelname} {message}",
            "style": "{",
        },
    },
    "handlers": {
        "file": {
            "level": "INFO",
            "class": "logging.handlers.TimedRotatingFileHandler",
            "filename": "logs/django.log",
            "when": "midnight",
            "formatter": "verbose"
        },
    },
    "loggers": {
        "django": {
            "handlers": ["file"],
            "level": "INFO",
            "propagate": True,
        },
        "logging_app": {
            "handlers": ["file"],
            "level": "INFO",
            "propagate": True,
        },
        "requests": {
            "handlers": ["file"],
            "level": "INFO",
            "propagate": True,
        },
    },
}

Но джанго выбрасывает мне исключение:

PermissionError: [WinError 32] Процесс не может получить доступ к файлу, так как этот файл занят другим процессом: 'I:\\Programming\\Meme_master_mobile\\meme_master\\logs\\django.log' -> 'I:\\Programming\\Meme_master_mobile\\meme_ma
ster\\logs\\django.log.2024-03-17'

В интернете я много где искал, и на русском и на английском и у чатжпт спрашивал. Я всего один-два таких же кода, как и у меня, нашел на англоязычном стаковерфлоу. В официальной доке используется стандартый FileHandler, без ротейта по интервалу. Тот код, что сверху я взял с другого своего проекта, там он работает спокойно.

Comments

[Сергей П]

А вы наверно запустили не один инстанс джанго? И оба они пишут в один файл?

[Dark Hacker]

Сергей П, нет

[Сергей П]

Юра Милевский, а как бы я мог в этом убедиться?
Вдруг вы ошибаетесь.

[Сергей Еремин]

А почему не использовать внешний, системный лог-ротатор?

[Dark Hacker]

Сергей Еремин, сервер не в моем распоряжении. Деплою не я

Answer 1

[Сергей П]

Проблема тут вот в чем. Ротейтинг логов устроен так, что запись идёт в файл, а потом, когда наступает условие из конфига логгинга (время или размер), файл переименовывается с добавлением даты и времени, а запись идёт в новый чистый файл.
В линуксе это не вызывает проблемы из-за более совершенной логики работы файловой системы, но вот у вас в винде случается, например, вот что:
Вы запускаете два (или больше) инстанса джанго, они оба наперебой пишут в файл (если им удаётся), или второй инстанс пытается им завладеть (тут не уверен), а когда наступает время его переименовывать, оказывается, что оригинальный файл захвачен другим процессом.
Вам стоит писать логи отдельно каждым инстансом в отдельные файлы. Например добавьте в формулу, по которой формируется имя лог-файла номер процесса.
Либо не выкаблучивайтесь и пишите логи в stdout, не надо засовывать в сервис лишнюю логику. Пусть логи обрабатываются (фильтруются, ротируются) вне процесса.

Comments

[Dark Hacker]

Я вроде на дауна не похож, чтобы запустить два инстанса Джанго. Запускаю один, запись в файл он ведёт совершенно спокойно, а вот при переименовывании возникают такие беды.

[Everything_is_bad]

Юра Милевский,

Я вроде на дауна не похож

похож (ну и за язык тебя никто не тянул), потому что ты не в курсе что несколько инстансев это обычная практика.

[Сергей П]

Юра Милевский, ну вы же не написали как именно запускаете. Может быть вы запускаете и не осознаёте этого. Вы, к примеру, можете погуглить и найти способы как посмотреть какие процессы используют файл. Вы же это не сделали? Это не делает вас похожим на дауна, но вопросы вызывает.
А ещё вы можете сделать простой эксперимент исключив из проблемы как можно больше составляющих.
Например можете сделать длинный цикл с принтами в лог, и короткий период ротации в отдельном чистом простом скрипте без джанго и прочего. Посмотрите будет ли работать ротация корректно.Отвечу - скорее всего будет. А дальше вы можете искать когда появится проблема с усложнением вашего сеттинга до того, где повторяется ошибка.

Если думаете, что проблема в джанго, можете сделать простой эксперимент - сделайте простейший пустой проект с одной лишь адмнкой и конфигурацию логгинга с короткой ротацией. Оьратите внимание как вы запускаете при этом джанго. Сделайте выхлоп влоги при запуске инстанса, может быть у вас там их несколько всё таки запускается.

[Dark Hacker]

Everything_is_bad, Обычная практика у кого?

[Everything_is_bad]

Юра Милевский, у всех остальных, но ты даже после намека не стал пытаться самостоятельно разбираться.

[Dark Hacker]

Сергей П, Создал абсолютно пустой проект джанго. Добавил логгирование с ротейтингом и всё. И снова та же ошибка.

[Сергей П]

Юра Милевский, как вы запускаете проект? Как убедились, что не запускаете несколько процессов?
Посмотрели какие процессы открывают этот файл?

[Dark Hacker]

Сергей П, Я убедился в том, что несколько процессов(2) запускает сама джанга. Почему, зачем, известно лишь ей. Я вот понял, что использование такого хендлера с ролловером в джанге на винде пока что невозможно. Либо я плохо искал, что маловероятно, потому что я практически не нашел связки TimedRotatingFileHandler и Джанго в интернете. Даже в оф. документации пишут про обычный файл хендлер. Поищу обходные пути. Джанго, к слову, запускаю я через manage.py runserver

[Сергей П]

Юра Милевский,

Я убедился в том, что несколько процессов(2) запускает сама джанга. Почему, зачем, известно лишь ей.

А ещё это известно тем, кто внимательно читает документацию.
Чаще всего в проде используют столько инстансов джанго, сколько есть свободных ядер процессора.
А ещё есть команды manage.py, которые тоже запускаются в отдельных процессах и могут писать логи.

Я вот понял, что использование такого хендлера с ролловером в джанге на винде пока что невозможно.

Вы неправильно поняли. Причем я вам уже "намекал" на один из способов решения вашей проблемы. Вы можете в имя (или путь) выходного файла добавлять номер процесса, тогда каждый процесс будет писать в свой файл.
И тогда делайте ротацию сколько хотите.

Либо я плохо искал, что маловероятно, потому что я практически не нашел связки TimedRotatingFileHandler и Джанго в интернете.

Потому что у джанго нет никакой особой специфики в плане использования этого хендлера.
Просто не надо из двух разных процессов писать в один файл и всё. Чтобы этого не допускать в механизме конфигурирования логирования есть всё необходимое.

Кстати, а как вы умудрились не натолкнуться на вот этот ответ:
https://stackoverflow.com/questions/67650580/djang...
Напишите если получится.