Как добавлять произвольные данные в extra в logging python?

Question

[Venda_98]

Хочу реализовать такой или схожий функционал с возможностью добавления произвольного (любого) числа параметров к аргументу extra в logging.debug, logging.info() и т.п.

Например:

logging.config.fileConfig("../logging.ini", disable_existing_logger=False)
logger = logging.getLogger(__name__)
logger.info("New log data", extra={"param1" : value1, "param2" : value2, … })

Вариант с LoggerAdapter не нравится, так как для каждого специфического варианта добавления лога нужно создавать экземпляр класса с соответствующим параметром.

Корректировка Formatter’а тоже не подходит, так как появляется необходимость всегда вносить данные для заданных параметров, даже если они не нужны.

Answer 1

[Vindicar]

Чем не устраивает вариант с непосредственной подстановкой данных в строку?

logger.info("New log data: param1 = %s, param2 = %s", value1, value2)

Просто если у тебя так много разных вариантов подставляемых данных, то проще это решать на уровне отдельного обращения к логгеру.

Comments

[Venda_98]

Такой вариант, как мне кажется, не очень удобен в будущем для обработки и анализа логов.
Думал, что удобно при анализе ориентироваться на строчку с сообщением, но при подстановке значений, как у тебя указано, могут возникнуть с этим сложности.

[Vindicar]

Venda_98, ну это зависит от выбранного формата сообщения. Всегда можно предварять дополнительные данные каким-то ключевым словом.
Просто будь у тебя набор данных более-менее постоянным, Formatter бы подошёл. А так...

[Venda_98]

Решил проблем через подключение класса JsonFormatter из модуля jsonformatter.
Такой вариант позволяет любое число произвольных объектов добавлять:

import logging
from jsonformatter import JsonFormatter

log_file_path = "./logs/log_data.log"
data_format = {"levelname": "levelname",
               "filename": "filename",
               "module": "module",
               "funcname": "funcName",
               "asctime": "asctime",
               "message": "message"}

formatter = JsonFormatter(data_format, datefmt="%Y-%m-%d %H:%M:%S", ensure_ascii=False, 
                          mix_extra=True, mix_extra_position='tail')
json_handler = logging.FileHandler(filename=log_file_path)
json_handler.setFormatter(formatter)

logger = logging.getLogger(__name__)
logger.addHandler(json_handler)
logger.setLevel(logging.INFO)

logger.info('New message', extra={"duration" : 1000, 
                                  "value1" : 56, 
                                  "value2" : 189, 
                                  "code" : 11})

Итого, на выходе получаем каждую строчку логов в таком формате:

{'levelname': 'INFO',
 'filename': '2712754776.py',
 'module': '2712754776',
 'funcname': '<cell line: 1>',
 'asctime': '2022-11-08 17:25:26',
 'message': 'New message',
 'duration': 1000,
 'value1': 56,
 'value2': 189,
 'code': 11}

Answer 2

[Venda_98]

Решил проблем через подключение класса JsonFormatter из модуля jsonformatter.
Такой вариант позволяет любое число произвольных объектов добавлять:

import logging
from jsonformatter import JsonFormatter

log_file_path = "./logs/log_data.log"
data_format = {"levelname": "levelname",
               "filename": "filename",
               "module": "module",
               "funcname": "funcName",
               "asctime": "asctime",
               "message": "message"}

formatter = JsonFormatter(data_format, datefmt="%Y-%m-%d %H:%M:%S", ensure_ascii=False, 
                          mix_extra=True, mix_extra_position='tail')
json_handler = logging.FileHandler(filename=log_file_path)
json_handler.setFormatter(formatter)

logger = logging.getLogger(__name__)
logger.addHandler(json_handler)
logger.setLevel(logging.INFO)

logger.info('New message', extra={"duration" : 1000, 
                                  "value1" : 56, 
                                  "value2" : 189, 
                                  "code" : 11})

Итого, на выходе получаем каждую строчку логов в таком формате:

{'levelname': 'INFO',
 'filename': '2712754776.py',
 'module': '2712754776',
 'funcname': '<cell line: 1>',
 'asctime': '2022-11-08 17:25:26',
 'message': 'New message',
 'duration': 1000,
 'value1': 56,
 'value2': 189,
 'code': 11}