Как запустить задачу в фоне на Debian, и писать в файл только последнюю строчку консоли?

Question

[Владимир]

Мне необходимо запустить скрипт python3 в фоне, и писать содержимое консоли в файл, для возможности контроля исполнения, но в этом случае он быстро наполняет файл, так как он много передает данных в сеть и в консоль, как сделать так что бы он всегда в лог файл записывал только последнюю строчку, а не копил полное содержимое с момента запуска?

/usr/bin/python3 test.py >> test.log &

Answer 1

[Fenrir89]

/usr/bin/python3 test.py | tail -n1 >> test.log &
Ещё как вариант через grep отрезать лишнее

Мне необходимо что бы на момент открытия, я увидел в файле test.log например только 5, или 255, в зависимости от того сколько времени он проработал

Тогда так /usr/bin/python3 test.py > test.log &

>> добавление в файл
> перезапись файла

Comments

[Владимир]

в этом случае он записывает в test.log последнюю строчку при остановке скрипта, а мне нужно что бы это было во время работы

[Zzzz9]

У тебя же скрипт на питоне, напиши там сохранить что нужно, куда нужно.

[Владимир]

Zzzz9, там идет примерно 50-60 итераций в секунду, столько раз в самом скрипте делать сохранение не очень актуально наверное

[Zzzz9]

Сохрани в массив

[vreitech]

Владимир, но ведь последняя строка становится известна только после окончании работы скрипта, а пока скрипт работает, нельзя сказать, последняя ли та строка, которую он вывел, или будут ещё.

[pfg21]

Владимир, ну дык сделай вывод только нужной строчки в файл.
50-60 строчек в секунд это пшик.
как вариант писать строчку в нужный выходной поток а уже в скрипте запуска перенаправишь его в файл, если уж очень хочется отвызатся от файла в питоне.

[Владимир]

pfg21, они все важны но в свою секунду времени )
скажем скрипт отдает показания датчиков в консоль, мне нужно фиксировать только последнее состояние в текущую секунду, для сохранения в стороне.
Просто питон работает сам по себе, а событие которое забирает данные, это стороння программа

[Vitsliputsli]

Владимир,

/usr/bin/python3 test.py | while read s; do echo s > test.log; done

[Владимир]

Vitsliputsli, пишет в файл "s"

[Vitsliputsli]

Владимир, блин, сорри, так должно быть:

/usr/bin/python3 test.py | while read s; do echo $s > test.log; done

Answer 2

[Saboteur]

как сделать так что бы он всегда в лог файл записывал только последнюю строчку, а не копил полное содержимое с момента запуска?

там идет примерно 50-60 итераций в секунду, столько раз в самом скрипте делать сохранение не очень актуально наверное

Можете по-человечески сформулировать какую строчку какой секунды какой итерации вы хотите видеть в логе?

P.S. Подозреваю, что как только сформулируете нормально, сразу поймете как это самостоятельно сделать.

P.P.S.
Сделайте вывод в самом питоне в файл, без append, чтобы он писал только одну строку, и сделайте вывод в /tmp, который в большинстве линуксов это ramdrive

А еще лучше, в самом питоне сделайте вывод не каждого значения, а одного из 10 или из 100. Это ж не сложно.

Comments

[Владимир]

если я пишу команду, /usr/bin/python3 test.py >> test.log &, он начинает дописывать строки в файл test.log вывод работы скрипта, который он выводит в консоль, например там простое содержимое которое в вечном цикле вывод содержимое a++. Соответственно в файле будет содержимое на момент открытия:
1
2
3
4
5
и тп.
Мне необходимо что бы на момент открытия, я увидел в файле test.log например только 5, или 255, в зависимости от того сколько времени он проработал.

[сергей кузьмин]

Владимир, как уже предлагали при помощи tail -1 вы легко читаете последнюю строку любого файла вне зависимости от того есть там что еще или нет

[Владимир]

сергей кузьмин, это понятно, проблема в другом если писать в файл постоянно, а потом забрать из него просто последнюю строчку(в этом проблем нет), сам файл разрастается за 5-10 минут до 200-300 мб, а так не хочется, хочется что бы при каждом выводе он просто обновлял содержимое .log файла на последний вывод.

[Saboteur]

Владимир, если у вас там 50 итераций в секунду, то как понять, что за момент открытия - ту пока файл открывается в него уже что-то будет дописано.

1. Сделайте вывод в самом питоне в файл, без append, чтобы он писал только одну строку, и сделайте вывод в /tmp, который в большинстве линуксов это ramdrive
2. В самом питоне сделайте вывод не каждого значения, а одного из 10 или из 100. Это ж не сложно.

[сергей кузьмин]

Владимир за то время как вы сказали до такого размера не вырастет
а в долгосрочной перспектива добавьте ротацию логов