Как оптимальнее всего выводить информацию о работе консольной программы на сервере в браузер?
На сервере с помощью крона или вызовом exec() из PHP будут выполняться различные программы, в том числе питонячьи скрипты. Некоторые из них могут работать по несколько часов (обработка большого объема данных) Сейчас весь вывод идет в консоль, что неудобно для просмотра людьми далекими от работы в терминале. Оптимально было бы следить за процессом и результатами в браузере.
Как это сделать, с учетом того что таких программ может быть много и все они разные?
Пока в голову пришло тупо кидать логи работы каждого скрипта в webroot, и просматривать их типа: example.com/process.log
Ясно, что нужно их куда-то писать. Можно в БД, можно, как Вы предположили -- в файл. Только я бы не давал ссылку на сам файл с логами, а сделал бы ещё одну страничку где бы и выводились логи, но с хоть-каким оформлением и разделением на конкретные логи каждого скрипта.