Генерация LaTeX-файлов на Python дико тормозит, как это можно исправить?

Question

[Artyom_Kopan]

У меня есть скрипт на Python 3.10 для автоматической генерации теховских библиографий в PDF из исходных BIB и BST-файлов. Их довольно много (суммарный размер BIB 85+ МБ, и ещё почти 100 BST). Я перебираю циклом все BIB, затем внутри ещё одним циклом - все BST и для каждого генерирую теховский файл и затем из него PDF с помощью такого башевского скрипта:

#!/bin/bash
filename=$1".tex"
latex $filename
bibtex $1
latex $filename 
latex $filename 
pdflatex $filename

а потом перемещаю PDF куда надо, а лишние файлы (оставшиеся после генерации) удаляю.
Для запуска генерации также предусмотрен таймаут в 3 секунды, т.к. иногда ТeХ не может сгенерировать файл нормально и виснет.
И при запуске эта программа некоторое время работает нормально, а после генерации 80-100 файлов компьютер зависает намертво
Как это можно пофиксить?
(Я пробовал распараллелить код с помощью потоков, но как-то не особо получилось)

Comments

[Valentin Barbolin]

Добавь таймаут на исполнение команды, если команда не выполнилась за определенное - она завершается.

[Artyom_Kopan]

Andrey Barbolin, я так и сделал (в вопросе написано). Не помогает:-(

[mayton2019]

А зачем дважды?

latex $filename 
latex $filename

[Valentin Barbolin]

Artyom_Kopan, В скрипте тайм-аута не видно, покажешь питоновский скрипт?

Последи за оперативкой, часто когда заканчивается SWAP или его вообще нету, или для него нет свободного места на диске, то ПК может зависнуть.

[Artyom_Kopan]

Andrey Barbolin, https://pastebin.com/XNdjt9dw

[Artyom_Kopan]

mayton2019, прочитал в туториале по компиляции латеха, написано, что нужно запускать 2 раза, чтобы "ссылки в тексте приняли окончательный вид"

[mayton2019]

Artyom_Kopan, это лютейший трындец. Я кидаю гневную предъяву всем коммитерам латекса. Вот-жеж урдалаки.
И я думаю что господин Кнут тоже вздрогнул в данный момент. Он хотя и не совсем причастен но всё таки.

По поводу времени. Запусти пожалуйста свой скриптик вот в таком виде.

#!/bin/bash
time filename=$1".tex"
time latex $filename
time bibtex $1
time latex $filename 
time latex $filename 
time pdflatex $filename

И покажи что печатается на экран. После каждой утилиты будет маленький тайм репорт.

$ time .....

real    0m15.012s
user    0m0.000s
sys     0m0.000s

И таких репортов у тебя должно быть 6 штук. И нас интересует real time.

[Artyom_Kopan]

mayton2019, получается так

real	0m0,000s
real	0m0,329s
real	0m0,167s
real	0m0,329s
real	0m0,329s
real	0m0,474s

[Valentin Barbolin]

Artyom_Kopan, Где ж тут (https://pastebin.com/XNdjt9dw) таймаут на выполнение?

> action_thread.join(timeout=3)
Это таймаут на стар, функция будет ждать 3 секунды прежде чем запустит команду.

Вот хороший пример
https://medium.com/@chamilad/timing-out-of-long-ru...

Самый простой вариант можно так

def bibgen():
    os.system('timeout 60 ../bash/bibgen.sh generate')

[mayton2019]

Слишком быстро. Вверху топика ты писал что намертво зависает. А на каком шаге?

[Artyom_Kopan]

mayton2019, ну, несколько десятков генераций происходит нормально, а потом на одном из файлов программа виснет

[AVKor]

mayton2019,

Я кидаю гневную предъяву всем коммитерам латекса.

https://ru.wikipedia.org/wiki/Латекс

[Artyom_Kopan]

Andrey Barbolin, спасибо, помогло!

Answer 1

[AVKor]

Генерация Latex-файлов на Python дико тормозит, как это можно исправить?

Тег Linux убрали разумно, тег Bash поставили тоже разумно, а зачем убрали тег Python, если проблема в нём?

Их довольно много (суммарный размер BIB 85+ МБ, и ещё почти 100 BST).

Что вы такое делаете с таким количеством стилевых файлов BibTeX?

для каждого генерирую теховский файл и затем из него PDF с помощью такого башевского скрипта:

Тут сразу ряд замечаний:

1. Имена переменных заключайте в двойные кавычки.
   
2. Если вам надо только PDF (DVI не нужно), то используйте сразу pdfLaTeX.
   
3. Лучше использовать latexmk.
   
4. При этом можно будет обработать все TeX-файлы скопом, а не по одному, как в вашем скрипте.
   

Было бы понятнее, в чём может быть проблема, если бы вы привели код вашего скрипта на Python. А также пример сгенерированного им TeX-файла.

Comments

[Artyom_Kopan]

Вот скрипт: https://pastebin.com/XNdjt9dw
А столько файлов мне нужно для исследования (курсовой в вузе:)
Классификация стилей библиографии с помощью машинного обучения. Я таким образом создаю датасет

[Artyom_Kopan]

А вот пример ТЕХ-файла: https://pastebin.com/TSkNgVuc

[AVKor]

Artyom_Kopan, Если из скрипта на Python убрать генерацию PDF-файлов, то он отрабатывает нормально?

Если из скрипта на Python убрать многопоточность, то он отрабатывает нормально?