/bin/bash: Too many open files in system. Если не сделать ребут сервера, пройдет через какой-то время? Как избежать?

Question

[LakeForest]

Понимаю свои ошибки, но не могу найти метод избежать зависания сервера.
Запускал скрипт обработки файлов через питон:
Пример так:

import subprocess
for i in files:
   subprocess.run(<скрипт>)

Второй раз сервер подвис с ошибкой

Too many open files in system.

.
В первый раз ребут сделали, но сейчас ночь и стыдно так косячить. Подскажите, как правильно мультипроцесс запускать или как ограничивать?
Через сколько сборщик мусора позакрывает файлы? Закроет же или ребут запрашивать?
Как писать, чтобы не повторять эту ошибку?
Если получится войти на сервер, что написать, чтобы зачистить свои процессы?

Comments

[Сергей Горностаев]

Через сколько сборщик мусора позакрывает файлы? Закроет же или ребут запрашивать?

Вот уж вряд ли.

[LakeForest]

Сергей Горностаев, пустил как только процессы завершил. Но все равно не слишком безопасный код получается...

[Сергей Горностаев]

LakeForest, что у вас там за скрипт запускается?

[LakeForest]

for i, row in df.iterrows():
    path = row.path
    subprocess.Popen(f"echo {password} | sudo -S ./recog_wav.sh {path}",
                    stdin=subprocess.PIPE, stdout=subprocess.PIPE, shell=True)

recog_wav.sh - распознавание аудио файла. Секунд 10-30 каждый файл обрабатывает.

[LakeForest]

TheAndrey7, хочется на уровне кода предотвращать

Answer 1

[Alexeytur]

Ограничивать число дочерних процессов

max_child_processes = 100
child_processes = []
for i, row in df.iterrows():
    while len(child_processes ) >= max_child_processes:
        sleep(0.1)
        child_processes = [p for p in child_processes if p.poll() is None]
    path = row.path
    subp = subprocess.Popen(f"echo {password} | sudo -S ./recog_wav.sh {path}",
                    stdin=subprocess.PIPE, stdout=subprocess.PIPE, shell=True)
    child_processes.appen(subp)

Comments

[LakeForest]

Спасибо за ответ!
А не подскажите, такой код будет альтернативой решения?

for i, row in df.iterrows():
    path = row.path
    with subprocess.Popen(f"echo {password} | sudo -S ./recog_wav.sh {path}",
                    stdin=subprocess.PIPE, stdout=subprocess.PIPE, shell=True) as proc:
        try:
            outs, errs = proc.communicate(timeout=200)
        except subprocess.TimeoutExpired:
            proc.kill()
            outs, errs = proc.communicate()

[Alexeytur]

LakeForest,
Нет, ваш код запускает и ждет окончания дочерних процессов по одному