Как решить ошибку no space left on device при CI/CD Gitlab?

Question

[Loserver]

Из-за чего может крашиться пайплайн сборки с ошибкой "no space left on device"?

1. Использовал df -h для просмотра доступного места.
2. Проверил docker system df для анализа использования Docker.

3. Остановил и удалил контейнеры:

docker stop $(docker ps -a -q) || true
docker rm $(docker ps -a -q) || true

4. Очистил неиспользуемые ресурсы:

docker system prune -af
docker volume prune -f

5. Проверил docker images и удалил ненужные образы:
docker rmi $(docker images -q) || true

6. Использовал du -sh /* для поиска крупных директорий
find / -type f -size +100M

Очищал данные в Overlay2

df -h | grep overlay
du -sh /var/lib/docker/overlay2
rm -rf /var/lib/docker/overlay2/*

А также проверял inode'ы:
df -i

Все в норме, места на сервере много, но он жалуется на малое кол-во места

Comments

[VoidVolker]

Loserver А вы где именно запускаете этот процесс? На отдельном сервере или на том же где гитлаб установлен? Все CI/CD процессы лучше запускать на отдельном сервере, если вдруг у вас не так.

места на сервере много, но он жалуется на малое кол-во места

Много - это сколько? Возможно ваши процессы требуют больше месте. Попробуйте на том же сервере запустить те же процессы вручную для отладки.

Answer 1

[Vitaly Karasik]

1) Какая команда падает с "no space left on device" ?
2) Что выдает "df -h" в gitlab pipeline прямо перед этой командой?

Comments

[Alexey Dmitriev]

3) где вообще запущен gitlab runner?