Gitlab отказывается запускаться. Как починить?

Question

[mindgrow]

Нечто съело всё свободное место на диске линукса и гитлаб перестал запускаться.
В прошлый раз вопрос решался тем, что я расширял раздел виртуалки и таким образом добавлял свободное место на диск.
Сейчас сделал то же самое.
Но gitlab на этот раз не запускается.
Как это можно исправить?

Comments

[mindgrow]

Dr. Bacon, какие логи? по какому пути? скажи скину
я с гитлабом работаю на уровне администратора гитлаба, а не администратора linux

[Дмитрий]

тебе в прошлом твоем вопросе люди ответили - опередели ГДЕ именно забивается место. после этого уже можно соображать что и как чистить.

[mindgrow]

Дмитрий, прочитай повнимательней данный вопрос.
Ещё раз.. со свободным местом проблем нет... я расширил раздел
Но гитлаб запускаться всё равно не хочет

[d-stream]

вначале гитлаб сломался, потом уже добавлено место - это "поздно пить боржоми когда уже отказали почки"
нормальный путь - восстановить гитлаб из резервной копии
извращённый путь - искать причины и масштабы разрушений

и да:
- у гитлаба кучка принципиально разных методов установки => столько же методов выяснения проблем и последующего лечения
- гитлаб состоит из кучи составных частей и "не работает" - это как "машина не ездит" - от "нет денег на бензин" до "украли машину" через "забился фильтр"/"сломался ключ"/"сел аккумулятор"

[mindgrow]

d-stream,
я восстановил бэкап виртуалки, на виртуалке расширил диск, восстановленная система работает, но это бэкап 2х дневной давности, поэтому вопрос в том почему не запускается гитлаб на виртуалке (не бэкапа)

[d-stream]

короткий ответ: что-то поломалось
длинный ответ: это необходимо исследовать и эти исследования потребуют времени, сил и квалификации, а не хрустального шара

поэтому ещё раз обращаю внимание:
1. гитлаб может устанавливаться по-разному, в зависимости от метода установки (да и версии) логи будут в совершенно разных местах
2. гитлаб состоит из множества компонент (модулей), которые написаны на разных языках программирования со своими традициями формирования и чтения логов
3. "гитлаб не работает" - это сферический конь в вакууме

[mindgrow]

В итоге оказалось, что не запущена служба postgresql

2022-08-29_18:16:42.55071 FATAL:  lock file "postmaster.pid" is empty
2022-08-29_18:16:42.55071 HINT:  Either another server is starting, or the lock>
2022-08-29_18:16:43.55298 FATAL:  lock file "postmaster.pid" is empty
2022-08-29_18:16:43.55298 HINT:  Either another server is starting, or the lock>
2022-08-29_18:16:44.55544 FATAL:  lock file "postmaster.pid" is empty

postgresql ставился вместе с гитлабом одним пакетом, поэтому других серверов не должно быть.
Где этот файл находится тоже не понятно

[meDveD_spb]

mindgrow,
gitlab-ctl reconfigure

[mindgrow]

meDveD_spb, да пробовал, во время выполнения этой команды так же происходит таймаут запуска postgre

[meDveD_spb]

mindgrow,
rm /usr/local/var/postgres/postmaster.pid
или где он там находится

[mindgrow]

meDveD_spb, да это помогло, спасибо, гитлаб запустился

Answer 1

[mureevms]

Товарищи в комментах все правильно сказали. Я же хочу более конструктивно:
1. Скорее всего ставился Гитлаб в Omnibus версии, поэтому data каталог по дефолту находится в /var/opt/gitlab/, проверьте сколько он занимает места.
2. Ни слова не было сказано каков размер диска. Посмотрите требования перед тем, как ставить монстров.
3. В конфиге Гитлаба три тысячи строк, среди которых по дефолту раньше были включены Графана и Прометей, которые пишут кучу данных в БД. Изучите.
4. Если настраивались бэкапы, требуется плюс 100% больше места для хранения каждого бэкапа, чем размер всех реп. На вскидку, у меня весь data каталоаг занимает 15,5 гиг, (из этого все репы 7, бэкап 7, плюс по-мелочи). 0,5 гига логов. При чем, для создания бэкапа надо дополнительно x2 больше места, чем весит сам бэкап, это обусловлено особенностью и порядком его создания.
5. Сам Гитлаб весит не мало, у меня он Omnibus в Докере и его каталог весит 43 гига.
6. Опять же про свой Гитлаб сервер, диск размером 90 гиг, 43 занимает сам Гитлаб, 16 дата каталог с одним бэкапом и логами. 20 свободно, остальные 10 занято системой.

Comments

[mureevms]

Кажется я темой ошибся. Автор тот же, поймет )

[mindgrow]

спасибо за подробный ответ!
я ставил как описано здесь https://www.digitalocean.com/community/tutorials/h...
не пойму, omnubus это или нет

Вы пишете
>5. Сам Гитлаб весит не мало, у меня он Omnibus в Докере и его каталог весит 43 гига.
запускаете гитлаб как виртуалку в докере? задумываюсь об этом.. у меня сейчас гитлаб на ubuntu виртуалке на HyperV. Правильно ли я понял что в моём случае запускать виртуалку гитлаб на докере в виртуалке на hyperv нет никакого смысла? или всё таки есть?

[mureevms]

mindgrow, это Omnubus )
Смысл в Докере есть, ели правильно настроите. Докер - не виртуалка, поэтому это не будет виртуалкой в виртуалке. К тому же докером проще управлять, как по мне.