Почему не загружается сервер на Linux Debian?

Question

[Владимир Мерк]

Здравствуйте.
После перезагрузки сервера по ssh командой reboot сервер больше не стартует. Подключиться к нему нельзя, пинги на него не идут.
У хостера есть возможность перезагрузить его из панели управления, пробовал, но не помогло.
Так же можно загрузится в rescue режиме и примонтировать диски сервера для доступа к информации, но как этим воспользоваться, я не знаю, т.к. в линуксе не очень опытен.
Подскажите пожалуйста, как запустить сервер.

Comments

[Владимир Мерк]

Вот содержимое boot log:

Tue Jan 21 13:36:47 2014: Setting preliminary keymap...done.
Tue Jan 21 13:36:47 2014: Activating swap...done.
Tue Jan 21 13:36:47 2014: Cleaning up ifupdown....
Tue Jan 21 13:36:47 2014: Setting up networking....
Tue Jan 21 13:36:47 2014: Generating udev events for MD arrays...done.
Tue Jan 21 13:36:47 2014: Setting up LVM Volume Groups Reading all physical vo$
Tue Jan 21 13:36:52 2014: No volume groups found
Tue Jan 21 13:36:52 2014: No volume groups found
Tue Jan 21 13:36:53 2014: No volume groups found
Tue Jan 21 13:36:53 2014: .
Tue Jan 21 13:36:53 2014: Loading kernel modules...done.
Tue Jan 21 13:36:54 2014: Activating lvm and md swap...done.
Tue Jan 21 13:36:54 2014: Checking file systems...fsck from util-linux-ng 2.17.2
Tue Jan 21 13:36:55 2014: done.
Tue Jan 21 13:36:55 2014: Mounting local filesystems...done.
Tue Jan 21 13:36:57 2014: Activating swapfile swap...done.

[Chromium58]

Тут главное выяснить что делали с сервером до перезагрузки, с сетью не экспериментировали?

[Владимир Мерк]

@Chromium58 С сетью - нет. Сделал рестарт mysql, он его остановил, а запустить не смог - failed. После этого решил сделать ребут. Какие еще логи можно посмотреть, чтобы причину выяснить?

[Chromium58]

/var/log/syslog, /var/log/messages - там может быть полезная информация

[Владимир Мерк]

@Chromium58
Практически идентичное содержание:
Очень много Jan 21 10:04:16 Debian-60-squeeze-32-minimal kernel: [10808070.874955] EXT4-fs warning (device md2): ext4_dx_add_entry: Directory index full!
Так понимаю, в какой-то папке слишком много файлов, но непонятно в какой и мешает ли это загрузке

Далее в message
Jan 21 10:04:19 Debian-60-squeeze-32-minimal shutdown[8650]: shutting down for system reboot
Jan 21 10:04:35 Debian-60-squeeze-32-minimal kernel: Kernel logging (proc) stopped.
Это время первой перезагрузки

В syslog
Jan 21 10:04:24 Debian-60-squeeze-32-minimal mysqld: InnoDB: Unable to lock ./ibdata1, error: 11
Jan 21 10:04:24 Debian-60-squeeze-32-minimal mysqld: InnoDB: Check that you do not already have another mysqld process
Jan 21 10:04:24 Debian-60-squeeze-32-minimal mysqld: InnoDB: using the same InnoDB data or log files.
Jan 21 10:04:24 Debian-60-squeeze-32-minimal mysqld_safe: mysqld from pid file /var/run/mysqld/mysqld1.pid ended
Jan 21 10:04:24 Debian-60-squeeze-32-minimal acpid: exiting
Jan 21 10:04:25 Debian-60-squeeze-32-minimal ntpd[1244]: ntpd exiting on signal 15
Jan 21 10:04:35 Debian-60-squeeze-32-minimal kernel: Kernel logging (proc) stopped.

Это попытки запустить mysql и далее перезагрузка. После в них ничего не писалось.

Answer 1

[Chromium58]

(device md2): ext4_dx_add_entry: Directory index full!

Это и есть проблема - inode переполнились.
Найти папки с большим количеством файлов можно так:

find <точка монтирования файловой системы> -type d | ( while read A; do B=`ls -l "$A" | wc -l`; if [ "$B" -gt 999 ] ; then echo $B $A; fi ; done)

Comments

[Владимир Мерк]

Удалил содержимое /tmp и логи почтового сервера exim - уж очень разрослись. Перезагрузил, но к сожалению не помогло. В обычном режиме (не rescue) сервер по прежнему не отвечает.

[Chromium58]

Переполнилось количество инодов, т.е дело именно в числе файлов, а не их размере. Посмотреть доступное/занятое количество инодов можно с помощью df -i

[Chromium58]

Да и посмотрите md2 в какой раздел у вас примонтирован? Подозреваю, что /var

[Владимир Мерк]

Да, про айноды понял, что дело в количестве. exim - почтовик, копии писем сохранял. Я их и поудалял.
Команда df показывает вот что screencast.com/t/rqKxjC2122G3
Самая нижняя строка - папка в которую диск сервера примонтирован. Получается, что еще 70% айнод свободны.

[Владимир Мерк]

Да и посмотрите md2 в какой раздел у вас примонтирован? Подозреваю, что /var

Вот про это не очень понял.

[Chromium58]

По поводу md2 и /var забудьте, я так понял у вас на сервере один раздел и он является корнем.
Судя по df с инодами теперь все ок, смотрите опять в логи - отгадка где-то там.

[Владимир Мерк]

К сожалению после перезапусков в логах обновляется только boot, и в нем сообщений об ошибках нет, только то что в первом посте. Остальные логи не меняются. (

[Chromium58]

У меня идеи кончились, т.к. я с хостингом дела никогда не имел, с debian всегда работал только локально.
Еще информация, может поможет - меня в boot.log после ваших строк еще присутствуют
Tue Jan 21 17:30:40 2014: [....] Cleaning up temporary files... ok
Tue Jan 21 17:30:40 2014: [....] Setting kernel variables ... ok
Tue Jan 21 17:30:40 2014: [....] Configuring network interfaces...ok

[Владимир Мерк]

Вы очень помогли! Посмотрел конец лога, про "Cleaning up temporary filse" и оказывается я не почистил эту папку. Т.е. я запустил удаление из нее, но оно не завершилось. Там разрослась огромная куча файлов, настолько большая, что и за пол дня не удалить. Я папку переименовал, чтоб потом почистить и создал новую. В итоге серф махом перезагрузился и все работает.
Спасибо огромное!

[Владимир Мерк]

Настроил очистку /tmp по крону. Странно что он автоматом ее не чистил.