Как решить error 2002 mysql на ubuntu server?

Question

[Евгений А]

Привет товарищи,

спокойно себе жил почти год сервер на ubuntu 14 c лампой на борту, на сервере 2 сайта wordpress. Вчера вечерком я обнаружил что сайт не может соединится с базой данных, при попытке войти в mysql через терминал - выдало ошибку

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock'

порылся на форуме , почитал рекомендации - сделал, результата нету. Сервер предоставляет компания Digital Ocean - накатил бекап 3ех дневной давности - все запустилось и через 1 минуту опять мускуль свернулся. С бекапами старее та же история.

Не стартует mysql-server

Подскажите пожалуйста, в какую сторону смотреть, какие логи вам показать? Спасибо

UPD: Я видел такую ситуацию когда не стартовал мускуль из-за недостатка места на диске, но в моем случае - гуляй душа.

~$ sudo service mysql restart
[sudo] password for ~: 
stop: Unknown instance: 
start: Job failed to start

логи

150617  8:01:25 [Warning] Using unique option prefix myisam-recover instead of myisam-recover-options is deprecated and will be removed in a future release. Please use the full name instead.
150617  8:01:25 [Note] Plugin 'FEDERATED' is disabled.
150617  8:01:25 InnoDB: The InnoDB memory heap is disabled
150617  8:01:25 InnoDB: Mutexes and rw_locks use GCC atomic builtins
150617  8:01:25 InnoDB: Compressed tables use zlib 1.2.8
150617  8:01:25 InnoDB: Using Linux native AIO
150617  8:01:25 InnoDB: Initializing buffer pool, size = 128.0M
150617  8:01:25 InnoDB: Completed initialization of buffer pool
150617  8:01:25 InnoDB: highest supported file format is Barracuda.
InnoDB: The log sequence number in ibdata files does not match
InnoDB: the log sequence number in the ib_logfiles!
150617  8:01:25  InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
150617  8:01:27  InnoDB: Waiting for the background threads to start
150617  8:01:28 InnoDB: 5.5.43 started; log sequence number 874386956
150617  8:01:28 [Note] Server hostname (bind-address): '127.0.0.1'; port: 3306
150617  8:01:28 [Note]   - '127.0.0.1' resolves to '127.0.0.1';
150617  8:01:28 [Note] Server socket created on IP: '127.0.0.1'.
150617  8:01:28 [Note] Event Scheduler: Loaded 0 events
150617  8:01:28 [Note] /usr/sbin/mysqld: ready for connections.
Version: '5.5.43-0ubuntu0.14.04.1'  socket: '/var/run/mysqld/mysqld.sock'  port: 3306  (Ubuntu)
150617  8:01:28  InnoDB: Error: page 3235 log sequence number 874387332
InnoDB: is in the future! Current system log sequence number 874386956.
InnoDB: Your database may be corrupt or you may have copied the InnoDB
InnoDB: tablespace but not the InnoDB log files. See
InnoDB: http://dev.mysql.com/doc/refman/5.5/en/forcing-innodb-recovery.html
InnoDB: for more information.
150617  8:01:28  InnoDB: Error: page 3718 log sequence number 874387295
InnoDB: is in the future! Current system log sequence number 874386956.
InnoDB: Your database may be corrupt or you may have copied the InnoDB
InnoDB: tablespace but not the InnoDB log files. See
InnoDB: http://dev.mysql.com/doc/refman/5.5/en/forcing-innodb-recovery.html
InnoDB: for more information.
150617  8:01:29 [ERROR] /usr/sbin/mysqld: Table './etnicasmain/wp_options' is marked as crashed and should be repaired
150617  8:01:29 [Warning] Checking table:   './etnicasmain/wp_options'
150617  8:01:30 [ERROR] /usr/sbin/mysqld: Table './phpmyadmin/pma_column_info' is marked as crashed and should be repaired
150617  8:01:30 [Warning] Checking table:   './phpmyadmin/pma_column_info'
150617  8:01:30 [ERROR] /usr/sbin/mysqld: Table './phpmyadmin/pma_recent' is marked as crashed and should be repaired
150617  8:01:30 [Warning] Checking table:   './phpmyadmin/pma_recent'
150617  8:01:30 [ERROR] /usr/sbin/mysqld: Table './phpmyadmin/pma_userconfig' is marked as crashed and should be repaired
150617  8:01:30 [Warning] Checking table:   './phpmyadmin/pma_userconfig'
150617  8:01:30 [ERROR] /usr/sbin/mysqld: Table './pulspro/wp_options' is marked as crashed and should be repaired
150617  8:01:30 [Warning] Checking table:   './pulspro/wp_options'

сверху лог бекапа который работает.

Вот лог с последней резервной копии неработающей - лог увы, но сюда он не влазит.

Comments

[Алексей Уколов]

Начните с /var/log/mysql/error.log

[Евгений А]

Алексей Уколов: /var/log/mysql/ пустая директория
/var/log/mysql.err - пустой
/var/log/mysql.log - пустой

[Евгений А]

Алексей Уколов: последний лог вот https://www.dropbox.com/s/gh8j6jrr09kco09/mysql.log

Answer 1

[Алексей Уколов]

150617 8:42:00 [Note] /usr/sbin/mysqld: ready for connections.
Version: '5.5.43-0ubuntu0.14.04.1' socket: '/var/run/mysqld/mysqld.sock' port: 3306 (Ubuntu)
150617 8:42:00 InnoDB: Assertion failure in thread 139884593407744 in file trx0purge.c line 840
InnoDB: Failing assertion: purge_sys->purge_trx_no <= purge_sys->rseg->last_trx_no
InnoDB: We intentionally generate a memory trap.
InnoDB: Submit a detailed bug report to bugs.mysql.com.
InnoDB: If you get repeated assertion failures or crashes, even
InnoDB: immediately after the mysqld startup, there may be
InnoDB: corruption in the InnoDB tablespace. Please refer to
InnoDB: dev.mysql.com/doc/refman/5.5/en/forcing-innodb-rec...
InnoDB: about forcing recovery.

Судя по логу, у вас порушилась InnoDB.
Когда с одним из наших серверов такое приключилось, мы включили innodb_force_recovery (по ссылке из лога больше информации), забекапили БД, удалили весь каталог InnoDB, создали базы заново и импортировали в них данные из бэкапа.

Comments

[Евгений А]

Алексей Уколов: по идее я так понимаю что со временем ему чего-то стало не хватать? в логах описано много разных буфер_сайз .. может нужно чего-то добавить в настройках =/

Спасибо, пойду читать и пробовать, пока руки шефа не сомкнулись на моей шее :)

[Алексей Уколов]

Евгений А: нет, дело не в размерах буферов, скорее всего, у вас повредился какой-то физический файл, используемый InnoDB.