Время от времени падает Redis?

Question

[Barnie Savington]

Здравствуйте. Примерно раз в сутки падает Redis на линукс сервере:

ERR Error running script (call to f_9bd406a64e43e31f0dde2849660e8cd56f340b85): @user_script:2: @user_script: 2: -MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error.

В логах:

1468:M 28 Aug 11:49:40.126 # Background saving error
1468:M 28 Aug 11:49:46.044 * 10 changes in 300 seconds. Saving...
1468:M 28 Aug 11:49:46.047 * Background saving started by pid 13268
13268:C 28 Aug 11:49:46.047 # Failed opening .rdb for saving: Read-only file system

При попытке сделать `service redis-server restart` - виснет.
Восстановить работу помогает "kill -9 pid"

Comments

[Jhn Doe from by]

как вы решили проблему?

Answer 1

[Fixid]

Не прав на запись в RDB.
Покажите ls -lh /var/redis/

Comments

[Barnie Savington]

iwex@ubuntu-2gb-ams2-01:/var/log$ ls -lh /var/lib/redis/
total 4.0K
-rw-r--r-- 1 redis redis 135 Aug 31 15:24 dump.rdb

[Fixid]

Jack Sparrow: chmod 660 dump.rdb

Обратно 644

[Barnie Savington]

Fixid: так а почему при перезапуске - все ок

[Fixid]

Jack Sparrow: дамп сбрасывается не всегда, в зависимости от конфига. Или по ручной команде
при запуске запись в файл не проверяется

[Barnie Savington]

Fixid: включено автосохранение по дефолту. В один момент -

12568:C 28 Aug 11:25:49.078 * RDB: 4 MB of memory used by copy-on-write
1468:M 28 Aug 11:25:49.164 * Background saving terminated with success
1468:M 28 Aug 11:30:50.073 * 10 changes in 300 seconds. Saving...
1468:M 28 Aug 11:30:50.074 * Background saving started by pid 12646
12646:C 28 Aug 11:30:50.085 * DB saved on disk
12646:C 28 Aug 11:30:50.086 * RDB: 2 MB of memory used by copy-on-write
1468:M 28 Aug 11:30:50.174 * Background saving terminated with success
1468:M 28 Aug 11:35:51.090 * 10 changes in 300 seconds. Saving...
1468:M 28 Aug 11:35:51.092 * Background saving started by pid 12862
12862:C 28 Aug 11:35:51.100 * DB saved on disk
12862:C 28 Aug 11:35:51.101 * RDB: 2 MB of memory used by copy-on-write
1468:M 28 Aug 11:35:51.192 * Background saving terminated with success
1468:M 28 Aug 11:40:19.648 # Failed opening .rdb for saving: Read-only file system
1468:M 28 Aug 11:40:52.045 * 10 changes in 300 seconds. Saving...
1468:M 28 Aug 11:40:52.046 * Background saving started by pid 13018
13018:C 28 Aug 11:40:52.050 # Failed opening .rdb for saving: Read-only file system
1468:M 28 Aug 11:40:52.147 # Background saving error
1468:M 28 Aug 11:40:58.063 * 10 changes in 300 seconds. Saving...
1468:M 28 Aug 11:40:58.063 * Background saving started by pid 13024
13024:C 28 Aug 11:40:58.065 # Failed opening .rdb for saving: Read-only file system
1468:M 28 Aug 11:40:58.164 # Background saving error
1468:M 28 Aug 11:41:04.083 * 10 changes in 300 seconds. Saving...
13037:C 28 Aug 11:41:04.086 # Failed opening .rdb for saving: Read-only file system
1468:M 28 Aug 11:41:04.087 * Background saving started by pid 13037
1468:M 28 Aug 11:41:04.187 # Background saving error

[Fixid]

Права не менялись? ФС разрешает запись?

[Fixid]

Jack Sparrow: покажите
CONFIG GET dbfilename
CONFIG GET dir

до ошибки и после

[Barnie Savington]

Fixid: надо пождать когда опять заболеет :)

[Fixid]

Jack Sparrow: есть подозрение что у вас слетает параметр, извне база доступна? Точнее защищена ли?

[Barnie Savington]

Fixid, да, поменялись значения
127.0.0.1:6379> CONFIG GET dbfilename
1) "dbfilename"
2) "root"
127.0.0.1:6379> CONFIG GET dir
1) "dir"
2) "/var/spool/cron"
Это такой себе тестовый серв, так что редис был открыт.

[Fixid]

Jack Sparrow, вариантов два
1. Вас взломали, ну как взломали, просто постучали в открытый порт и поменяли настройки
2. Локальный сервис балуется

Первым делом переименуйте команду CONFIG на любой рандомный набор букв

[Fixid]

Jack Sparrow, вспомнил, вас точно ломанули.
Система скомпрометирована, через CONFIG можно вычитать любой файл системы

https://habrahabr.ru/post/270799/

Answer 2

[Melkij]

# Failed opening .rdb for saving: Read-only file system

ну?

Настроено писать копию данных на диск. Писать копию не получается. Редис обижается и уходит в RO.

Comments

[Barnie Savington]

Так а почему обижается?

[Melkij]

Jack Sparrow: потому что считает себя базой данных. Раз сказали "сохраняйся!" а сохраняться не получается - значит это авария. Но поскольку он не ACID и не даёт D из этой аббревиатуры - то обижается только при непосредственной попытке сохранить образ, а не в ответ на обязательный сброс журнала транзакций перед коммитом.

[Jhn Doe from by]

Melkij так а как решить проблему?