Упал GlusterFS (Brick), в логах следующая ошибка:
[2020-01-27 20:36:05.995507] W [MSGID: 114061] [client-common.c:2893:client_pre_lk_v2] 0-var-www-xxxx-xxx-data-xxxx-expert-web-upload-client-1: (e9ac0480-2894-4af1-b76a-fdc60f6a0443) remote_fd is -1. EBADFD [Дескриптор файла в плохом состоянии]
[2020-01-27 20:36:06.011398] W [MSGID: 114061] [client-common.c:2893:client_pre_lk_v2] 0-var-www-xxxx-xxx-data-xxxx-expert-web-upload-client-1: (75b4e7d2-7657-4818-ba0e-27aea160a4a5) remote_fd is -1. EBADFD [Дескриптор файла в плохом состоянии]
[2020-01-27 20:36:06.196569] W [MSGID: 114061] [client-common.c:2893:client_pre_lk_v2] 0-var-www-xxxx-xxx-data-xxxx-expert-web-upload-client-1: (d1355d6d-7d2e-47d9-b81a-b46f3fab2a3f) remote_fd is -1. EBADFD [Дескриптор файла в плохом состоянии]
[2020-01-27 20:36:16.549317] W [MSGID: 114061] [client-common.c:2893:client_pre_lk_v2] 0-varxxxx-xxx-data-xxxx-expert-web-upload-client-1: (97788b4b-5f42-40be-a65a-b2412b6f0513) remote_fd is -1. EBADFD [Дескриптор файла в плохом состоянии]
[2020-01-27 20:36:22.084104] W [socket.c:774:__socket_rwv] 0-var-www-xxxx-xxx-data-xxxx-expert-web-upload-client-1: readv on 10.10.0.2:49152 failed (Нет доступных данных)
[2020-01-27 20:36:22.084191] I [MSGID: 114018] [client.c:2347:client_rpc_notify] 0-var-www-xxxx-xxx-data-xxxx-expert-web-upload-client-1: disconnected from var-www-xxxxxx-xx-data-xxxx-expert-web-upload-client-1. Client process will keep trying to connect to glusterd until brick's port is available
[2020-01-27 20:36:25.246837] E [MSGID: 114058] [client-handshake.c:1456:client_query_portmap_cbk] 0-var-www-xxxxx-xx-data-xxxxx-expert-web-upload-client-1: failed to get the port number for remote subvolume. Please run 'gluster volume status' on server to see if brick process is running.
[2020-01-27 20:36:25.246916] I [MSGID: 114018] [client.c:2347:client_rpc_notify] 0-var-www-xxxxx-xx-data-xxxxx-expert-web-upload-client-1: disconnected from var-www-xxxxx-xx-data-xxxxx-expert-web-upload-client-1. Client process will keep trying to connect to glusterd until brick's port is available
[2020-01-27 20:36:36.020081] W [MSGID: 114061] [client-common.c:2893:client_pre_lk_v2] 0-var-www-xxxxx-xx-data-xxxx-expert-web-upload-client-1: (326dba05-4dcf-45a4-948f-1fe470fe05db) remote_fd is -1. EBADFD [Дескриптор файла в плохом состоянии]
[2020-01-27 20:36:37.920985] W [MSGID: 114061] [client-common.c:2893:client_pre_lk_v2] 0-var-www-xxxxx-xx-data-xxxx-expert-web-upload-client-1: (53a28039-07c5-4443-803c-343c8e2b8968) remote_fd is -1. EBADFD [Дескриптор файла в плохом состоянии]
в чем может быть проблема ??? Пока что смотрю в сторону FUSE, но только на уровне доков, проблему не нашел ещё. Как я понимаю процесс не проходит хелс чек и завершается. Сокет закрывается из-за множества файлов с не корректным дескриптором. В гластере 3 сервера падает на втором Тип: репликация. как временное решение использовал следующее:
gluster volume start var-www-xxxx-xxx-data-xxxx-expert-web-upload force
Gluster поднялся, но в чем причина такого падения, нужно разобраться, что бы пофиксить раз и на всегда
Средний
