Найдите тут подходящую под ваше описание ошибку
https://linux.die.net/man/3/pthread_mutex_lock
Я что-то не нашел.
Единственный более-менее подходящий с натяжкой вариант - EAGAIN - возвращается в случае рекурсивного мьютекса при превышении максимального количества блокировок.
В целом реализации мьтексов могут быть разные и если это не POSIX совместимая реализация, то вероятно такая ошибка возможна. В этом случае смотрите документацию к вашей системе.