Ну судя по всему, это просто кастомный параметр, который самой библиотекой jQuery не поддерживается (мы ведь о ней говорим, как я понимаю?). Вы можете передать в объекте с параметрами любые дополнительные свойства, на которые самой библиотеке будет наплевать, потому что она о них ничего не знает, а вы сможете использовать каким-то образом. Скорее всего, используется этот retryLimit примерно так, как в примере отсюда: https://stackoverflow.com/questions/10024469/whats...
То есть просто при ошибке повторяет тот же самый запрос еще раз, но не больше retryLimit раз.