Use session Luke
создаешь в массиве session ключ qtyError и присваиваешь ему значение ноль
и когда пользователь вводит пароль не правильно проверяешь в сессии значение ключа qtyError
если больше к примеру 3 выводишь каптчу, если больше 5 выводишь сообщение о том что пользователь временно забанен а значение ключа qtyError увеличиваешь на единицу