Просто в базе в таблице пользователей делаете колонку attempts_count и увеличиваете это число при неправильном вводе логина пароля.
После этого делаете проверку, что если число >= 3, то записываете дату и время в колонку locked_till ( к примеру now() + 1 час) и также делаете на нее проверку.
При правильном вводе логин и пароля сбрасывать количество попыток.
Советую для начала просто поставить Ubuntu Server на Virtualbox, самому установить все необходимые компоненты (к примеру MySQL, Apache, php).
Один раз пройдешь этот этап, и поймешь что в этом нет ничего сложного.
И боязнь VPS пропадет. + на VPS советую ставить что-то вроде Webmin для администрирования.
