Учится лучше всего на практике. Берете VPS ставите на него все необходимое для работы Вашего сайта.
Это будет Вашим полигоном для тестирования.
И начинаете "пытать" сервер.
Таким образом Вы начнете понимать как более или менее защитить свой сервер.
Почерпнуть начальную информацию можно на этом ресурсе:
codeby.net