Valeriy Solovyov: Никак: скрипт будет выполнять ровно то, что в нем заложено. Имея исходный код (да и без него, вероятно) можно ровно одним запросом поиметь сайт. Можно отследить инструменты типа sqlmap/acunetix, конечно.
Bacrr: Точно необходима булева алгебра: if (a == b && b!=c) и так далее. Хотя бы на уровне таблиц истинности И ИЛИ НЕ XOR. Полезно будет понимание модульной арифметики: почему 255 + 1 = 0, а в другом случае все же 256. За CS вообще не скажу, ибо не понимаю в ней ;-)
Армянское Радио: Тут важно знать что нельзя добыть энтропию "из воздуха": mt_rand()->SHA512 в итоге даст не 2^512 вариантов перебора, а только 2^32. Детали алгоритмов и особенности их использования, а не математика. Возможно, "Практическая криптография" Шнайера будет полезнее и проще.
Армянское Радио: Теория множеств может быть на нужном уровне понята и без матана. Защита сайта к криптографии не имеет в общем случае вообще никакого отношения: SQLi и RSA - непересекающиеся области. Более того, можно прекрасно понимать матан, лежащий в основе RC4/любого другого алгоритма и использовать его неправильно ;-) Матан нужен для глубокого анализа (и это для избранных), грамотное применение крипты возможно и без матана.
ldvldv: Как они используют HMAC для защиты от сканирования? Простейший сканер делает connect() к проверяемому порту и если коннект прошел - может считать его открытым. Никакие данные на этот порт не идут же, насколько я понимаю.