1. Генетический алгоритм для генерации SQL-inject/XSS.
2. Алгебра логик и доказательство неуязвимости к конкретным типам атак.
3. Теория вероятности и оптимальный способ поиска уязвимостей.
P. S. Не особо обдумывал, но думаю каждую из тем, можно развить до магистерской.