Если у вас "отваливается инет на VPS" именно по причине брутфорса, там вам ещё и ddos прилетает, а тут настройки впс никак не помогут, поскольку брут забивает канал до сервера. Как вариант, можно попробовать поставить перед вашим впс www.cloudflare.com, не знаю остался ли у них бесплатный тариф.