Кому интересно пишу ответ:
Был весьма странный брутфорс самый очевидный который мог быть, по 22 порту, но при этом это добавляло кучу сессий и процессов, а также добавляло много крон задач, немного помогла смена порта у ssh, но потом они разозлились и начали ддосить SYN'ами. Думаю пока iptables крутить чтобы решить это.