Возможно, в настройках фтп-сервера не выключен резолвинг.
И получается так, что при подключении клиента, сервер подвисает до тех пор, пока не разрешит айпи клиента.
Но без логов, хотя бы с клиента, говорить о чем-то конкретном — нельзя.
В той же FileZill'е можно открыть окно подключения и отправить сюда текст(предварительно указав, где тормозит).