Фризы из-за сетевых задержек - это абсолютно реально. По-другому клиент-серверную игру просто невозможно реализовать, она не может отдельно от сервера продолжать играть сама по себе.
А вот падение FPS - это признак плохой архитектуры. При хорошей архитектуре отрисовкой кадров занимается отдельный поток, который ни в какой момент не совершает синхронных вызовов сетевого ввода/вывода и продолжат рисовать кадры так быстро, как это возможно (но не быстрее vsync по уму) даже в моменты, когда геймплей замер в ожидании взаимодействия с сервером.