На сервере полная карта мира для контроля клиентов.
На клиентах карта мира частичная, с подгрузкой с сервера по необходимости - для картинки игроку.

Но, на клиенте мира с объектами, необходимыми для визуализации.
А на сервере структуры данных облегченные, например, BSP (или что там в Unreal), глубоко интегрированные в мир и используемые для визуализации на клиенте, - на сервере не нужны.

В идеале - это 2 совершенно по разному организованные карты/мира. Синхронизирующиеся.
На практике из экономии времени разработчиков могут держать и идентичные почти миры. Хотя это и создает приличную (ненужную) нагрузку.