по нормальному карта должна быть и на серваке, чтобы игроки не могли ходить сквозь стены например.
еще в данной задаче не очень очевидно с начала, но важно делать предсказание движения противников на клиенте.
недостаточно просто передавать пересчитанные координаты игроков с сервера, нужно еще делать предпросчет на клиенте, иначе играть будет невозможно, позиция игрока-противника постоянно будет опаздывать. в быстрых играх это не допустимо.
советую почитать вот этот цикл статей.
https://habr.com/post/302394/