Все, абсолютно все, на что есть ID грузить отдельно (общий запрос за метаданными на сервер при инициализации, включение нужных в объект в виде обобщенной таблицы.. .море вариантов). На фронте разберутся как собрать в кучу.
Иначе получите огромный оверхед на адаптацию данных и неочевидные наборы данных. Более того, в случае обновления данных в реальном времени вам придется перекапывать уже полученные объекты и что-нибудь пересчитывать (здесь как повезет).