5000 это ещё не очень много, хотя зависит от…
Стоит ещё посмотреть сколько трафика нужно чтобы передать клиенту эти объекты и нужны ли клиенту все они.
Если это не блокирует интерфейс – нормально. Если блокирует хотя бы на немного заметный промежуток времени, стоит подумать о том, чтобы сортировать на стороне сервера или в отдельном потоке (воркере).
Все зависит от того, какие операции происходят при сравнении элементов.
Если элементы - обычные объекты javascript в оперативной памяти - это быстро, и десятые доли секунды клиент может и не заметить, но если вы умудряетесь на каждый запрос сравнения лезть в DOM то это будет катастрофа.