Храните просто и массив, и объект (а лучше - Map), в котором id будет сопоставлен индексу в массиве. Тогда вы, потратив немного памяти, получите плюсы обеих структур данных.
На вопрос "убьёт ли это производительность" можно получить ответ очень легко: запрофилировать вариант до и после и сравнить. В общем случае на него ответить просто невозможно - откуда мы знаем, какие конкретно вы будете использовать алгортимы и какие у вас вообще интерфейсы. По сути вопрос тогда сводится к "какая разница между массивом и объектом", а на него ответ даётся примерно на седьмой странице любого учебника.