Какие 18кб на пользователя? У вас каждый пользователь состоит в 4600 группах? Информация об одной группе занимает 4 байта (в ВК нет пока групп с ID > 2 миллиардов). Т.е. пользователь со 100 группами будет занимать 400 байт в памяти. 143000 * 400 = 56 МБ. Без понятия, как там с использованием памяти в списках/массивах C#, но не думаю, что оверхед составит больше чем еще 1-2 объем данных. Т.е. в худшем варианте у вас вйдет 150 Мб оперативки на 150К человек.
В бинарном формате база ID пользователей 90М групп ВК весит 35Гб, а вы про какие-то 2.5Гб на 140К пользователей.
