Очевидно, что строится индекс идентификаторов юзеров для каждой группы.
Индекс не обязательно хранить на одном инстансе базы, он шардированый. Отдельно хранится счетчик кол-ва юзеров.
Профили тоже хранятся по шардам.
У ВК есть быстрый механизм загрузки профилей "пачкой".
Алгоритм примерно такой:
1. Не достигли конца индекса?
2. Получаем "пачку" идентификаторов.
3. Загружаем профили.
4. go to 1
5. done! Загрузили всех юзеров из группы.
Фишка в том, что в "единицу времени" не нужен доступ ко всем данным пользователей группы.