Обработка большого объема данных при работе с API VK для десктопного приложения?
Прямо к делу , допустим есть группа в 143к чел , мы хотим распарсить всех юзеров группы на группы в которых они состоят, 1 необходимый мне запрос возвращает данные максимальным весом 180кб в формате xml (или 100кб формате json что в общем не решает проблему ) , в среднем инфы о юзере мы имеем в 10 раз меньше максимума - получаем по 18 кб на юзера, 18кб Х 143000 = 2574000 кб делим на 1024 чтоб получились мегабайты ПОЛУЧАЕМ - 2513 мегабайт в оперативке необработанных переменных ....
И под конец нам нужно обработать все данные -а вариант принимать в json и сократить потребление на 40% ..... но это совершенно не решит проблемы если обрабатывать группы с количеством в 1 000 000 человек .
Какие 18кб на пользователя? У вас каждый пользователь состоит в 4600 группах? Информация об одной группе занимает 4 байта (в ВК нет пока групп с ID > 2 миллиардов). Т.е. пользователь со 100 группами будет занимать 400 байт в памяти. 143000 * 400 = 56 МБ. Без понятия, как там с использованием памяти в списках/массивах C#, но не думаю, что оверхед составит больше чем еще 1-2 объем данных. Т.е. в худшем варианте у вас вйдет 150 Мб оперативки на 150К человек.
В бинарном формате база ID пользователей 90М групп ВК весит 35Гб, а вы про какие-то 2.5Гб на 140К пользователей.
Простой
Средний
