Макс Размер буфера чтения за раз на ваше усмотрению, обычно это размер системного буфера,в ряд ли вы готовы выделять буфер на 500мб. Я точно не знаю, как работает ресв, надо смотреть доку.
Для начало нужно проверить, точно ли там мыла и ссылки,а не хтмл содержимое страниц, например.
1ГБ - это слишком, скорее всего проблема не в одном -двух словарях.
Сергей Савостин:
некоторые orm из коробки умеют создавать в таких случаях таблицу на каждый тип.
Предполагаю, что в других orm есть подобное. Все запросы генерируются автоматически.
Я не знаю баз,поддерживающих вторичный ключ из нескольких таблиц сразу.
Тут или много таблиц создавать или много столбцов. остальные генерировать руками или автоматом.
Почитаю,что другие предложат.
yantotal: Тогда понятно)
Есть онлайн решения(туда нужно будет залить проект), насколько они будут удобнее и подойдут ли вообще нужно смотреть, может и сразу нет.