Как лучше всего парсить базу данных?

Делаю запрос к базе данных сайта и получаю следующий json ответ:
{
 "info": [
        {
            "i": "1234567", ### Уникальный идентификатор
        },
        {
            "i": "7654321", ### Уникальный идентификатор
        },
        {
            "i": "1957833", ### Уникальный идентификатор
        },
        ]
}

Суть в том , что таких вот "Уникальных идентификаторов" порядка 25.000 , естественно каждый единственный в своём роде и не повторяется.

База очень часто обновляется , какие-то идентификаторы пропадают , какие-то появляются , место появления рандомно ( может появиться как в начале , так и в середине или в конце )

Задача всего одна : Найти наилучший способ быстро найти все НОВЫЕ значения , добавленные за последнее время. ( Проще говоря посмотреть , что нового появилось в таблице , а что исчезло спустя пару минут )

Задача кажется простой , но я раньше не работал с таким объёмом данных.
На ум сразу приходит мысль просто добавить все эти идентификаторы в свою базу SQliteStudio , а после ... просто каждый идентификатор из БАЗЫ САЙТА сравнивать с моей базой ? ... Если в моей базе идентификатора нет - добавить в мою базу. Если в БАЗЕ САЙТА нет идентификатора , а в моей есть - удалить из моей базы.

Но , товарищи , не стреляю ли я из пушки по воробьям?
Может быть есть более утончённый метод или функция , чем простой поиск по 1 строке и сравнение с моей базой ?

Скорость важна , поэтому хочу услышать ваши мнения : много ли у меня вариантов решения ?
  • Вопрос задан
  • 108 просмотров
Решения вопроса 1
@galaxy
25000 - это ни о чем. Заргужаете JSON, делаете set из идентификаторов и делаете разницу со своим set'ом (хранить, в общем, неважно где)
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы