Делаю запрос к базе данных сайта и получаю следующий json ответ:
{
"info": [
{
"i": "1234567", ### Уникальный идентификатор
},
{
"i": "7654321", ### Уникальный идентификатор
},
{
"i": "1957833", ### Уникальный идентификатор
},
]
}
Суть в том , что таких вот "Уникальных идентификаторов" порядка 25.000 , естественно каждый единственный в своём роде и не повторяется.
База очень часто обновляется , какие-то идентификаторы пропадают , какие-то появляются , место появления рандомно ( может появиться как в начале , так и в середине или в конце )
Задача всего одна : Найти наилучший способ быстро найти все НОВЫЕ значения , добавленные за последнее время. ( Проще говоря посмотреть , что нового появилось в таблице , а что исчезло спустя пару минут )
Задача кажется простой , но я раньше не работал с таким объёмом данных.
На ум сразу приходит мысль просто добавить все эти идентификаторы в свою базу SQliteStudio , а после ... просто каждый идентификатор из БАЗЫ САЙТА сравнивать с моей базой ? ... Если в моей базе идентификатора нет - добавить в мою базу. Если в БАЗЕ САЙТА нет идентификатора , а в моей есть - удалить из моей базы.
Но , товарищи , не стреляю ли я из пушки по воробьям?
Может быть есть более утончённый метод или функция , чем простой поиск по 1 строке и сравнение с моей базой ?
Скорость важна , поэтому хочу услышать ваши мнения : много ли у меня вариантов решения ?
Простой