Хочу написать программу, которая будет периодически обновлять данные с сайта, сохранять в базе и выводить, но вот в чем трабла, на сайте информации over 1000 и эта информация обновляется , как сделать такое:
При первом запуске нужно загрузить информацию с сайта / сохранить и выводить (тут в голове такая реализация - посмотреть сколько записей в таблице sqlite и если их нет, то выгрузить всю информацию)
При последующих запусках нужно проверить есть ли данная информация и если нет, то добавлять (а вот как тут быть? снова загрузить over 1000 записей и пройтись по всем с проверкой есть ли такая запись и если нет, то добавить?)
Кто сталкивался с подобным функционалом поделитесь как лучше реализовать
