Oscar Django

У меня стояла подобная задача: надо было из файла добавлять данные, которых нет в базе. В файле было 4 000 000 записей и в базе столько же. Итого чтобы их пройти надо было совершить примерно 8*10^12 итераций.

Поэтому я одним запросом получал из базы все значения полей по которым шло сравнение с сортировкой по ним. Дальше проходил в цикле по всем записям из файла и бинарным поиском находил те которых нет в базе. Итого получалось не более 5*10^7 итераций и 1 запрос к базе чтобы найти записи из файла которых еще нет в базе.

Но у меня были числовые данные по которым легко бинарным поиском искать и сравнение шло только по 2 полям таблицы.

Как мне это видится:
1) Одним запросом получаешь товары из базы
2) Парсишь прайс
3) Сравниваешь полученные на шаге 1 и 2 списки
4) На их основе формируешь списки для добавления и обновления
5) С помощью bulk_create или create создаешь товары, c помощью update обновляешь
6) ...
7) Profit
То есть по сути как вы и написали (если я правильно понял)

Таблицу менять не нужно. Просто создаешь модель, делаешь makemigrations, migrate и все.
В модели описываешь таблицу:

class MyModel(models.Model):
    id = models.IntegerField(primary_key=True)
    name = models.TextField(db_column='name_in_your_db', blank=True)
    info = models.TextField(db_column='info_in_your_db', blank=True)
    ...

    class Meta:
        managed = False
        db_table = 'profiles_groups'