Я взял МарияДБ из названия понравилось и логотипа. ну и то что вроде как усовершенствованное ответвление майскуэл.
Пару баз по 10 гб залил, главное нужные индексы сделать—тогда запросы по выборкам летают.
сначала insert с уникальным полем — запись не добавится если уже есть.
а потом запрос update.
точнее, лучше поменять местами, наверное. сначала обновить записи что уже есть, а потом добавить. дублей не будет так как id сделан как уникальное поле.