Если нужно просто добавить много записей: Используйте INSERT IGNORE + массовый инсерт, например:
INSERT IGNORE INTO tablename (field1, field2) VALUES (1,2) (3,4) (5,6)
Если нужно и добавлять и изменять записи: используйте ON DUPLICATE KEY + массовые инсерт, например:
INSERT IGNORE INTO tablename (field1, field2) VALUES (1,2) (3,4) (5,6) ON DUPLICATE KEY UPDATE tablename.field1 = VALUES(field1) ;
ну и не стоит забывать про индексы, а если база особо большая рекомендую и партицирование сделать