если это разовая (или не очень частая) задача вы больше времени потратите на распараллеливание, чем просто на импорт.
не нужно искать по всей базе, создайте уникальный индекс и воспользуйтесь
odku или insert ignore (если уверены, что данные такие же).
да и csv - не единый набор данных, его спокойно можно читать построчно. набивать буфер и отправлять пачкой в бд.
в целом: если вам не нужно делать импорт каждые 5 минут, нет смысла ее параллелить.