Mouvdy

Похожую задачу решил для себя иначе.

Поле в БД сделал уникальным по которому должна была идти проверка.

При импорте делаю только INSERT. В итоге данные или записываются или нет и можно распараллелить :)

1 млн записей на слабеньком сервере за +/- 1-3 минуты выполняется.

Если мне что-то нужно очень конкретное я обычно ищу на:
https://www.phpclasses.org/browse/
На том же php.net часто идут примеры функций после описания
Ну и конечно же черпаю вдохновление на github

Итак, как и обещал:

1. вариант на Bash - pastebin.com/qp7LSLN5 правите и проверяете его, желательно делаете тестового пользователя просто копируете какую-то папку /var/www/xxuser в папку /var/www/Testxxyser и тестируете. Комментарии я оставил. Что нужно минимально правите.

Запускаете ./script.sh

2. Вариант на PHP c несколькими API ключами, скопировал пост с форума, все вроде бы предельно понятно: pastebin.com/gb44ejUq