Можно и консольно. Но если запускать консольно, и также возникнет какая-то ошибка (например интернет отпадет) - то что будет с результатами вашего процесса ?
Поэтому придумали такую штуку под названием "Очередь".
Евгений Вольф, ваши мысли хороши. Если оторваны от контекста.
А человек задал конкретный вопрос: "Почему не сходится число уникальных записей".
Вы же предлагаете альтернативы, которые, судя по всему, могут не работать в определенных ситуациях. Зачем их предлагать?
А рассуждения какой должен быть хостинг, как нужно общаться с заказчиками отношения к вопросу не имеют.
Если есть желание понять как все работает на чистом PHP - конечно же попробуй. Я бы посоветовал тогда не использовать никаких сторонних пакетов тип redbeanphp и т.д. В чистом PHP все есть для работой с базой данных. В конечном счете все модули/пакеты/фреймворки используют внутри также эти инструменты.
На фреймворк переходи когда появится понимание того, что ты устал создавать инструменты, и наконец хочешь создать программу.
Из фреймворков Codeigniter самый простой для новичка.
Посмотри Codeigniter. Лёгкий фреймворк, в котором есть все для того, чтобы начать разрабатывать программу, а не инструменты для нее.
Redux/Huyux это все хорошо, но не для текущего уровня.
вот сигнатура метода в классе Loader:
public function controller($route, $data = array())
что означает, что 2-ым параметром можно передать данные. Это должен быть массив.