Как решить задачу с Shared hosting,CSV,php на новый год?

Question

[Фаёзжон Бердиев]

Доброе время суток уважаемый коллега, брат по оружию, друг,брат и просто читающий сей текст!
Во первых пользуясь случаем поздравляю с наступающим новым годом!
Желаю:
Всех благ!
Компилируемого кода, кроссбраузерных версток, 100% аптайма, увеличения CTR и всего хорошего! :-)

Задачка на праздники досталась
Веду стартап по поиску лекарственных средств, база данных лекарств каждый день должно обновляться путем импорта CSV файлов, было время стандартным циклом мог считать файл в память php и отправить ActiveRecordом прямо в бд BATCH INSERT.

Прошло некоторое время, подключенных аптек стало больше соответственно файл импорта стал большим.
Решил делить файл и потом циклически проходить на импорт.
В данном случае из за того что хостинг Shared при импорте файлов в во время цикла Apache уходит в глубокий 500.
Как бы правильно реализовать CRON Задачу чтобы он импортировал полностью все файлы.
К примеру apt_1.csv - apt_14.csv и таких могут быть разного количества.

Буду рад Вашим подсказкам, обсуждениям, переход на VDS\VPS пожалуйста не будут приниматься как ответ к задачке

Спасибо большое заранее

Answer 1

[Alex Safonov]

Импортируйте из файла построчно. Каждые 5 минут 100 строк (например).
Организуйте хранение указателя строки в БД/memcahce.

-------------

Можете попробовать тротлить через usleep()

$z=0;
foreach($data as $k=>$v){

  $z++;
  if($z===50){
    $z = 0;
    usleep( 200000 );// 0,2 sec
  }
}

Comments

[Фаёзжон Бердиев]

Спасибо, посмотрим что еще, могут предложить =)