Александр Мелеховец

Чтобы избежать бардака в данных (аномалий), чреватого их потерей или неоднозначной трактовкой. Про нормализацию и устраняемые каждой нормальной формой аномалии кратко и наглядно написано в книге SQL Antipatterns в приложении А.

приходится ждать завершения для всей пачки

https://github.com/chuyskywalker/rolling-curl

Без PHP-фреймворков - вполне возможно, есть же фреймворки на Python, Ruby, Java. В процедурном стиле - не вопрос, но в итоге оно будет работать медленнее, потому что с нормальным ооп вносить изменения в приложение будет дешевле, чем с процедурщиной, и сэкономленное бабло можно вложить в железо.

Лучший апач2 для друпал - это nginx + php-fpm :)

Запустите виртуалку на digitalocean, скачайте на неё ваш файл с шареда, потом с неё залейте в selectel supload'ом, прибейте виртуалку. Только у облака селектел кажись ограничение на размер файла в 5гиг, по крайней мере, раньше было, уточните.

https://laravel.ru/docs/v5/queries
Выделенное жёлтым

Для первой загрузки вроде как нормально - симфони парсит кучу конфигов и генерит вагон файловых кэшей. Потом это всё попадает в кэш опкодов (у вас же включен opcache?) и шевелится более-менее быстро.

Onlive когда-то был для похожих целей, но закрылся. Возможно, по названию удастся нагуглить аналоги.

Да, для mysql можно.

https://dev.mysql.com/doc/refman/5.7/en/mysql-inse...

The value of mysql_insert_id() is affected only by statements issued within the current client connection. It is not affected by statements issued by other clients.

То есть берётся последний сгенерированный айдишник в текущем соединении.

Можно сохранять в базе версию прайса (timestamp его появления, например) и пробрасывать её с задачей. Когда задача приходит на этап загрузки в базу - сверять версию с актуальной, и если меньше - отбрасывать её. Возможна ситуация, когда уже после начала загрузки приходит новый прайс, тогда для прерывания загрузки устаревшего прайса можно в процессе загрузки периодически ходить в базу и сверять версию. Очереди можно гонять через rabbitmq, если он уже есть в проекте, или запилить в базе, если его нет и плодить сущности не хочется.

Можно ещё посмотреть в сторону спотовых инстансов на амазоне aws.amazon.com/ru/ec2/spot/pricing

Таблица со счётчиками, обновлять либо триггерами, либо из приложения при вставке/удалении, либо по крону, если погрешность допустима.

Можно тип данных для any_id взять поменьше размером, чтоб ужать индекс, но много это не даст.

Отключите в cdbconnection дебаг, профайлинг и всё такое.

Значения добавляйте как $arr[$i] = true и делайте пересечение по ключам, array-intersect-key кажется. По сути это реализация множества.

С vfs_cache_pressure шаманить пробовали?