SemenDemon

faiss опубликовал статью поиска по 1млрд изображений. там с кластеризацией и все довольно интересно.
Но оказалось проще всего использовать lsh хеширование и кассандру.

у вас история в отдельной таблице хранится. если есть редко используемые данные разбейте таблицу postgresql.ru.net/manual/ddl-partitioning.html
но скорей всего правильно вам написали, не нужно оно еще вам.

решение: запросы к скрипту делались через google chrome (предварительная загрузка браузера)
localhost/cron/vk/load_real/2
localhost/cron/vk/load_real/3
localhost/cron/vk/load_real/4

когда руками меняешь id хром подгружает превью страницы еще до перехода.
то есть:
1) в адресной строке было localhost/cron/vk/load_real/2
2) удаляю 2 (нажатие backspace) localhost/cron/vk/load_real
3) пишу 3 (enter еще не нажимаю) localhost/cron/vk/load_real/3
а хром зараза уже подгрузил страницу localhost/cron/vk/load_real/3
4) нажимаю enter (что бы получить страницу localhost/cron/vk/load_real/3)
в итоге получаю сбитый счетчик времени. скрипт отрабатывается последовательно, как требуется. а в результате вижу страницу time()+1 и создается ложное ощущение паралельного выполнения.