Спасибо решил свою задачу.
Оставлю решение на будущее для тех кто тоже ищет решение:
Использовал REDIS тип списки
Из нужной таблицы выгружаем все ID в список
дальше используем lpop - удалить и получить элемент сначала списка
сразуже за ним rpush -- помешаем эту же запись в конец списка
Решаем проблему сортировки по used_date (updated_at)
Получается механизм очередей, но при этом все происходить очень быстро.
Дальше уже делаем get по id в нашу базу и получаем информацию и делаем все что нужно.
дублей ( повторных получений записи при 10000 одновременных запросах не обнаружено)
Тест проводился на 52 млн записях ( хотя нужно было для 1 млн, но при первой попытке задублировал все данные)
2 пункт гонять меньше данных наоборот не возможен, данные гоняются в обе стороны в realtime
Постоянно. Скорость передвижения, путь, состояние оборудования итд.
3)Вроде на php нельзя делать постоянное подключение. точнее в модели nginx->restapi...
Sanes, а что плохого в том что ему подсказали и не только в части php.
А то с чем чаще всего сталкиваются люди которые заботятся о безопасности сайта.
Или которых уже взламывали. Каждый высказал свой совет и опыт.
Hanneman, начало вопроса тут Что это за ошибка на сайте? =)
авто хоть отметьте что там решена та ошибка.
А тут да скорее всего ошибка из за блокировки. Прокси нужно к такому делу подключать.
или api использовать не работал не знаю есть ли у них.
Юрий Щеголихин, мы не сможем ответить на этот вопрос так как очень мало данных.
Какая cms. Полный код. В какую переменную данные присвоили ту и нужно использовать
Оставлю решение на будущее для тех кто тоже ищет решение:
Использовал REDIS тип списки
Из нужной таблицы выгружаем все ID в список
дальше используем lpop - удалить и получить элемент сначала списка
сразуже за ним rpush -- помешаем эту же запись в конец списка
Решаем проблему сортировки по used_date (updated_at)
Получается механизм очередей, но при этом все происходить очень быстро.
Дальше уже делаем get по id в нашу базу и получаем информацию и делаем все что нужно.
дублей ( повторных получений записи при 10000 одновременных запросах не обнаружено)
Тест проводился на 52 млн записях ( хотя нужно было для 1 млн, но при первой попытке задублировал все данные)