Как ожидать выполнение циклической функции?

Question

[yopive3562]

Доброго времени суток! Горожу какой-то дикий костыль, как мне кажется.
Цель такая - ожидать выполнение данных партиями и на основание результатов что-то делать. Здесь нельзя просто воспользоваться await'om какой-то там функции.
Попробовал сделать через такую конструкцию:
Когда приходят данные, добавляем в пул текущей итерации и ожидаем промиса после выполнения requestPull[currentRequestNumber]["promise"]. После этого вытаскиваем результат, который принадлежит данным.
Проблема в том, что иногда уже в процессе выполнения приходят новые данные. Они добавляются в текущий пул, но данные уже обрабатываются. Из-за этого в резалте их не будет. При возвращение промиса при попытке получить результат с этими данными будет undefined. И эти данные теряются.
Каким преобразовать структуру или как все переделать?(

requestPull[currentRequestNumber] = {
            "currentRequestNumber": currentRequestNumber, //текущий номер итерации
            "promise": run(), //возвращает промис при выполнение
            "data": [] //входные данные
            "result": {} //результат выполнение run() для каждых данных
        }

upd1:
Допустим, данные приходят каждую секунду. Данные нельзя обрабатывать отдельно. Обработка всех пришедших данных занимает 2+3 секунд.
При старте обработки первые две секунды происходят некоторые действия. После этого берутся все данные и начинается обработка. Все данные пришедшие за след три секунды будут потерены.
Промис отработает после окончания обработки ^5 секунд(закончится обработка)^, но результатов не будет по таким данным.
Все числа условные.

Comments

[WbICHA]

Здесь нельзя просто воспользоваться await'om какой-то там функции.

А что мешает?
Пока что вообще непонятно зачем обрабатывать данные до их поступления в полном объёме.

[yopive3562]

WbICHA, данные приходят в полном объеме. Дальше идёт обработка. Обработка кусками для облегчения. Выполнять 1 обработка = 1 данные нельзя.

[WbICHA]

Обработка кусками для облегчения

Для облегчения чего?

[yopive3562]

WbICHA, это не так важно. Производительности, трафика, кол-ва запросов и тд. Так нужно.

[WbICHA]

yopive3562, и каким образом улучшается производительность, уменьшается трафик и количество запросов при твоём подходе? Единственное, что меняется ─ это скорость. Немного. Но именно её ты не упомянул.
В резулте тебе всё равно всё ждать. Вопрос только в том, откуда ты знаешь, что пришли и обработались все данные, а не часть? Если ты знаешь, сколько их должно быть, то всё просто, но если не знаешь...

[yopive3562]

WbICHA,
Допустим, данные приходят каждую секунду. Данные нельзя обрабатывать отдельно. Обработка всех пришедших данных занимает 2+3 секунд.
При старте обработки первые две секунды происходят некоторые действия. После этого берутся все данные и начинается обработка. Все данные пришедшие за след три секунды будут потерены.
Промис отработает после окончания обработки ^5 секунд(закончится обработка)^, но результатов не будет по таким данным.
Все числа условные.
И ответы на вопрос:
Я не знаю сколько будет данных и как часто приходят. Я знаю, когда закончится обработка.

[WbICHA]

Я не знаю сколько будет данных и как часто приходят.

Данные нельзя обрабатывать отдельно.

Хорошо, а как ты определяешь, что все данные пришли и новых больше не будет?

После этого берутся все данные и начинается обработка. Все данные пришедшие за след три секунды будут потерены.

Тут я не понимаю каким образом ты начинаешь обрабатывать часть данных, если их нельзя обработать отдельно?
Или ты обрабатываешь все? Но тогда почему ты после получения всех данных продолжаешь получать ещё данные?

Пока что я предполагаю, что тут можно очередью воспользоваться, но я по прежнему не понимаю зачем.

[yopive3562]

WbICHA, никак не определяю, что пришли все данные. Грубо говоря раз в 5 сек или раз в 5 секунд после поступления первых данных начинается проверка.

Пока что я предполагаю, что тут можно очередью воспользоваться, но я по прежнему не понимаю зачем.

Есть уже готовая рабочая логика. но с кучей костылей с while' лупами и тд.

Окей, реализация с очередью может быть похожей на то, что есть сейчас. Как с помощью очереди ожидать выполнение циклической функции по обработке данных? Просто есть небольшое окно во время обработки, когда данные уже ожидают промис, но после выполнения этой обработки в результатах не будет информации для этих данных

[WbICHA]

yopive3562, без кода тут я мало чем помогу. Я себе слабо представляю что там реализовано.
Впрочем, если кода много, то и разбираться мне с ним будет лень.