Как отсортировать ответы при использовании многопоточности?

Question

[smf002]

Доброго времени суток.

В большом файле построчно расположены запросы к некому API сервису. Необходимо брать из файла эти запросы, выполнять вызов API и складывать ответы в один файл, причем порядок сохраненных ответов должен соответствовать порядку запросов (если запрос находится в седьмой строке, то и ответ на него должен быть в новом файле в седьмой строке). При последовательном выполнении получается довольно долго. При распараллеливании на несколько потоков с использованием очереди получается, что из-за неравномерности времени ответа сервиса, ответ на 7-ой запрос может быть получен позже чем на 8-й и в результирующем файле будет несоответствие. Формировать из ответов список или словарь для последующей сортировки не вариант, т.к. исходный файл может содержать до миллиона запросов. Подскажите алгоритм действий в данном случае.

Answer 1

[un1t]

Складывай в базу с указанием номера. Потом если надо в файл выгрузишь отсортировнные данные.

Comments

[smf002]

Да, была такая мысль. Неохота еще и базу приплетать плюс все равно придется селект с сортировкой делать всего миллиона записей и чем это лучше списка или словаря в данном случае? А результатом должен быть csv файл.

[un1t]

smf002: Словарь в памяти, а база на диске. Ты так говришь про селект с сортировкой, как будто это нечто сложное.

[smf002]

Но получается, чтобы выгрузить отсортированную таблицу в текстовый файл из БД нужно сделать что-то типа select * from table_name order by id и весь миллион записей окажется в памяти?

[un1t]

smf002: не окажется, в памяти максимум окажется индекс по этому полю. В mysql/postgres есть команды для выгрузки в csv.

[smf002]

Спасибо за ваши комментарии.

[un1t]

Да пожалуйста. Как в итоге сделал-то?

[smf002]

Беру порциями запросы из файла, формирую из них очередь, пробегаю очередь в несколько потоков, формирую лист из ответов, сортирую и выгружаю в файл. С базой было бы проще, но решили, что не очень целесообразно поднимать её там где скрипт крутится.

[angru]

smf002: можно и не поднимать

[smf002]

в файлик или sqlite?

[angru]

smf002: не совсем понял, но sqlite это и есть файлик с базой, только он не предполагает доступа из нескольких потоков

[smf002]

да, под вечер мысли формулируются с трудом :-). Будет время попробую через базу сделать.

Answer 2

[lega]

Если размер ответа у всех запросов одинаковый, то можно записывать прямо по адресу (как в массиве). А так, можно сделать ф-ию save(index, result), через которую и сохранять результаты, она будет придерживать ответы соблюдая очередность, используя то же словарь например, в итоге, даже если у вас миллиард запросов, а параллельно отрабатывают только 1000 запросов, то размер словаря не превысит 1000.

Comments

[smf002]

Спасибо за наводку, попробую этим путём пойти.