Наверное для таких как я, ищущих связи многих к многим. Спасибо за подсказку, где-то в голове на заднем плане была такая мысль, но малоопытность снова заставила сомневаться.
Беру порциями запросы из файла, формирую из них очередь, пробегаю очередь в несколько потоков, формирую лист из ответов, сортирую и выгружаю в файл. С базой было бы проще, но решили, что не очень целесообразно поднимать её там где скрипт крутится.
Но получается, чтобы выгрузить отсортированную таблицу в текстовый файл из БД нужно сделать что-то типа select * from table_name order by id и весь миллион записей окажется в памяти?
Да, была такая мысль. Неохота еще и базу приплетать плюс все равно придется селект с сортировкой делать всего миллиона записей и чем это лучше списка или словаря в данном случае? А результатом должен быть csv файл.
