wataru, я что-то не могу понять, а буквами вы какие элементы обозначили?
Просто данные у меня именно в такой последовательности которую я представил в виде словаря Питона. Словарем наверно это не стоило делать т.к. он не для упорядоченных данных, но зато наглядно.
Условно говоря, есть лента с данными и структура. Мне вот идя по этой ленте нужно структуру сверху-вниз заполнять.
Иван Шумов, к сожалению БД поменять не могу.
Есть постоянно пополняемый архив данных и приложение которое их приводит к требуемому виду. У приложения есть набор правил разбора. Правила - в виде текстового конфига. Задача выполнить процессинг всех данных путем подкидывания новых правил и нажатию на кнопку "попытаться зарепроцессеить зафейленые".
По идее как только архивные данные будут обработаны хватит и одной копии приложения. Но вся проблема в том, что я могу трогать только правила, но у меня нет исходников самого приложения которое эти правила обрабатывает.
Иван Шумов, да я вот тоже про это думал, только вариант писать результаты на файловую систему и потом сливать их в один большой INSERT (в нормальную БД) мне не очень нравится. Или это может быть решением?
Ну может хватило бы 50 ядер. Просто я не знаю как планировщик процессов все раскидывать будет.
По идее разово т.к. когда будет обработано 100% данных и все будет слито воедино я смогу запускать одну копию которая будет свежие данные успевать обработать.
Пока вся проблема в архивных данных.
Иван Шумов, а файловые блокировки в какой момент? Просто у меня 90% всех тормозов от одиночных INSERT-ов, но из за специфики данных пакетную вставку сделать не совсем понятно как т.к. мне нужно каждый раз заваленные результаты анализировать и вносить правки в лежащие в виде текста правила разбора
>Oт SQLite придется отказаться
Увы приложение только с ней работает. Ну то есть у меня есть возможность результат на файловую систему писать, но не уверен, что это лучше.
А эти все сервисы про одно и тоже? Или есть какие-то нюансы?
ProjectSoft, про переход на "оси на базе Linux" слышу уже 20 лет. В Гос-структурах Линукс не вперся вот от слова совсем. Там никто не будет ни софт под него портировать ни специалистов переучивать.
Adamos, "Тридцать лет назад я был таким же идиотом и уверенно заявлял, что уж английский-то мне в жизни точно не понадобится..."
Да блин! Зато Линукс понадобится! Сейчас кем бы не пришел устраиваться спрашивают "ты линукс знаешь?"
Просто данные у меня именно в такой последовательности которую я представил в виде словаря Питона. Словарем наверно это не стоило делать т.к. он не для упорядоченных данных, но зато наглядно.
Условно говоря, есть лента с данными и структура. Мне вот идя по этой ленте нужно структуру сверху-вниз заполнять.