Подскажите инструменты для обработки текстовых файлов/скриптовые языки, которые содержат удобные механизмы для этого.
Нужно что-то вроде СУБД для текстовых файлов.
Файлы - выгрузки из различных систем (совсем различных). Может быть много. Объемы до 10 гб, несколько десятков миллионов строк.
Необходимо: агрегировать данные из выгрузок/ изменить по определенному правилу, выбрать записи, соответствующие критериям/статистика на основе данных/сводные данные.
Требования к инструменту: простота установки и переноса, высокая скорость работы и гибкость.
Желательно: регулярки, низкий порог входа для пользователей.
Платформа: Windows 7 x64.
Для железа: i5-2520M, SSD, 8 GB RAM
Платная/бесплатная - не принципиально.
Почему не классические БД: не всегда известно, что за тип данных содержится в полях, некоторые записи могут битыми. Индексы в принципе не нужны - требуется 10-15 отчетов по предоставленным данным.
Но если подскажите что-нибудь, что все же подходит - буду рад)
Lua или Python. LuaJIT работает очень быстро, есть паттерны вместо регулярок, которые тоже быстро работают.
Я так понимаю идёт агрегация из многих текстовых файлов разного формата в один? Скажем CSV или построчный JSON.
Насколько высок порог для входа? Возможно быстро натаскать непрограммистов на решение типичных задач? Да, в том числе и агрегация. Но в любом случае на основе собранных данных нужны сводные данные.
Простой
Простой
Средний
