Быстрый софт для работы с большими базами?

Question

[markwin]

Подскажите софт под Windows для работы с плоскими (текстовыми) файлами. Нужно: вычитание базы А из базы Б, объедение двух и более баз, поиск и удаление дублей, сортировка по алфавиту, сортировка по собственным критериям, перемешивание. Файлы в формате txt, по одной записи в строчке в таком виде: abcdfgh#1234567. Средний объем файла равен 1 000 000 записей = 25 Мб. Желательно, чтобы программа была 64 битной. Майкрософт эксель и аксесс не предлагать. Спасибо за ответы.

Comments

[Иван]

25 метров - большая база? Srsly?
Excel ваш выбор.

[markwin]

Иван: Благодарю за ответ, но я написал, что эксель не предлагать.

[kalapanga]

Иван: У Excel, по-моему, как раз немного больше миллиона строк на лист влезает - может не хватить

Answer 1

[Армянское Радио]

Загрузить в Postgres, выучить SQL.

Comments

[markwin]

Увы, нет времени на изучение SQL

[Армянское Радио]

markwin: Учитывая, что в этом языке всего два десятка конструкций, есть визуальные редакторы и учебники для детей, у меня для вас плохие новости.

Answer 2

[Анатолий Медведев]

Вашем случае идеально думаю подошли бы(в плане скорости обработки) вот эти инструменты https://www.opennet.ru/docs/RUS/bash_scripting_gui...

что бы их использовать под виндой можно воспользоваться этим babun.github.io

Comments

[markwin]

Спасибо! Как вариант подойдет, хотелось бы конечно более простое решение.

Answer 3

[res2001]

Быстро работать с текстовыми файлами не получится - любая операция поиска приводит к необходимости читать файл с начала.
Можно лишь говорить об относительно быстрой работе, допустим пока файл влазит в оперативную память. Ваши 25 Мб пока что вполне влезут, но если планируется серьезное увеличение объема в будущем, то хранение в текстовом виде станет вскоре большим тормозом в обработке.
Для работы с текстовыми файлами полно разных инструментов типа sed, grep, awk, sort, cmd/ps/bash scripting. Но все это общие инструменты для работы с не структурированным текстом. Поэтому вам придется самому реализовывать ваши хотелки либо с помощью этих инструментов, либо изобретать свои.

Оптимальный вариант - конвертировать в SQL базу, как сказал Армянское Радио

Comments

[markwin]

Все прекрасно понимаю, но одного понять не могу, неужели за 30 лет существования Microsoft Windows никто не написал простой утилиты для работы с txt.

[NOONE]

markwin: Почему не написали? написали, Блокнот например, простая утилита для работы с txt

[Saboteur]

markwin: Простых утилиток полно, но ваши требования СОВСЕМ НЕ простые. Такие задачи просто и элементарно решаются в SQL, который учится за 2 дня.

[res2001]

markwin: :) вы упорствуете в своем заблуждении.
А почему вы берете только Windows? Базы данных и текстовые файлы появились, наверное, сразу как только появилась первая ЭВМ и первое хранилище информации.

В ODBC/ADO есть драйвер для работы с csv - это те же текстовые файлы с разделителями. Там можно использовать SQL для запросов. Но возможности этого драйвера сильно ограничены и он не поддерживает весь стандартный набор SQL команд. Он годится только для простейших операций. Для ваших целей он вряд ли подойдет.

Кстати, пока писал, пришла мысль - можно воспользоваться Accessом - база данных, SQL поддерживается, есть всякие визуальные конструкторы и прочие плюшки, разобраться будет не сложно. Поддерживается импорт/экспорт из/в текстовых файлов.

[NOONE]

res2001: Ваши мысли грамотны, но все же не первый раз сталкиваюсь, когда дают ответ, не читая вопроса)
Топикстартер написал же:
"Майкрософт эксель и аксесс не предлагать".

Answer 4

[АртемЪ]

Python.

Answer 5

[markwin]

Благодарю всех за ответы, но я ищу win 32/64 приложение которое будет выполнять одну или все из перечисленных функций. Написание макросов, скриптов, работа с *nix, базами данных, питоном, с командной строкой Powershell не входит в фокус моего вопроса.

Спасибо за понимание.

Answer 6

[Артемий]

R