Как работать с таблицами >1кк строк?

Question

[Mark Adams]

Стадию парсинга я прошел, теперь надо все разобрать. Excel посылает меня и закрывается. Как открыть таблицу >1кк строк(~200MB)? Пока что могу только через Python ее гонять. Pandas не предлагайте.

Comments

[Roman K]

Pandas не предлагайте.

Это почему?

[Mark Adams]

Roman Kitaev: Если возможно, то хотелось бы кнопочки тыкать, а не команды прописывать.

[Roman K]

Илья Кметь: lol. Удачи в бигдате)))

[Александр Скуснов]

В БД никто большие таблицы не открывает, а использует select для выборки.

[nirvimel]

Roman Kitaev: Миллион строк это уже бигдата? Тогда я (да и многие здесь, наверное) ветеран бигдаты. Я как-то считал, что настоящая бигдата начинается от объемов чуть больше, чем хард на домашней машине, поэтому просто недоступна для большинства из нас.

[Mark Adams]

nirvimel: тут начнется вечный срач, биг дата начинается тогда, когда начинаются проблемы с объемами, так что не выделывайся.

[Roman K]

nirvimel: Я думал, поймут. Даже три скобочки поставил, сделав акцент на ироничность высказывания. Ну ладно, скажу по секрету, это была такая типа поддёвка. Парень не справляется со смехотворными данными и хочет "жать кнопочки", посему я пожелал ему удачи в бигдате, тег которой он указал.

[nirvimel]

Илья Кметь: Проблемы с объемами начинаются тогда, когда заканчивается место на диске.
Одно исключение: когда алгоритм решения задачи требует random access по всему объему и этот объем не помещается в оперативку. Это довольно редкий случай, когда для задачи не существует решения через последовательный доступ.

Answer 1

[Андрей]

Лично я Pandas могу использовать, но не использую, или крайне редко.
С данными, которые по своей форме "как бы таблицы", можно легко работать. Просто какие требования вы предъявляете к методам работы с данными. И 200 MB это кстати мало, можно обойтись списками.
1. Можно нагородить "велосипедов" через списки и словари. Примитивно, список, где каждая запись это словарь, а ключ - наименования столбца (поле), а дальше как фантазия подскажет
2. Можно использовать sqlite, создавая базу в памяти или на носителе. Смотря какой python и сколько памяти, а уж от sqlite - sql запросы. Несколько миллионов sqlite легко вывозит.
Поэтому: "велосипед", sqlite или pandas.

Comments

[nirvimel]

200 MB списков и словарей на скрипте с динамической типизацией - это бессмысленное прожигание электроэнергии (пока оно все пересчитается). В питоне для массивов типизированных данных и операций над ними существует Numpy. А структуры наподобие записи в БД описываются так - https://docs.scipy.org/doc/numpy-1.10.1/user/basic... И никаких "пандасов" для этого не нужно!

[Андрей]

nirvimel: 1. Про списки и словари абсолютно согласен, потому и написал "нагородить "велосипедов". Вместе с тем, я считаю подобный способ, быстро одноразово решить свой вопрос, без привлечения сторонних библиотек. Конечно же numpy это сила. Но иногда не хочется тащить следом кучу библиотек;
2. Pandas нужен, причем он прекрасно с numpy в связке используется в том числе в БД;
3. Я, иногда, прежде чем данные куда-то писать или обрабатывать, мне необходимо очистить от мусора, нормализовать, переформатировать, переструктурировать и потом куда-нибудь записать для дальнейшего анализа и нормальной работы. На этом этапе можно и городить огороды и использовать sqlite, или вообще любую другую "нормальную" базу данных, я вообще 10-ки миллионов записей складирую в MS SQL и PostgreSQL.
Сами знаете, способов миллион.

Answer 2

[Арсений Кравченко]

Можно смотреть на визуализацию, используя Tableau.
Но рано или поздно вы все равно придете к pandas или аналогу :)

Comments

[Mark Adams]

умею работать с pandas, но решил на всякий случай задать вопрос

Answer 3

[DaNHell]

EmEditor мой идеал. Под все виды данных, под любые задачи, и конечно же куда более чем 200 мб шаманю им. Открытая рабочая среда только на гигов 5 постоянно.
По возможностям 32гига файлики, но в реалии, 3-4 гига есть смысл через EmEditor, темболее если работа со столбцами и табличными видами.
Остальое проще grep/cll
Нет, это даже не близко (а по мне куда на мноо шагов дальше) нежели exel. Но гибкость, быстродействие и объемы если и уж не лучшие что предлагают, то одно из самых лучших.

Конечно повозиться с конфигами "под себя" прийдеться и не 1 недельку, но оно того стоит. Пока экскель будет грузиться, задача уже выполнена в EmEditor ) имхо)