ilyakmet
@ilyakmet

Как работать с таблицами >1кк строк?

Стадию парсинга я прошел, теперь надо все разобрать. Excel посылает меня и закрывается. Как открыть таблицу >1кк строк(~200MB)? Пока что могу только через Python ее гонять. Pandas не предлагайте.
  • Вопрос задан
  • 1267 просмотров
Решения вопроса 1
@AndrewFoma
Лично я Pandas могу использовать, но не использую, или крайне редко.
С данными, которые по своей форме "как бы таблицы", можно легко работать. Просто какие требования вы предъявляете к методам работы с данными. И 200 MB это кстати мало, можно обойтись списками.
1. Можно нагородить "велосипедов" через списки и словари. Примитивно, список, где каждая запись это словарь, а ключ - наименования столбца (поле), а дальше как фантазия подскажет
2. Можно использовать sqlite, создавая базу в памяти или на носителе. Смотря какой python и сколько памяти, а уж от sqlite - sql запросы. Несколько миллионов sqlite легко вывозит.
Поэтому: "велосипед", sqlite или pandas.
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
Arseny_Info
@Arseny_Info
R&D engineer
Можно смотреть на визуализацию, используя Tableau.
Но рано или поздно вы все равно придете к pandas или аналогу :)
Ответ написан
DaNHell
@DaNHell
Change the world
EmEditor мой идеал. Под все виды данных, под любые задачи, и конечно же куда более чем 200 мб шаманю им. Открытая рабочая среда только на гигов 5 постоянно.
По возможностям 32гига файлики, но в реалии, 3-4 гига есть смысл через EmEditor, темболее если работа со столбцами и табличными видами.
Остальое проще grep/cll
Нет, это даже не близко (а по мне куда на мноо шагов дальше) нежели exel. Но гибкость, быстродействие и объемы если и уж не лучшие что предлагают, то одно из самых лучших.

Конечно повозиться с конфигами "под себя" прийдеться и не 1 недельку, но оно того стоит. Пока экскель будет грузиться, задача уже выполнена в EmEditor ) имхо)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы