Как ускорить работу с большими таблицами данных?

Question

[acroloid]

Здравствуйте, я не программист и просто изучаю python для автоматизации некоторых своих рабочих задач.
У меня есть данные в формате txt, делитель - табуляция, около 200 тысяч строк и около 200 столбцов.
Хотел написать небольшую программу для удобного поиска по таблице для некоторой автоматизации работы. Набросал гуи на Pyqt, данные подгружаю через pandas и если pandas загружает таблицу за 12 сек, что в целом терпимо, то загрузка из pandas в модель данных Qt уже занимает кучу времени, кушает более 6 гб ОЗУ и причем после чего все падает. Похоже, что Qt не способна обрабатывать такое количество данных. (на маленьком количестве данных все работает просто отлично)
Какие есть способы загрузки и работы с такой таблицей данных? Может предварительно перевести таблицу в SQL? Мне нужно просто осуществлять поиск (точнее - фильтрацию) данных по отдельным столбцами и при необходимости формировать отчет по отобранных значениям.

Comments

[Akina]

Данные - статические? изредка меняющиеся? постоянно обновляемые?
Поиск - что именно ищется? точное значение? приближённое? подстрока? прочее? один критерий или несколько сразу? в последнем случае - схема объединения всегда через И, или возможны различные шаблоны выражения?
Какой размер файла?
Почему вопрос помечен тегом Excel? изначально это экселёвая таблица, которая сохраняется в TSV? если так - почему бы не работать без конвертации, прямо в экселе через VBA? ну или из питона?

[acroloid]

Akina, данные статичны. Ищется частичное совпадение по шаблону по одному столбцу. Размер таблицы - 300 мб.
Excel, потому что хотел сначала написать в вопросе про него, чтобы вести поиск данных и формирование отчета при использовании excel, но потом я эту мысль отбросил, а тег удалить забыл, но все равно такой вариант имеет место быть.

[Akina]

Ну если данные статичны, затолкайте их в SQLite. Вроде и вменяемый SQL, и с установкой сервера не возиться.

Хотя, конечно, неплохо было бы сказать, что в данном случае "шаблон", и даже показать пару примеров. Кстати, как насчёт регистрочувствительности и прочих прелестей, который портят жизнь при текстовом поиске?

Answer 1

[Everything_is_bad]

Да, в sql базу, плюс разобраться с индексами

Answer 2

[Максим Припадчев]

1. Сделай дашборд plotly + dash, он может работать, как с базой данных, так и pandas фреймом. Там же есть объект таблица для красивого вывода, + огромное количество графиков, пользователь будет вводить, что он хочет вывести, ты будешь делать запрос к фрейму и выводить. Все доки в принципе ориентированы на работу с фреймами, бд как пример берется, возможности огромные. plotly+dash

2. Есть в принципе отдельная библиотека pandasgui Функционал слабенький, но фильтрацию поддерживает.

Не знаю поможет ли это тебе в твоей проблеме, но раз речь в том числе и о скорости pandas то упомянуть об этом следует, пару недель как nvidia выпустила расширение, которое очень серьезно ускоряет pandas (GPU acceleration). читать здесь

Comments

[acroloid]

Спасибо за советы! Попробовал, ну вообщем оба способа вполне себе рабочие, но в плане скорости работы и потребления ОЗУ не очень. Пандасгуи грузил таблицу две минуты, а далее жестко тупил и кушал прилично ОЗУ, для плотидаша ОЗУ не хватило, полностью таблицу загрузить не смог)))
К сожалению у меня давольно-таки древнее железо, причем видеокарта АМД, так что прелести от нвидиа мне недоступны :(
Уж не знаю, может быть тогда и не грузить всю таблицу целиком, а сразу изначально искать нужные строки по критерию поиска силами пандаса, а потом выдавать результат? Вообщем-то вся таблица то и не нужна как бы.

[Максим Припадчев]

Уж не знаю, может быть тогда и не грузить всю таблицу целиком, а сразу изначально искать нужные строки по критерию поиска силами пандаса, а потом выдавать результат? Вообщем-то вся таблица то и не нужна как бы.

Ну вообще то я думал ты так и делаешь. Какой тебе смысл во всей таблице в выводе. Вывод это подсет фрейма.

[Максим Припадчев]

acroloid, Посмотри, у dash очень хорошие доки. Там есть примеры с маленькими фреймами. И через callback осуществляется взаимодействие с ними. Тебе не надо отрисовывать весь фрем, а только результаты. На самом деле я слабо представляю зачем даже весь подсет нужен, обычно таблицы используются для summary. А для остального графики.

[Максим Припадчев]

acroloid, И посмотри типы данных у своего фрейма, df.dtypes может у тебя там float64, int64. А у тебя данные которые можно хранить по скромнее. Это ускорит дело, по крайней мере на стороне pandas.

[acroloid]

Максим Припадчев, спасибо за советы! Вполне годная инфа для меня как непрограммиста и человека, решившего немного автоматизировать свою рутинную работу)))

Answer 3

[Vindicar]

Я подозреваю, ты пытаешься на каждую строку данных создавать объект PyQT. Такого издевательства оно не переживёт.
Вместо этого при прокрутке определи первую и последнюю видимую позицию в данных, очисти текущее содержимое своего окна с данными, и выведи только видимую часть данных.