• Как ускорить работу с большими таблицами данных?

    @acroloid Автор вопроса
    Akina, данные статичны. Ищется частичное совпадение по шаблону по одному столбцу. Размер таблицы - 300 мб.
    Excel, потому что хотел сначала написать в вопросе про него, чтобы вести поиск данных и формирование отчета при использовании excel, но потом я эту мысль отбросил, а тег удалить забыл, но все равно такой вариант имеет место быть.
    Написано
  • Как ускорить работу с большими таблицами данных?

    @acroloid Автор вопроса
    Максим Припадчев, спасибо за советы! Вполне годная инфа для меня как непрограммиста и человека, решившего немного автоматизировать свою рутинную работу)))
    Написано
  • Как ускорить работу с большими таблицами данных?

    @acroloid Автор вопроса
    Спасибо за советы! Попробовал, ну вообщем оба способа вполне себе рабочие, но в плане скорости работы и потребления ОЗУ не очень. Пандасгуи грузил таблицу две минуты, а далее жестко тупил и кушал прилично ОЗУ, для плотидаша ОЗУ не хватило, полностью таблицу загрузить не смог)))
    К сожалению у меня давольно-таки древнее железо, причем видеокарта АМД, так что прелести от нвидиа мне недоступны :(
    Уж не знаю, может быть тогда и не грузить всю таблицу целиком, а сразу изначально искать нужные строки по критерию поиска силами пандаса, а потом выдавать результат? Вообщем-то вся таблица то и не нужна как бы.