Ответы пользователя по тегу Парсинг
  • Как работать с таблицами >1кк строк?

    @AndrewFoma
    Лично я Pandas могу использовать, но не использую, или крайне редко.
    С данными, которые по своей форме "как бы таблицы", можно легко работать. Просто какие требования вы предъявляете к методам работы с данными. И 200 MB это кстати мало, можно обойтись списками.
    1. Можно нагородить "велосипедов" через списки и словари. Примитивно, список, где каждая запись это словарь, а ключ - наименования столбца (поле), а дальше как фантазия подскажет
    2. Можно использовать sqlite, создавая базу в памяти или на носителе. Смотря какой python и сколько памяти, а уж от sqlite - sql запросы. Несколько миллионов sqlite легко вывозит.
    Поэтому: "велосипед", sqlite или pandas.
    Ответ написан
    2 комментария