Задать вопрос
@aglgl

Как записать большие файлы лога в mssql на python?

Есть файлы логов размером по 150 - 750 МБ.
Разделитель по ; и переносу строки.
Нужно прочитать их и записать в sql.
В данный момент делаю построчное чтение и запись, все хорошо даже статус бар прикрутил, но длится это часов 6.
Пробовал брать все записи и пихать 1м запросом при этом sql просто блочится, и используется большое колличество памяти.
Читал про pandas но не совсем уверен что это то что нужно.
Подскажите кто с опытом как правильнее сделать?
  • Вопрос задан
  • 56 просмотров
Подписаться 1 Простой 4 комментария
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Python-разработчик
    10 месяцев
    Далее
  • Skillfactory
    Профессия Python-разработчик
    9 месяцев
    Далее
  • Хекслет
    Python-разработчик
    10 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
tumbler
@tumbler Куратор тега Python
бекенд-разработчик на python
В MySQL есть команда LOAD DATA FROM LOCAL INFILE, в постгресе - похожая. Если там корректный формат CSV, то возможно удастся залить достаточно эффективно. Хотя конечно логи в БД - это не айс.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы