Как редактировать данные на лету при импорте из файла?

Question

[monday_suicide]

Всем привет. Есть scv файл в 600 млн строк. Нужно сделать импорт, но есть проблема. В некоторых строках встречается символ, который является делимтром, из-за этого программа думает, что нет нужного столбца. Может кто сталкивался? Как решить эту проблему?

Comments

[Slava Rozhnev]

Я бы сначала сделал исправления в файле

[mayton2019]

А как ты будешь угадывать где символ делимитер а где настоящий?

Я к чему это спрашиваю. Есть автоматизация замен символов в unix системах например через sed, awd, tr
и прочие утилиты. Но чтобы они заработали нужен четкий алгоритм.

У тебя есть этот четкий алгоритм?

[Дмитрий]

mayton2019, для того что бы был четкий алгоритм, нужно четко знать что за данные что за делимитер. вполне возможно что там данные можно выдернуть каким нибудь egrep

[monday_suicide]

mayton2019, Дмитрий Всего три столбца.
Делимитр |
1 - timestamp
2 - строка
3 - json.
в 1 столбце символа быть не может.
в 2 - они встречается
в 3 - тоже может встречаться, но тут можно сыграть на том, что строка всегда начианется и заканчитвается на {}

[Дмитрий]

monday_suicide, ну приведите пару ошибочных строк и пару корректных. мне кажется просто стоит вырезать первую колонку по патерну таймстампа, третью по {} а вторая как бы сама организуется из остатка.

[monday_suicide]

Дмитрий, Да, я тоже так думал. Просто может я и вопрос не правильно сформулировал. Я просто думал, что такие манипуляци можно сделать на лету, средствами psql непосредственно при импорте.
Теперь посоветуйте инстурмент для такой задачи. Чуть ниже есть совет, но думается мне, то есть более простое решение. Я просто с такими объемными файлами никогда не работал, собственно и не знаю как это делать правильно. Отсюда и вопросы.

[Дмитрий]

monday_suicide, дык можно на лету как нибудь так как мне помнится:

sed pattern file | psql db -c "COPY table FROM STDIN DELIMITER '|' CSV HEADER"

осталось только написать pattern

[monday_suicide]

Дмитрий, спасибо!

[monday_suicide]

Дмитрий, Перенесите в ответы, я отмечу решением.

[Дмитрий]

monday_suicide, да это не решение - это указание куда копать.

[mayton2019]

Дмитрий, это в принципе 99% решение. Дальше пускай автор создает другой вопрос по регуляркам.

[Akina]

monday_suicide,

В некоторых строках встречается символ, который является делимтром, из-за этого программа думает, что нет нужного столбца.

Если разделитель полей в значении поля не экранирован, значит, CSV некорректен. И по-хорошему нужно корректировать то программное средство, которое выгружает данные.

Всего три столбца.
Делимитр |
1 - timestamp
2 - строка
3 - json.
в 1 столбце символа быть не может.
в 2 - они встречается
в 3 - тоже может встречаться, но тут можно сыграть на том, что строка всегда начианется и заканчитвается на {}

В принципе согласен - разумнее обработать CSV, чем выкручиваться при импорте. Возможный вариант решения при импорте может быть такой: в запросе выполняем импорт всей строки данных в строковое поле, а в триггере BEFORE INSERT выполняем парсинг - откусываем в первое поле всё от начала до первого разделителя (его самого вообще удаляем), а в json-поле всё после первого разделителя и открывающей фигурной скобки (если строковое поле может содержать такой фрагмент - то от скобки, комплементарной закрывающей фигурной).

Answer 1

[Максим Припадчев]

читай сначала pandas'om по частям. Затем решай проблему с данными или пропускай плохие строки или применяй к ним свою функцию, которая поможет растолковать что является делимитром в определенной строке и записывай ну или в базу тем же pandas'om или в csv файл и затем импортируй его в базу уже.

читать по частям pandas

import pandas as pd
chunksize = количество строк
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    # подправляешь свой фрейм

Каждый chunk это фрейм, если у тебя будут проблемы с делимитром он выдаст ошибку. Твоя задача написать код который это дело поправит, pandas имеет очень мощный I/O функционал. https://pandas.pydata.org/docs/user_guide/io.html По ссылке найдешь доки не только насчет ошибок при чтении csv файлов, но и как писать в базу, метод to_sql. Он имеет параметр имя таблицы, соедениение и if_exist, так вот в if_exist поставишь append. То есть каждый твой подправленный кусок файла он будет складывать в таблицу в базе.
https://pandas.pydata.org/docs/reference/api/panda...