Как правильно посчитать количество строк в CSV при field larger than field limit (131072)?

Question

[Николай Бараненко]

Здравствуйте.

Необходимо из Oracle перегнать данные в Vertica.
Решил воспользоваться через CSV файл, т.к. Vertica достаточно быстро их грузит.
На тестовых таблицах все без проблем.

Принятся работать с боевой схемой, все бы хорошо, НО по статистики из Oracle в CSV ушло 40 000 строк, после загрузки в Vertica оказалось на 300 меньше.
Ни ошибок ни чего.
Хочу разобраться почему так происходит, не нашел друго варианта кроме как посчитать количество строк в CSV файле, по идее их должно быть 40 0000.

вроде бы должно быть все тривиально,

with open(filename,"r", encoding='UTF8') as f:
    reader = csv.reader(f,delimiter = ";")
    data = list(reader)
    row_count = len(data)
print(row_count)

НО уперся в ограничение

data = list(reader)
_csv.Error: field larger than field limit (131072)

какие есть варианты обойти это узкое место или другие методы решения?

Comments

[Anton Kuzmichev]

Так 40000 или 400000?
Может это как-то связано со спецификой Vertica - колоночная БД и всё такое, но разве число столбцов более 100к - это нормально?
UPD: напишите свой парсер CSV или, если это возможно, "форкните" оригинальный CSV-reader, попробовав обойти это ограничение

[sim3x]

https://stackoverflow.com/questions/15063936/csv-e...

[Николай Бараненко]

sim3x: в этой ссылке есть вариант который работает

import sys
import csv
maxInt = sys.maxsize
decrement = True

while decrement:
    # decrease the maxInt value by factor 10
    # as long as the OverflowError occurs.

    decrement = False
    try:
        csv.field_size_limit(maxInt)
    except OverflowError:
        maxInt = int(maxInt/10)
        decrement = True

with open(filename,"r", encoding='UTF8') as f:
    reader = csv.reader(f,delimiter = ";")
    data = list(reader)
    row_count = len(data)
print(row_count/2)

Answer 1

[Astrohas]

Посчитать количество \n в файле?
UPD:
Подсмотрел у симтрикса

import sys
import csv

csv.field_size_limit(sys.maxsize)

Comments

[Николай Бараненко]

пробовал уже такой вариант, НО в контексте есть поля из BLob в которых есть переводы строк исключают этот метод

para_counter = 0
prev = '\n'
with open (filename, encoding='UTF8') as f:
    for line in f:
        if line != '\n' and prev == '\n':
            para_counter += 1
        prev = line
print(para_counter)

получается 79300, что ни есть правда (((

[egor_nullptr]

#> wc -l file.csv

[Astrohas]

Николай Бараненко: симтрикс ответил на ваш вопрос:

import sys
import csv

csv.field_size_limit(sys.maxsize)

[Николай Бараненко]

такой вариант возвращает ошибку

OverflowError: Python int too large to convert to C long

Answer 2

[Николай Бараненко]

благодарю всех,

рабочий вариант учитывающий все особенности у sim3x

import sys
import csv
maxInt = sys.maxsize
decrement = True

while decrement:
    # decrease the maxInt value by factor 10
    # as long as the OverflowError occurs.

    decrement = False
    try:
        csv.field_size_limit(maxInt)
    except OverflowError:
        maxInt = int(maxInt/10)
        decrement = True

with open(filename,"r", encoding='UTF8') as f:
    reader = csv.reader(f,delimiter = ";")
    data = list(reader)
    row_count = len(data)
print(row_count/2)

Comments

[sim3x]

Ето нормально отметить свой ответ решением :)

[Николай Бараненко]

sim3x: не нормально конечно и я его не отмечал как решение, галочка одна :-) и она напротив ответа Хасан Истамкулов. Я оформил ответ для того, чтобы этой информацией можно было воспользоваться, в комментариях не всегда удобно находиться ответы. Оформите пожалуйста свой ответ и я его отмечу как решение. Еще раз благодарю за помощь!!!