Как увеличить скорость работы «парсера» на python?

Question

[xlamys]

Добрый день.
Есть скрипт на python, который разбирает csv файл из 5 столбцов и 25-30 тыс. строк.

Следовательно, в скрипте происходит итерация по файлу, выполнение кое-каких действий и запись в БД.
Такой файл скрипт разбирает за 12 минут.
Intel i7
CPython 3.3

Как можно улучшить скорость работы?

Answer 1

[maxaon]

Парсер тут ни при чем. Вставляйте не по одной записи за раз а по 500 и более.

Comments

[xlamys]

Как это лучше сделать? хотя бы в двух словах.

[Сергей Протько]

@xlamys не записывайте сразу в массив, а ставьте в очередь. При определенной длине очереди выпоняйте запрос. Удобнее запись в базу инкапсулировать в отдельную функцию/метод.

[xlamys]

Спасибо.

Answer 2

[zxmd]

Вангую что... без исходников не вангуется.
Скорее всего дело не в парсинге CSV а в записе в БД.

Answer 3

[xlamys]

def unpack_csv(line):
    csv = line.split(";")
    csv_1 = csv[0]
    csv_2 = csv[1]
    ...
    return csv_1, csv_2, csv_3, csv_4, csv_5

db = pymysql.connect(host='', user='', passwd='', db='', charset='utf8')
cursor = db.cursor()
file = open('test.csv', 'r')

for line in file:
    number, date, fio, email, about = unpack_csv(line)
    sql = """INSERT INTO mydb(number, date, fio, email, about)
             VALUES ('%s','%s', '%s', '%s', '%s')
             """, (number, date, fio, email, about)
    cursor.execute(sql)
    db.commit()
db.close()
file.close()

Comments

[Alexey]

Можно попробовать всталять сразу несколько записей INSERT INTO table_name (column1,column2,column3,...) VALUES (value1,value2,value3,...), (value1,value2,value3,...), (value1,value2,value3,...) ...;

[zxmd]

@xlamys Именно как сказал @cold_brain - нужно вставлять чанками по 400-500 строк. Будет намного быстрее. А так у вас на каждую строку отрабатывает транзакция.

[xlamys]

Спасибо, сейчас перепишу.

[Anton Kuzmichev]

С полгода назад оптимизировал операцию импорта в БД большого объема данных. Достаточно было открыть явно транзакцию в начале (и коммитить/откатывать в конце), чтобы уже получить прирост по времени в пару сотен раз.

[Anton Kuzmichev]

Я был очень рад за СУБД, что снял с нее кучу бесполезной работы с неявной транзакцией на каждый запрос (таблицы то InnoDB)

[sim3x]

@Assargin пишите с указанием кому пишете -- тут не stackoverflow xD
Оповещение о коменте к ответу не приходят

Answer 4

[mcleod095]

Ну так по одной записи вставляете
введите переменную типа сколько записей за раз вставлять keys=10000
ну пока счетчик цикла меньше то ззабивайте все данные в буфер
как только равен или больше то делаешь insert с данными
обнуляем счетчик и опять читаем строки далее
ну и в конце надо не забыть скинуть последние данные в БД

Answer 5

[xlamys]

Если записывать не по одной записи, а по 10000
Результат:
CSV файл весом в 1,3 мб (20тыс.строк)
real 8.26
user 5.25
sys 0.93
Очень круто) Всем спасибо!