Почему программа так долго обрабатывает данные?

Question

[Александр Тарасов]

Не могу понять почему программа так долго обрабатывает данные.
У меня есть docx файл в нем таблица с 2554 записями(строчками), мне надо обработать их, и для этого я хочу занести каждую запись в список как элемент. Но как-то слишком долго выходит, и мне интересно с чем это связанно и можно ли как то ускорить.

# -*- coding: utf-8 -*-
from docx import Document
doc1 = Document('123.docx')

student = []

print(len(doc1.tables))
print(len(doc1.tables[0].rows))
for i in range(len(doc1.tables[0].rows)):
    student.append(doc1.tables[0].rows[i].cells[0].paragraphs[-1].text)
print(student[1])

python 2.7.10 и python-docx 0.8.5

Answer 1

[Артём Клименко]

Проблема не в циклах, проблема в самом модуле python-docx именно он работает медленно, то как вы к ячейкам обращаетесь в итоге приводит к созданию кучи временных объектов.

так будет значительно быстрее:

student =  [cell.paragraphs[-1].text for cell in doc1.tables[0].column_cells(0)]

Comments

[Александр Тарасов]

Да, вышло значительно быстрее, Спасибо.

Answer 2

[Roman K]

Во-первых, что это за ужас?

for i in range(len(doc1.tables[0].rows)):
    student.append(doc1.tables[0].rows[i].cells[0].paragraphs[-1].text)

Замени на:

table = doc1.tables[0]
for row in table.rows:
    student.append(row.cells[0].paragraphs[-1].text)

Во-вторых, насколько долго?

Comments

[Александр Тарасов]

Я просто потом еще использовал range для выборки не всех элементов, а части.
Заменил, запустил и вышло где-то 4мин, для меня это долго, но не знаю нормально это или нет, и можно ли ускорить или нет, тоже не знаю.

[Roman K]

FiLoY: Ну да, 4 минут - это очень много. Я думал, он секунды 2 работает и вас это напрягает. Скиньте мне ваш файл, если он не секретный.

[Roman K]

FiLoY: И попробуйте это stackoverflow.com/questions/17615404/read-and-writ...

[Александр Тарасов]

Roman Kitaev: Файл к сожалению скинуть не могу.
Вечером посмотрю ссылку

Answer 3

[lega]

python-docx медленный, можете вручную распаковать docx (zip) и работать с данными напрямую (там xml), не удобно, но работать будет быстро.

Answer 4

[Vov Vov]

Мне кажется будет быстрее через генератор списка: [student.append(doc1.tables[0].v.cells[0].paragraphs[-1].text) for i,v in enumerate((doc1.tables[0].rows))]

Comments

[Артём Клименко]

> [student.append(doc1.tables[0].v.cells[0].paragraphs[-1].text) for i,v in enumerate((doc1.tables[0].rows))]
> Python Team Leader
/)_(\

Answer 5

[Dvvarreyn]

А обязательно именно docx парсить?
Сохранить в csv и считать c помощью питоносвого csv парсера не будет быстрей?

Comments

[Александр Тарасов]

для данной задачи подойдет csv, погуглю инфу по нему, Спасибо за подсказку
Но у меня есть и другие задачи и там именно нужно парсить docx

Answer 6

[Дмитрий Смоляков]

Попробуй extend вместо append.

Comments

[Александр Тарасов]

тоже долго