Openpyxl может производить различные операции над ячейкой, строкой, столбцом или всем этим множеством одновременно.
В зависимости от того, что вам нужно делать, нужно углубляться именно в этот функционал. Без конкретики сложно ответить на вопрос, изучайте эту библиотеку, там есть отличная документация, а в интернете множество примеров