Я конечно не силен в питоне, но массивы индексируются от 0, т.е. если у тебя 4 элемента в массиве то они будут под индексами 0,1,2,3. А у вас в этих строчках указаны 4-ые индексы, которых не существует в данном массиве о чем вам и говорит ошибка
IndexError: list index out of range
:
for i in range(N):
c = matrix[i][2]
matrix[i][2] = matrix[i][4] // выход за пределы массива
matrix[i][4] = c // выход за пределы массива