Как сравнить 2 больших csv файла в питоне?

Question

[incognito123]

Есть два файла
tracks.csv и tracks2.csv
Обозначение столбцов одинаковое
Как сравнить их по содержанию?

Comments

[Roman K]

А что такое "сравнить" мы видимо должны угадать?

[mayton2019]

Что должно вывестись в результате сравнения?

[incognito123]

mayton2019, одинаковые ли файлы по содержанию или разные

[Максим Припадчев]

incognito123, А на сколько большие по весу?

[mayton2019]

incognito123, для ответа "да" или "нет" алгоритм может быть один. Например контрольные суммы сравнить
по-байтно или по-символоно или по-строчно поколоночно. Но алгоритм будет бесполезен если ты захочешь детали.

Если нужна детализация по отличиям то надо думать что-то другое.

[Модератор]

Покажите, как вы пробовали решить проблему, приведите код попытки (пусть неудачной), опишите, как запускали, что ожидали и что получилось.
За готовыми решениями - на фриланс. В текущем виде это не вопрос, а задание. Нарушен п.5.12 Регламента.

[Александр]

pandas easy way

[Александр]

incognito123,
Как вариант использовать модуль Pandas, создать два датафрейма и сравнить их с помощью метода equals:

import pandas as pd

df1 = pd.read_csv('tracks.csv')
df2 = pd.read_csv('tracks2.csv')

if df1.equals(df2):
    print("Фреймы равны")
else:
    print("Фреймы не равны")

Также, с помощью индексации можно сравнить столбцы

if (df1[['column1', 'column2']] == df2[['column1', 'column2']]).all().all():
    print("Значения в столбцах 'column1' и 'column2' равны")
else:
    print("Значения в столбцах 'column1' и 'column2' не равны")

[Igor Deyashkin]

Какого размера файлы?

Должен ли учитываться порядок строк? То есть если строки в файлах одинаковые, но расположены по-разному.

Одинаковый ли порядок столбцов в файлах? Нужно ли считать их одинаковыми, если столбцы в другом порядке, но значения в строках одинаковые?

Нужно ли учитывать различия в представлении одинаковых значений в csv файле? Например, двойные кавычки вокруг строки не содержащей разделительного символа не обязательны и строка строка может быть представлена как строка, либо как "строка".

[shurshur]

incognito123, при такой постановке вопроса может оказаться, что достаточно сравнить MD5-сумму...

[mayton2019]

Вот есть к примеру два менеджера. Один сделал отчет в excel. Отсортировал по полю date и отправил на почту к автору топика. Потом другой менеджер открыл этот-же отчет. Поглядел. Подумал и отсортировал по полю payment amount и тоже кинул копию автору топика. И оба менеджера свалили в отпуск.

Вот с моей кочки зрения (старого Ораклиста) - эти два отчета одинаковы. Потому что реляция одинакова. Реляция мать ево Эдгара Кодда. Тот-же сет строк. И как сравнивать?

Answer 1

[Александр]

Ну CSV - не имеют индекса, а большие в память не загрузить - поэтому только построчно, надеясь на то что одинаковые строчки в одном и том же месте(одинаковый порядок строк) - построчное чтение и сравнение не нагружает память. Иначе придется хотя бы один файл загнать в память.

Answer 2

[rPman]

Если сами файлы в память не влезают, то попробуй сохранять хеш от сравниваемых значений (в т.ч. всю строку, особенно это ускорит процесс, если знаешь что в csv файлах нет строк содержащих \n это часть этого извращенного стандарта) так как грузить файл построчно быстрее чем парсить csv

А дальше простая задача, первый файл грузишь в память в словарь (лучше множество set как я помню оно быстрее), второй файл построчно проверяешь наличие хеша в первом (если надо знать в обе стороны, то загрузи хеши обоих и бери пересечение)