Как мне отфильтровать csv файл по датам?

Question

[nnn Xion]

У меня есть CSV-файл вида:

date              source  visits
2020-01-01 yandex 324
2020-01-01 google 344
2020-01-01 elama 532
2020-01-05 other 455
2020-01-05 google 65
2020-02-20 yandex 433
2020-03-20 elama 234

И есть другой CSV-файл в котором просто даты. Я хочу удалить строки из первого файла, чьи даты совпадают с датами во втором файле. То есть, если во втором файле есть дата 2020-01-01 то первые три строки из первого файла должны быть удалены и остаться, должна, вся остальная информация.

Comments

[Vindicar]

Где код твоей попытки?

[nnn Xion]

Vindicar, Сейчас не могу скинуть. Но я сделал из файла с датами список, через .tolist(). А после пытался через цикл for ... in ...
И если совпадало то я удалял через .drop(). Но у меня не получил.

[Ипатьев]

Vindicar,

вот же, код его попытки :)
qna-driven development!

Answer 1

[Vindicar]

Xion, ну дай угадаю, перебирал с начала списка?
Пусть у нас есть список букв:a b b a b a a ....
Мы хотим убрать из него буквы b, и перебираем его с начала.
Текущая буква A: A b b a b a a ....
Ничего не делаем.
Переходим к следующей.
Текущая буква B: a B b a b a a ....
Удаляем, следующие элементы смещаются на позицию: a B a b a a ....
Переходим к следующей: a b A b a a ....
Как видишь, следующую букву b мы из-за этого пропустили.

Отсюда настоятельная рекомендация: избегай модифицировать коллекцию в процессе перебора! Лучше (реально лучше в случае с файлами) - генерируй по ходу перебора новую коллекцию, куда попадают только "хорошие" элементы. Вместо того, чтобы пытаться удалять "плохие" из уже существующей.

Если создавать копию данных очень нежелательно, перебирай от конца к началу - тогда сместятся только те элементы, которые мы УЖЕ обработали, и потому это не помешает. Но с файлами это делать очень неудобно.

Comments

[nnn Xion]

Хорошо, на будущее буду знать. Но все ещё не представляю, как мне добиться результата. Как сгенерировать новую коллекцию, если у меня не одно значение, а целый файл

[Vindicar]

Xion, циклом, не?
Открыл исходный файл, прочитал элемент из него. Если элемент "хороший", записал его в выходной файл.
Повторить пока исходный файл не кончится.
Или, если тебе так хочется, загрузи исходный файл в список, создай новый пустой список, и добавляй в этот новый список "хорошие" элементы исходного. Принцип один и тот же.

[nnn Xion]

Vindicar, Проблема была в том, что, я могу записать значение в новый файл, но я не знаю как записать целую строку.

import pandas as pd
import datetime
import csv

dataset = pd.read_csv('arm.csv')
weekend_days = pd.read_csv('weekend_data.csv', delimiter=';',
	    names=['date'])['date'].values.tolist()


dataset.sort_values(by='date', inplace=True)

with open('weekend_dataset.csv', mode='w') as wd:

	for i in range(len(dataset.index)):
		if dataset['date'][i] in weekend_days:
			wd = csv.writer()

вот код

[Vindicar]

Xion, тогда открой документацию на модуль csv и читай внимательно. Там есть вся нужная информация.