Как отфильтровать даты в pandas по нескольким ключам?

Question

[san_m_m]

Добрый день!

Есть таблица.

import requests
from bs4 import BeautifulSoup 
import pandas as pd
import re
import datetime
from datetime import datetime, timedelta

date_cleaning = '15.03.2020'
date_cleaning = datetime.strptime(date_cleaning, '%d.%m.%Y')

url_murmansk = 'https://mintrans.gov-murman.ru/activities/taxi/reestr_taxi/'
r_murmansk = requests.get(url_murmansk)
soup_murmansk = BeautifulSoup(r_murmansk.text, 'html.parser')
data_murmansk = soup_murmansk.find_all(class_ = 'file')
a_murmansk = str(data_murmansk).split('href="/')
a_1_murmansk = str(a_murmansk[1]).split('">\n<span')
a_2_murmansk = ''.join(a_1_murmansk[0].split('amp;'))
a_3_murmansk = 'https://mintrans.gov-murman.ru/' + a_2_murmansk
df_murmansk = pd.read_excel(a_3_murmansk, skiprows = 3)


df_murmansk['Unnamed: 10'] = pd.to_datetime(df_murmansk['Unnamed: 10'], dayfirst = True)
df_murmansk = df_murmansk.loc[(df_murmansk['Unnamed: 10'] > date_cleaning)]

df_murmansk

Мне нужно чтобы в таблицы остались только строчки с датами двух промежутков:
1) с 15 марта 2020 года по 31 декабря 2020 года.
2) с сегодняшнего дня и дальше.

В вышеприведенном коде я отфильтровал по 15 марта, как оптимально оптимизировать данный код для двух временных промежутков?

Answer 1

[zexer]

import pandas as pd

dates = pd.date_range(start='2020-01-01', periods=500)

df = pd.DataFrame({'Timestamp': dates, 'Value': range(len(dates))})

df = df[((df['Timestamp'] >= '2020-03-15') & (df['Timestamp'] <= '2020-12-31')) | (df['Timestamp'] >= '2021-02-03')]

Если "сегодняшняя дата" будет регулярно меняться, то используйте pd.Timestamp.now() вместо '2021-02-03'

Comments

[san_m_m]

А можно еще один вопрос?

А как модернизировать код, чтобы исключить дополнительно список дат?

list_dates = ['21.05.2021', '03.06.2021', '15.06.2021']

[san_m_m]

Подскажите?

[zexer]

san_m_m, например вот так

import pandas as pd

dates = pd.date_range(start='2020-01-01', periods=500)
df = pd.DataFrame({'Timestamp': dates, 'Value': range(len(dates))})

exclude_dates = ['2021-05-10', '2021-05-12', '2021-05-13', '2021-05-14']
exclude_dates_as_date = [pd.Timestamp(i).date() for i in exclude_dates]
exlcude_bool_list = [pd.Timestamp(i).date() not in exclude_dates_as_date for i in df['Timestamp']]

df = df[(((df['Timestamp'] >= '2020-03-15') & (df['Timestamp'] <= '2020-12-31')) | (df['Timestamp'] >= '2021-02-03')) & (exlcude_bool_list)]

df

Answer 2

[Максим]

Возможно, так:

from datetime import date
date_cleaning = date(2020, 3, 15)
date_cleaning_end = date(2020, 12, 31)

df_murmansk = df_murmansk[
    ((df_murmansk['Unnamed: 10'] > date_cleaning) & (df_murmansk['Unnamed: 10'] < date_cleaning_end)) |
    (df_murmansk['Unnamed: 10'] > date.today())
]

Comments

[zexer]

df_murmansk['Unnamed: 10'] не может быть одновременно больше чем date.today() и меньше чем date_cleaning_end, поэтому вместо соединения выражения по & нужно |

[Максим]

zexer, да, вы правы, я ошибся в операторе. Спасибо, поправил ответ.