Работа с датами в pandas?

Question

[san_m_m]

Добрый день!

Вопрос следующий...
Есть DataFrame, в котором есть столбцы с датами

spisok = ['25.05..2001',  '25.06.2001', '25.43.2004', '05.02.2005', '27.02.2008']
df = pd.DataFrame(spisok)

Мне на ум приходит только в лоб

df = df.str.replace("..",' .')

Но он меняет все криво.
Как исправить даты? И почему в лоб не получается поменять?

Answer 1

[dmshar]

Если вам уж очень кортит сделать скрипт исправление конкретной ошибки - то можете использовать один из вариантов:
df['С'] = [s.replace('..','.') for s in df['A']]
либо:

def func(x):
    return x.replace('..','.')
df['B']=df['A'].apply(func)

Результат:

/
        A           B           С
0  25.05..2001  25.05.2001  25.05.2001
1   25.06.2001  25.06.2001  25.06.2001
2   25.43.2004  25.43.2004  25.43.2004
3   05.02.2005  05.02.2005  05.02.2005
4   27.02.2008  27.02.2008  27.02.2008

Answer 2

[kamenyuga]

Дело тут не в пандасе, а в самих данных, они кривые. Универсального решения парсинга дат, наверное, не существует. Можно начать с пары автоматических вариантов, а потом руками или кастомными обработчиками.

1. Сообщения об ошибках позволят разделить проблемы на группы.

from dateutil import parser

spisok = ['25.05..2001',  '25.06.2001', '25.43.2004', '05.02.2005', '27.02.2008']

for elem in spisok:
    try:
        d = parser.parse(elem, dayfirst=True)
        print(f"{elem} -> {repr(d)}")
    except parser.ParserError as err:
        print(f"{elem} -> {err.__class__.__name__}: {err}")

25.05..2001 -> ParserError: Unknown string format: 25.05..2001
25.06.2001 -> datetime.datetime(2001, 6, 25, 0, 0)
25.43.2004 -> ParserError: month must be in 1..12: 25.43.2004
05.02.2005 -> datetime.datetime(2005, 2, 5, 0, 0)
27.02.2008 -> datetime.datetime(2008, 2, 27, 0, 0)

2. Более продвинутая версия парсера. В его настройках не разбирался.

import dateparser

spisok = ['25.05..2001',  '25.06.2001', '25.43.2004', '05.02.2005', '27.02.2008']

for elem in spisok:
    d = dateparser.parse(elem, languages=['ru'])
    print(f"{elem} -> {repr(d)}")

25.05..2001 -> datetime.datetime(2001, 5, 25, 0, 0)
25.06.2001 -> datetime.datetime(2001, 6, 25, 0, 0)
25.43.2004 -> None
05.02.2005 -> datetime.datetime(2005, 2, 5, 0, 0)
27.02.2008 -> datetime.datetime(2008, 2, 27, 0, 0)

Answer 3

[Dimonchik]

df.str.replace("..",' .')
за такое больно бьют

кури
pd.to_datetime

ну или to_date если есть

Comments

[san_m_m]

Но если у меня ошибки .. или 20226 в годе, то pd.to datetime выдаст ошибку.

[dmshar]

san_m_m, А также если у вас "43" в месяце или дата типа "30.02.2005". И да, to datetime - выдаст ошибку, ибо она не может предвидеть все ошибки, которые вы можете наворотить а тем более - их исправить. И что из этого следует?

[san_m_m]

dmshar, либо такие строки мы пропускаем, либо исправляем. Была идея исправить с помощью replace, но за это как выяснилось руки бьют....

[dmshar]

san_m_m, Т.е. посути вы натыкаетесь на определенную ошибку и потом пытаетесь написать скрипт ее исправляющий? И так по каждой из ошибок, которую вам нейдет to_datetime? Не проще-ли просто ручками такие ошибки исправлять, а скрипты писать только в случае, если ошибка носит регулярно-повторяющийся характер.

[san_m_m]

dmshar, так в моей задаче, для которой я пишу скрипт... эти ошибки носят регулярно-повторяющийся характер. И вопрос я задал, чтобы понять как написать работающий скрипт, с помощью которого можно избежать регулярного исправления ручками )