Как выбрать правильно выбрать период в pandas?

Question

[LetMeDieYung]

У меня есть программа на Python, которая рассчитывает метеорологические данные. Однако на данный момент она некорректно выбирает дату, и она выбирает "зимние месяцы" для каждого года и рассчитывает по ним. Но мне нужно, чтобы начальная дата для каждого года рассчитывалась относительно столбца T, где указаны показатели температуры. Начало зимы будет определяться, когда будет 5 отрицательных значений температуры подряд, а конец зимы - когда будет 5 положительных значений. Приложены код и скриншоты программы ниже.
Запуск программы:




Фрагмент кода с выбором периода и дат:

# Загрузка данных из файла Excel
xls = pd.ExcelFile('DB_Arctic.xls')

# Получение списка имен листов
sheet_names = xls.sheet_names

while True:
    selected_sheet = int(input("Введите номер станции: "))

    selected_sheet = selected_sheet-1

    selected_sheet = sheet_names[selected_sheet]

    df = pd.read_excel(xls, sheet_name=selected_sheet)

    # Удаление времени из столбца 't' и оставление только даты
    df['t'] = pd.to_datetime(df['t'], format='%d.%m.%Y %H:%M', errors='coerce').dt.date

    # Ввод года от пользователя
    selected_start_year = int(input("Введите начало периода: "))
    selected_end_year = int(input("Введите конец периода: "))

    # Функция для проверки зимних месяцев
    def is_winter_month(date):
        month = date.month
        return month in [10, 11, 12, 1, 2, 3]

    # Определение начального и конечного года в зависимости от введенных пользователем значений.
    start_year = selected_start_year - 1
    end_year = selected_end_year

    # Создание начальной и конечной даты для каждого года
    start_date = datetime.date(start_year, 10, 1)
    end_date = datetime.date(end_year, 3, 1)

    # Цикл по зимним периодам в заданном диапазоне дат
    while start_date < end_date:
        # Выбор текущего года
        current_year = start_date.year

        # Создание даты начала и конца зимнего периода для текущего года
        winter_start_date = datetime.date(current_year, 10, 1)
        winter_end_date = datetime.date(current_year + 1, 3, 1)


        # Функция для проверки зимних месяцев
        def is_winter_month(date):
            month = date.month
            return month in [10, 11, 12, 1, 2, 3]

        # Выбор данных только для зимних месяцев и определенного периода
        df_selected_year = df[df['t'].apply(lambda x: is_winter_month(x)) &
                              ((df['t'] >= start_date) & (df['t'] < end_date))]

        # Расчет средних значений по датам
        average_values = round(df_selected_year.groupby('t')['T'].mean().reset_index(),1)

...Остальные рассчеты.....
  # Переход к следующему году
        start_date = datetime.date(current_year + 1, 10, 1)

...Вывод графиков и т.п...

структура файлы xls:


Если нужны доп.данные, предоставлю

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4

Answer 1

[Максим Припадчев]

Ну во первых ты не представил игрушечного датафрейма (входные данные), и каков желаемый результат (выходные данные).

Вместо этого ты дал фрагмент кода не связанного с проблемой по всей видимости код был написан chatGPT, по скольку он очень низкого качества и попросту странный очень на вряд ли даже начинающий программист напишет такой pandas код.

На вопрос я отвечу естественно, потому что он сложный (задачи на выборку подсета основного на повторяющихся значениях это всегда сложные задачи), кому-нибудь да пригодится однажды.

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'temperature':[
        1.5,1,4,-2,1,-1,-1,4,3,2,1,-2,-3,-4,-5,-6,-1,2,-2,-2,-3,4,-5,-3,3,1,2,5,3,2
    ]
}, index = pd.date_range('2023-01-01', periods=30))


negative_groups = (
    df
    .query('temperature < 0')
    .groupby((df.temperature > 0).cumsum())
)
positive_groups = (
        df
        .query('temperature >= 0')
        .groupby((df.temperature < 0).cumsum())
)
start_date = [value for value in negative_groups.groups.values() if len(value) >=5][0][4]
end_date = [value for value in positive_groups.groups.values() if len(value) >=5][0][4]

df.loc[start_date:end_date]

Я создал фрейм, и вытащил из него индексы даты, 5-го значения для последовательно отрицательных элементов. Как начало зимы и индекс даты 5-го значения для последовательности положительных элементов. И осуществил выборку между этими датами.

Заметь, если у нас например 6 повторяющихся отрицательных элементов то он он возьмет дату 5 так как по условию если 5 то начало зимы и если 5 то конец.

Ну распечатай фрейм и распечатай выборку подсета из фрейма и убедишься, что работает правильно. Бери мой пример и прикручивай его к своим данным. Не забудь дату поставить в индекс и не забудь что бы у даты был тип данных date а не object.

Comments

[LetMeDieYung]

Вот играюсь с таким кодом

import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
import datetime
# Загрузка данных из файла Excel
xls = pd.ExcelFile('DB_Arctic.xls')

# Получение списка имен листов
sheet_names = xls.sheet_names

while True:
    selected_sheet = int(input("Введите номер станции: "))

    selected_sheet = selected_sheet-1

    selected_sheet = sheet_names[selected_sheet]

    df = pd.read_excel(xls, sheet_name=selected_sheet)

    # Удаление времени из столбца 't' и оставление только даты
    df['t'] = pd.to_datetime(df['t'], format='%d.%m.%Y %H:%M', errors='coerce').dt.date

    # Ввод года от пользователя
    selected_start_year = int(input("Введите начало периода: "))
    selected_end_year = int(input("Введите конец периода: "))

    # Определение начального и конечного года в зависимости от введенных пользователем значений.
    start_year = selected_start_year - 1
    end_year = selected_end_year

    # Создание начальной и конечной даты для каждого года
    start_date = datetime.date(start_year, 10, 1)
    end_date = datetime.date(end_year, 3, 1)

    # Цикл по зимним периодам в заданном диапазоне дат
    while start_date < end_date:
        # Выбор текущего года
        current_year = start_date.year

        # Функция для проверки зимних месяцев
        def is_winter_month(date):
            month = date.month
            return month in [10, 11, 12, 1, 2, 3]

        # Выбор данных только для зимних месяцев и определенного периода
        df_selected_year = df[df['t'].apply(lambda x: is_winter_month(x)) &
                              ((df['t'] >= start_date) & (df['t'] < end_date))]

        # Расчет средних значений по датам
        average_values = round(df_selected_year.groupby('t')['T'].mean().reset_index(),1)

        print(average_values)
        
        start_date = datetime.date(current_year + 1, 10, 1)

изначальный результат


У меня есть DataFrame, который содержит столбец df['t'] с датой, но она не сгруппирована. В этом столбце есть несколько значений для одной даты, отличающихся по времени. Также есть столбец df['T'], содержащий температуру, которая также не сгруппирована. Я хочу, чтобы пользователь вводил период в годах, и итерация начиналась с введенного года, с начала сентября проходимся циклом по 5 дней (1-5 сен, 2-6 сен и т.д.), если условия выполнены, то начинаем отсчёт с этой даты. Наоборот, если в следующем году (введенный год + 1) с 3-го месяца 1-го дня и по 5 дней была положительная температура, функция должна выдавать дату, на которой нужно заканчивать вычисления для одного года.

Как данные расположены в xls прикреплял выше.

В итоге, пользователь вводит период в годах, а программа возвращает таблицу, начинающуюся с первых 5 дней с отрицательными температурами и заканчивающуюся 5 днями с положительными температурами.

[Максим Припадчев]

LetMeDieYung, Я понял, что у тебя есть. Твой код нигде не пытается выбирать подсет данных на основе условия задачи выбрать подсет между пятью отрицательными и пятью положительными значениями температур.
Чем тебе решение, что я опубликовал не устраивает?
Или ты не в состоянии его прикрутить к своим данным?

[LetMeDieYung]

Максим Припадчев, Больше второе, потому что еще не знаю как прикрутить выбранный год пользователя в ваш пример

[Максим Припадчев]

LetMeDieYung, Это уже другой вопрос, хотя он абсолютно элементарный. Что показывает, что pandas ты совсем не знаешь, а хочешь что бы кто то сделал за тебя твою программу.

input_year = input('Введите год: ')
df = pd.DataFrame({
    'date':pd.date_range('2021-01-01', periods=1000),
    'temperature':np.random.uniform(-10,10,1000)})
selected_year = (df.set_index('date').loc[input_year]).copy()
selected_year

Вот код который выделит сначала подсет данных, по году что бы потом на этом фрейме определять когда зима по твоему принципу, и по моему коду из ответа. Просто введи например 2022 и будут и все ряды где год 2022. И не заюудь что бы твоя колонка date имела тип данных datetime64[ns].

Кстати, а ты подумал что у тебя в календарном году может несколько зим что если за это время есть не одна последовательность с 5-ю отрицательными ЗИМА 5-ь положительных опять 5-ь отрицательных ЗИМА 5 положительных.