Задать вопрос
  • Какой нейронной сетью (или другим инструментом) можно проанализировать текст чтобы понять настроение клиента?

    Антон Иванов, Хорошо, двигайся в направлении тюнинга готовых моделей. Сначала полностью прочитай, что это такое вот здесь https://research.aimultiple.com/llm-fine-tuning/. Ну и гугли как взять языковую модель и тюнить ее. Одна из задач, которые могут решать модели после тюнинга это что называется summarizing text, пробуй гарантий не каких все зависит от много а в состоянии ли ты разобраться с api и выстроить ли процесс, с работает ли это для твоего кейса и т.д.

    Если накопишь данные, то тогда с гарантиями элементарный классификатор построишь и он будет работать. А сейчас можно пробовать только тюнинг готовых языковых моделей.
  • Какой нейронной сетью (или другим инструментом) можно проанализировать текст чтобы понять настроение клиента?

    Антон Иванов, Ну если бы нужно было просто классифицировать, то fine tuning llm модели подошел бы. Ну ты спрашиваешь еще и про вероятности а их откуда брать? модель может "присвоить вероятности", только основываясь на тренировочных данных, а не на тюнинге готовой языковой модели.
  • Fine-tuning опенсорсного LLM новому языку?

    nkiay, Почитай, во это https://research.aimultiple.com/llm-fine-tuning/ Толково написано. Английским ты должен владеть, раз за такие задачи берешься, многое станет понятно что можно, а что нет.
  • Fine-tuning опенсорсного LLM новому языку?

    nkiay, Смотри что такое fine tuning. Это настройка параметров модели (большой базовой модели), для улучшения перформанца модели в какой то определенной области. Например чат бот для чего то, написание статей в какой то области и т.д. Весь подобный тюнинг, доступен по деньгам обычным людям потому что ты настраиваешь определенном образом базовую open source модель, которую натренировали корпорации с бюджетом доступным только корпорациям.

    Возможно тебе следует тюнить многоязыковую модель. Такие есть в том числе и open source. Как оно будет работать на тюрском, я элементарно не знаю это слишком специфический кейс.

    Но если есть от чего тюнится (базовая модель). То по деньгам это доступно обычным людям.
  • Fine-tuning опенсорсного LLM новому языку?

    nkiay,
    Fine-tuning опенсорсного LLM новому языку?
    Это не конкретная задача для машинного обучения. Машинное обучение мыслит категориями, supervised, unsupervised, количество параметров, общее количество данных, форма данных, размерности данных и т.д. И исходя из этого, можно в общем обсуждать время или что то еще. Тренировать языковые модели с нуля, не то что человеку не по карману, это только корпорации могут себе позволить. Тюнить готовые это другое дело, тут уже все возможно и для одного человека.
  • Как правильно импортировать таблицу excel в бд postgre?

    Justa Gain, Понятно, что не в инструменте. Например openpyxl это один из доступных парсеров excel в pandas (там их несколько)

    Дело в структуре данных, или ты итерируешься и проверяешь каждую строку а все ли элементы отвечают всем требованиям. Либо ты имеешь структуру фрейм где все эти вещи делаются легко и быстро. По сути если мы более общий случай возьмем, нам нужно будет писать проверку типов, пропущенные величины, может еще что то. это возможно конечно в цикле match case вставить там и типы можно проверять удобно. Но не проще ли иметь фрейм.
  • Как определить, где запущен код python - в PyCharm или в Google Colab?

    Priboy313, Ничего, будешь работать программистом, регулярно будешь чувствовать себя неловко.
  • Как выбрать правильно выбрать период в pandas?

    LetMeDieYung, Это уже другой вопрос, хотя он абсолютно элементарный. Что показывает, что pandas ты совсем не знаешь, а хочешь что бы кто то сделал за тебя твою программу.

    input_year = input('Введите год: ')
    df = pd.DataFrame({
        'date':pd.date_range('2021-01-01', periods=1000),
        'temperature':np.random.uniform(-10,10,1000)})
    selected_year = (df.set_index('date').loc[input_year]).copy()
    selected_year

    Вот код который выделит сначала подсет данных, по году что бы потом на этом фрейме определять когда зима по твоему принципу, и по моему коду из ответа. Просто введи например 2022 и будут и все ряды где год 2022. И не заюудь что бы твоя колонка date имела тип данных datetime64[ns].

    Кстати, а ты подумал что у тебя в календарном году может несколько зим что если за это время есть не одна последовательность с 5-ю отрицательными ЗИМА 5-ь положительных опять 5-ь отрицательных ЗИМА 5 положительных.
  • Как выбрать правильно выбрать период в pandas?

    LetMeDieYung, Я понял, что у тебя есть. Твой код нигде не пытается выбирать подсет данных на основе условия задачи выбрать подсет между пятью отрицательными и пятью положительными значениями температур.
    Чем тебе решение, что я опубликовал не устраивает?
    Или ты не в состоянии его прикрутить к своим данным?
  • Почему Jupyter noteboor не видит torch?

    Ну смотри, я постоянный пользователь, anaconda и с torch конечно же приходилось работать. Если все стоит и установлено в верное окружение у тебя по умолчанию base окружение активированно. То есть в терминале (base) все что ты устанавливаешь, устанавливается туда. И когда ты запускаешь jupyter и из него !pip он устанавливает туда. Ты можешь посмотреть conda env list. Список своих окружений conda activate name (активировать) conda deactivate деактивировать.

    Если с этим все в порядке, значит в результате какого то конфликта anaconda перестала нормально работать. У меня такое было как то matplotlib не импортировался в результате конфликта. Я сносил анаконду (не конду а имеенно анаконду и устанавливал ее заново).

    Кстати torch входит набор базовых пакетов анаконды. У меня из jupyter импортируется нормально. https://docs.anaconda.com/free/anaconda/install/un... Вот ссылка на удаление анаконды. Потом заново поставь и пробуй. Если дело не в окружениях, значит конфликт.
  • Почему Jupyter noteboor не видит torch?

    Ogoun Er, Анаконда это дистрибуция и она имеет релизы а не версии, а конда это менеджер пакетов и виртуального окружения анаконда и конда это разные вещи, это я на всякий случай, а то из твоего коммента не совсем ясно.
  • Почему Jupyter noteboor не видит torch?

    Ogoun Er, Ну хорошо раз используешь анаконду !pip show tourch локация /anaconda3/lib/python3.10/site-packages такая?
  • Как отсортировать значение по группам?

    Филипп Гинкель,
    order = list(df['Шифр дисциплины'].str.split('.').str.get(0).unique())

    можно просто
    cat.categories
    А ты перед созданием cat что бы категории получать их тах получаешь. Понял.
  • Как получать значение атрибута, обращаясь к экзмепляру класса?

    А вы точно уверены что вы хотите что бы все экземпляры вашего класса были связаны с одним списком storage. То есть ИЗМЕНЕНИЕ storage из любого экземпляра, будет МЕНЯТЬ storage во всех других экземплярах класса. Это желаемое поведение?
  • Как заменить только отличные значения с помощью pandas?

    Rett-oo, Не надо надеяться, надо делать, как положено и он не будет ничего выдавать. В приведенном тобой примере у фреймов одинаковые и индексы и имена колонок, по этому все работает без ошибок. Если на твоих реальных фреймах выдает такую ошибку, значит имена колонок отличаются, или индексы отличаются. Сделай разным индекс или имя хоть одной колонки у приведенных тобой фреймах и все перестанет работать.

    А во вторых я не стал в ответе это писать потому что думал может замену надо сделать на какую то другую величину. Но если есть два фрейма и тебе там где они отличаются нужно взять значения из второго фрейма, а зачем вообще тогда сравнение, можно просто брать второй фрейм и все.
  • Как заменить только отличные значения с помощью pandas?

    А замена везде одинаковая? Или значений на которые заменяется несколько и они зависят от дополнительных условий?
  • Почему переменная изменяет значение?

    Ася, Если в виде строк это другое дело, лишь бы чисел там не было, потому что операции над числовыми видами данных, вам недоступны, я об этом и говорил. Там смотрите, еще раз pandas не будет понимать что это списки со строками. Он будет понимать все это как строку вместе с элементами []. Есть акссесор str, который позволяет работать с каждым элементом ячейки, как если бы это была отдельная python строка, там у него куча методов есть включая хоть regex можно прикрутить.
  • Почему переменная изменяет значение?

    Ася, Хорошо, когда вы получаете фрейм из файла, все может быть на много хуже, чем списки. В чем проблема списка как элемента ячейки, в том что для pandas нет никакого списка если вы вызовете df.dtypes то увидите тип данных вашей колонки 'object'. Что это значит? А значит это что pandas понимает содержание колонки как "python" объект и никакие операции кроме строковых ему недоступны, вы все еще можете например написать функции и применить ее методом apply например которая будет вычислять mean или что то другое, но будет страшно медленная и для каждой операции придется писать функцию, это так не работает.

    Вам нужно распарсить данные увеличить количество столбцов если необходимо и применять операции согласно типу данных.
  • Как правильно сгенерировать дату в Pandas?

    Chubaka, Ну я чуть-чуть на бегу писал, решение то рабочее, но я им сам недоволен, вообще такие задачи решаются через многомерный индекс. Где день это первый уровень индекса, артист второй, потом песни, потом случайная выборка на каждую песню, а потом распремляем индексы и получаем тот же результат, только с меньшим количеством кода плюс куда быстрее, чем мой вариант. Чуть время появится, сделаю для тренировки, задачка ваша не плохая может пригодится.
  • Как написать код, чтоб данные генерировались в .csv вместо .xls?

    Ты используешь pandas, вместо pd_series.to_excel
    pd_series.to_csv(database)
    и все, параметр engine не нужен. Да и поменяй у тебя database = 'data.xls' на 'data.csv'.