• Fine-tuning опенсорсного LLM новому языку?

    nkiay, Смотри что такое fine tuning. Это настройка параметров модели (большой базовой модели), для улучшения перформанца модели в какой то определенной области. Например чат бот для чего то, написание статей в какой то области и т.д. Весь подобный тюнинг, доступен по деньгам обычным людям потому что ты настраиваешь определенном образом базовую open source модель, которую натренировали корпорации с бюджетом доступным только корпорациям.

    Возможно тебе следует тюнить многоязыковую модель. Такие есть в том числе и open source. Как оно будет работать на тюрском, я элементарно не знаю это слишком специфический кейс.

    Но если есть от чего тюнится (базовая модель). То по деньгам это доступно обычным людям.
    Написано
  • Fine-tuning опенсорсного LLM новому языку?

    nkiay,
    Fine-tuning опенсорсного LLM новому языку?
    Это не конкретная задача для машинного обучения. Машинное обучение мыслит категориями, supervised, unsupervised, количество параметров, общее количество данных, форма данных, размерности данных и т.д. И исходя из этого, можно в общем обсуждать время или что то еще. Тренировать языковые модели с нуля, не то что человеку не по карману, это только корпорации могут себе позволить. Тюнить готовые это другое дело, тут уже все возможно и для одного человека.
    Написано
  • Как правильно импортировать таблицу excel в бд postgre?

    Justa Gain, Понятно, что не в инструменте. Например openpyxl это один из доступных парсеров excel в pandas (там их несколько)

    Дело в структуре данных, или ты итерируешься и проверяешь каждую строку а все ли элементы отвечают всем требованиям. Либо ты имеешь структуру фрейм где все эти вещи делаются легко и быстро. По сути если мы более общий случай возьмем, нам нужно будет писать проверку типов, пропущенные величины, может еще что то. это возможно конечно в цикле match case вставить там и типы можно проверять удобно. Но не проще ли иметь фрейм.
    Написано
  • Как определить, где запущен код python - в PyCharm или в Google Colab?

    Priboy313, Ничего, будешь работать программистом, регулярно будешь чувствовать себя неловко.
    Написано
  • Как выбрать правильно выбрать период в pandas?

    LetMeDieYung, Это уже другой вопрос, хотя он абсолютно элементарный. Что показывает, что pandas ты совсем не знаешь, а хочешь что бы кто то сделал за тебя твою программу.

    input_year = input('Введите год: ')
    df = pd.DataFrame({
        'date':pd.date_range('2021-01-01', periods=1000),
        'temperature':np.random.uniform(-10,10,1000)})
    selected_year = (df.set_index('date').loc[input_year]).copy()
    selected_year

    Вот код который выделит сначала подсет данных, по году что бы потом на этом фрейме определять когда зима по твоему принципу, и по моему коду из ответа. Просто введи например 2022 и будут и все ряды где год 2022. И не заюудь что бы твоя колонка date имела тип данных datetime64[ns].

    Кстати, а ты подумал что у тебя в календарном году может несколько зим что если за это время есть не одна последовательность с 5-ю отрицательными ЗИМА 5-ь положительных опять 5-ь отрицательных ЗИМА 5 положительных.
    Написано
  • Как выбрать правильно выбрать период в pandas?

    LetMeDieYung, Я понял, что у тебя есть. Твой код нигде не пытается выбирать подсет данных на основе условия задачи выбрать подсет между пятью отрицательными и пятью положительными значениями температур.
    Чем тебе решение, что я опубликовал не устраивает?
    Или ты не в состоянии его прикрутить к своим данным?
    Написано
  • Почему Jupyter noteboor не видит torch?

    Ну смотри, я постоянный пользователь, anaconda и с torch конечно же приходилось работать. Если все стоит и установлено в верное окружение у тебя по умолчанию base окружение активированно. То есть в терминале (base) все что ты устанавливаешь, устанавливается туда. И когда ты запускаешь jupyter и из него !pip он устанавливает туда. Ты можешь посмотреть conda env list. Список своих окружений conda activate name (активировать) conda deactivate деактивировать.

    Если с этим все в порядке, значит в результате какого то конфликта anaconda перестала нормально работать. У меня такое было как то matplotlib не импортировался в результате конфликта. Я сносил анаконду (не конду а имеенно анаконду и устанавливал ее заново).

    Кстати torch входит набор базовых пакетов анаконды. У меня из jupyter импортируется нормально. https://docs.anaconda.com/free/anaconda/install/un... Вот ссылка на удаление анаконды. Потом заново поставь и пробуй. Если дело не в окружениях, значит конфликт.
    Написано
  • Почему Jupyter noteboor не видит torch?

    Ogoun Er, Анаконда это дистрибуция и она имеет релизы а не версии, а конда это менеджер пакетов и виртуального окружения анаконда и конда это разные вещи, это я на всякий случай, а то из твоего коммента не совсем ясно.
    Написано
  • Почему Jupyter noteboor не видит torch?

    Ogoun Er, Ну хорошо раз используешь анаконду !pip show tourch локация /anaconda3/lib/python3.10/site-packages такая?
    Написано
  • Как отсортировать значение по группам?

    Филипп Гинкель,
    order = list(df['Шифр дисциплины'].str.split('.').str.get(0).unique())

    можно просто
    cat.categories
    А ты перед созданием cat что бы категории получать их тах получаешь. Понял.
    Написано
  • Как получать значение атрибута, обращаясь к экзмепляру класса?

    А вы точно уверены что вы хотите что бы все экземпляры вашего класса были связаны с одним списком storage. То есть ИЗМЕНЕНИЕ storage из любого экземпляра, будет МЕНЯТЬ storage во всех других экземплярах класса. Это желаемое поведение?
    Написано
  • Как заменить только отличные значения с помощью pandas?

    Rett-oo, Не надо надеяться, надо делать, как положено и он не будет ничего выдавать. В приведенном тобой примере у фреймов одинаковые и индексы и имена колонок, по этому все работает без ошибок. Если на твоих реальных фреймах выдает такую ошибку, значит имена колонок отличаются, или индексы отличаются. Сделай разным индекс или имя хоть одной колонки у приведенных тобой фреймах и все перестанет работать.

    А во вторых я не стал в ответе это писать потому что думал может замену надо сделать на какую то другую величину. Но если есть два фрейма и тебе там где они отличаются нужно взять значения из второго фрейма, а зачем вообще тогда сравнение, можно просто брать второй фрейм и все.
    Написано
  • Как заменить только отличные значения с помощью pandas?

    А замена везде одинаковая? Или значений на которые заменяется несколько и они зависят от дополнительных условий?
    Написано
  • Почему переменная изменяет значение?

    Ася, Если в виде строк это другое дело, лишь бы чисел там не было, потому что операции над числовыми видами данных, вам недоступны, я об этом и говорил. Там смотрите, еще раз pandas не будет понимать что это списки со строками. Он будет понимать все это как строку вместе с элементами []. Есть акссесор str, который позволяет работать с каждым элементом ячейки, как если бы это была отдельная python строка, там у него куча методов есть включая хоть regex можно прикрутить.
    Написано
  • Почему переменная изменяет значение?

    Ася, Хорошо, когда вы получаете фрейм из файла, все может быть на много хуже, чем списки. В чем проблема списка как элемента ячейки, в том что для pandas нет никакого списка если вы вызовете df.dtypes то увидите тип данных вашей колонки 'object'. Что это значит? А значит это что pandas понимает содержание колонки как "python" объект и никакие операции кроме строковых ему недоступны, вы все еще можете например написать функции и применить ее методом apply например которая будет вычислять mean или что то другое, но будет страшно медленная и для каждой операции придется писать функцию, это так не работает.

    Вам нужно распарсить данные увеличить количество столбцов если необходимо и применять операции согласно типу данных.
    Написано
  • Как правильно сгенерировать дату в Pandas?

    Chubaka, Ну я чуть-чуть на бегу писал, решение то рабочее, но я им сам недоволен, вообще такие задачи решаются через многомерный индекс. Где день это первый уровень индекса, артист второй, потом песни, потом случайная выборка на каждую песню, а потом распремляем индексы и получаем тот же результат, только с меньшим количеством кода плюс куда быстрее, чем мой вариант. Чуть время появится, сделаю для тренировки, задачка ваша не плохая может пригодится.
    Написано
  • Как написать код, чтоб данные генерировались в .csv вместо .xls?

    Ты используешь pandas, вместо pd_series.to_excel
    pd_series.to_csv(database)
    и все, параметр engine не нужен. Да и поменяй у тебя database = 'data.xls' на 'data.csv'.
    Написано
  • Не получается спарсить, что делаю не так?

    RimMirK, Это парсинг, сегодня мой работает а завтра не факт. Лучше иметь их кучу и выбирать случайно.
    Написано
  • Как сделать рандомное число без повторений при вызове функции?

    Это называется выборка без замены элемента и она такая же случайная, как и выборка с заменой, как в случае с монеткой. Есть пространство выборки и есть то как мы осуществляем выборку с заменой элемента или без замены. В случае выборки БЕЗ замены, размер пространства выборки сокращается на 1 с каждым новым выбором да и все.
  • Изменили выходные параметры в fitted.forecast в Python - как его теперь использовать в моем случае?

    Поправить, api что бы все заработало не проблема, но вот графика такого не выдаст да и я если честно слабо себе представляю, такая маленькая временная последовательность, а должна предсказывать на 39 шагов вперед, Слишком уж далеко. При чем обрати внимание, что оно тебе выдает если ты используешь метод forecast он тебе вернет series с прогнозами. Закомментруй все что касается интервалов уверенности убери стандартную ошибку. То есть оставь вот так, fc = model.forecast(39, alpha=0.05) и глянь на него сначала он пытается прогнозировать, а потом выдает одинаковые результаты, а интервалы, стандартные ошибки, есть объекты где они содержаться атрибутами да и все, api это вообще не проблема, я две строчки поменял и все заработало. Но прогноза, как на графике он не делает, по этому я и не стал публиковать ответом. Как по мне качество статьи оставляет желать лучшего да и все.