Fine-tuning опенсорсного LLM новому языку?

nkiay,

Fine-tuning опенсорсного LLM новому языку?

Это не конкретная задача для машинного обучения. Машинное обучение мыслит категориями, supervised, unsupervised, количество параметров, общее количество данных, форма данных, размерности данных и т.д. И исходя из этого, можно в общем обсуждать время или что то еще. Тренировать языковые модели с нуля, не то что человеку не по карману, это только корпорации могут себе позволить. Тюнить готовые это другое дело, тут уже все возможно и для одного человека.

Как правильно импортировать таблицу excel в бд postgre?

Justa Gain, Понятно, что не в инструменте. Например openpyxl это один из доступных парсеров excel в pandas (там их несколько)

Дело в структуре данных, или ты итерируешься и проверяешь каждую строку а все ли элементы отвечают всем требованиям. Либо ты имеешь структуру фрейм где все эти вещи делаются легко и быстро. По сути если мы более общий случай возьмем, нам нужно будет писать проверку типов, пропущенные величины, может еще что то. это возможно конечно в цикле match case вставить там и типы можно проверять удобно. Но не проще ли иметь фрейм.

Как определить, где запущен код python - в PyCharm или в Google Colab?

Priboy313, Ничего, будешь работать программистом, регулярно будешь чувствовать себя неловко.

Как выбрать правильно выбрать период в pandas?

LetMeDieYung, Это уже другой вопрос, хотя он абсолютно элементарный. Что показывает, что pandas ты совсем не знаешь, а хочешь что бы кто то сделал за тебя твою программу.

input_year = input('Введите год: ')
df = pd.DataFrame({
    'date':pd.date_range('2021-01-01', periods=1000),
    'temperature':np.random.uniform(-10,10,1000)})
selected_year = (df.set_index('date').loc[input_year]).copy()
selected_year

Вот код который выделит сначала подсет данных, по году что бы потом на этом фрейме определять когда зима по твоему принципу, и по моему коду из ответа. Просто введи например 2022 и будут и все ряды где год 2022. И не заюудь что бы твоя колонка date имела тип данных datetime64[ns].

Кстати, а ты подумал что у тебя в календарном году может несколько зим что если за это время есть не одна последовательность с 5-ю отрицательными ЗИМА 5-ь положительных опять 5-ь отрицательных ЗИМА 5 положительных.

Как выбрать правильно выбрать период в pandas?

LetMeDieYung, Я понял, что у тебя есть. Твой код нигде не пытается выбирать подсет данных на основе условия задачи выбрать подсет между пятью отрицательными и пятью положительными значениями температур.
Чем тебе решение, что я опубликовал не устраивает?
Или ты не в состоянии его прикрутить к своим данным?

Почему Jupyter noteboor не видит torch?

Ну смотри, я постоянный пользователь, anaconda и с torch конечно же приходилось работать. Если все стоит и установлено в верное окружение у тебя по умолчанию base окружение активированно. То есть в терминале (base) все что ты устанавливаешь, устанавливается туда. И когда ты запускаешь jupyter и из него !pip он устанавливает туда. Ты можешь посмотреть conda env list. Список своих окружений conda activate name (активировать) conda deactivate деактивировать.

Если с этим все в порядке, значит в результате какого то конфликта anaconda перестала нормально работать. У меня такое было как то matplotlib не импортировался в результате конфликта. Я сносил анаконду (не конду а имеенно анаконду и устанавливал ее заново).

Кстати torch входит набор базовых пакетов анаконды. У меня из jupyter импортируется нормально. https://docs.anaconda.com/free/anaconda/install/un... Вот ссылка на удаление анаконды. Потом заново поставь и пробуй. Если дело не в окружениях, значит конфликт.

Почему Jupyter noteboor не видит torch?

Ogoun Er, Анаконда это дистрибуция и она имеет релизы а не версии, а конда это менеджер пакетов и виртуального окружения анаконда и конда это разные вещи, это я на всякий случай, а то из твоего коммента не совсем ясно.

Почему Jupyter noteboor не видит torch?

Ogoun Er, Ну хорошо раз используешь анаконду !pip show tourch локация /anaconda3/lib/python3.10/site-packages такая?

Как отсортировать значение по группам?

Филипп Гинкель,

order = list(df['Шифр дисциплины'].str.split('.').str.get(0).unique())

можно просто
cat.categories
А ты перед созданием cat что бы категории получать их тах получаешь. Понял.

Как получать значение атрибута, обращаясь к экзмепляру класса?

А вы точно уверены что вы хотите что бы все экземпляры вашего класса были связаны с одним списком storage. То есть ИЗМЕНЕНИЕ storage из любого экземпляра, будет МЕНЯТЬ storage во всех других экземплярах класса. Это желаемое поведение?

Как заменить только отличные значения с помощью pandas?

Rett-oo, Не надо надеяться, надо делать, как положено и он не будет ничего выдавать. В приведенном тобой примере у фреймов одинаковые и индексы и имена колонок, по этому все работает без ошибок. Если на твоих реальных фреймах выдает такую ошибку, значит имена колонок отличаются, или индексы отличаются. Сделай разным индекс или имя хоть одной колонки у приведенных тобой фреймах и все перестанет работать.

А во вторых я не стал в ответе это писать потому что думал может замену надо сделать на какую то другую величину. Но если есть два фрейма и тебе там где они отличаются нужно взять значения из второго фрейма, а зачем вообще тогда сравнение, можно просто брать второй фрейм и все.

Как заменить только отличные значения с помощью pandas?

А замена везде одинаковая? Или значений на которые заменяется несколько и они зависят от дополнительных условий?

Почему переменная изменяет значение?

Ася, Если в виде строк это другое дело, лишь бы чисел там не было, потому что операции над числовыми видами данных, вам недоступны, я об этом и говорил. Там смотрите, еще раз pandas не будет понимать что это списки со строками. Он будет понимать все это как строку вместе с элементами []. Есть акссесор str, который позволяет работать с каждым элементом ячейки, как если бы это была отдельная python строка, там у него куча методов есть включая хоть regex можно прикрутить.

Почему переменная изменяет значение?

Ася, Хорошо, когда вы получаете фрейм из файла, все может быть на много хуже, чем списки. В чем проблема списка как элемента ячейки, в том что для pandas нет никакого списка если вы вызовете df.dtypes то увидите тип данных вашей колонки 'object'. Что это значит? А значит это что pandas понимает содержание колонки как "python" объект и никакие операции кроме строковых ему недоступны, вы все еще можете например написать функции и применить ее методом apply например которая будет вычислять mean или что то другое, но будет страшно медленная и для каждой операции придется писать функцию, это так не работает.

Вам нужно распарсить данные увеличить количество столбцов если необходимо и применять операции согласно типу данных.

Как правильно сгенерировать дату в Pandas?

Chubaka, Ну я чуть-чуть на бегу писал, решение то рабочее, но я им сам недоволен, вообще такие задачи решаются через многомерный индекс. Где день это первый уровень индекса, артист второй, потом песни, потом случайная выборка на каждую песню, а потом распремляем индексы и получаем тот же результат, только с меньшим количеством кода плюс куда быстрее, чем мой вариант. Чуть время появится, сделаю для тренировки, задачка ваша не плохая может пригодится.

Как написать код, чтоб данные генерировались в .csv вместо .xls?

Ты используешь pandas, вместо pd_series.to_excel
pd_series.to_csv(database)
и все, параметр engine не нужен. Да и поменяй у тебя database = 'data.xls' на 'data.csv'.

Не получается спарсить, что делаю не так?

RimMirK, Это парсинг, сегодня мой работает а завтра не факт. Лучше иметь их кучу и выбирать случайно.

Как сделать рандомное число без повторений при вызове функции?

Это называется выборка без замены элемента и она такая же случайная, как и выборка с заменой, как в случае с монеткой. Есть пространство выборки и есть то как мы осуществляем выборку с заменой элемента или без замены. В случае выборки БЕЗ замены, размер пространства выборки сокращается на 1 с каждым новым выбором да и все.

Изменили выходные параметры в fitted.forecast в Python - как его теперь использовать в моем случае?

Поправить, api что бы все заработало не проблема, но вот графика такого не выдаст да и я если честно слабо себе представляю, такая маленькая временная последовательность, а должна предсказывать на 39 шагов вперед, Слишком уж далеко. При чем обрати внимание, что оно тебе выдает если ты используешь метод forecast он тебе вернет series с прогнозами. Закомментруй все что касается интервалов уверенности убери стандартную ошибку. То есть оставь вот так, fc = model.forecast(39, alpha=0.05) и глянь на него сначала он пытается прогнозировать, а потом выдает одинаковые результаты, а интервалы, стандартные ошибки, есть объекты где они содержаться атрибутами да и все, api это вообще не проблема, я две строчки поменял и все заработало. Но прогноза, как на графике он не делает, по этому я и не стал публиковать ответом. Как по мне качество статьи оставляет желать лучшего да и все.

Пожалуйста порекомендуйте с выбором проекта Data science?

a scikit-learn, statsmodels? Что то изучали, pandas и numpy это про манипуляции данными а не про построение предиктивных моделей или про делание статистических выводов. Data Science - в двух словах это наука о превращении сырых данных в ЦЕННУЮ информацию. На чистом pandas ну разве что EDA анализ можно сделать (Визуализировать распределения, и потенциальные взаимоотношения как индивидуально между предикторами и целью, так и взаимоотношения предикторов между собой).

Каковы задачи вашего проекта? что можно использовать? проект о простеньких манипуляциях + визуализация на pandas или что то по серьезнее со статистическими выводами и прогнозированием?