Я пытаюсь решить аналогичную проблему
dp_tutorials/Tutorial_3_RU_Fine_tuning_BERT_classifier.ipynb at master · deepmipt/dp_tutorials · GitHub.
(Multi class sentimen classifier), единственное, датасет мой на русском, соответственно я скачал RuBert и поменял некоторые моменты конфига типа пути к датасету, разделитель.
Dataset выглядит вот таким образом:
content emotions
0 Обычная семья: муж - в море, жена - с маленьки… smile
1 Я знаком с этой конторой и обхожу ее стороной,… angry
2 Нужна мне была квартира надолго(около года) по… smile
3 Мой друг: - Не корми мою собаку сыром у неё п… smile
4 Твит Маска: «Если жизнь - это компьютерная игр… smile
Я все делаю точно также как на туториале но именно когда подгружаю данный датасет + rubert он у меня run out of RAM memory, однако когда использую BERT-base, English, uncased, 12-layer + датасет на английском, все нормально грузится и тренится. Не могу понять в чем может быть проблема. Не могли бы подсказать что я делаю не правильно? Вот код если хотите взглянуть: BERT/Ru_Bert.ipynb at main · MuhammedTech/BERT · GitHub
Спасибо заранее
Простой
Простой
