@PyWebSol

Как правильнее дообучать gpt2?

Позволить себе хорошую видеокарту пока что не могу, поэтому использую колаб (он с лимитами). Из-за этого мне приходится обучать нейросеть на датасете, разделенном на несколько частей.

Вопрос: выйдет ли модель хуже по сравнению с моделью, обученной на одном большом наборе данных?

Я заметил, что модель может забывать предыдущие данные, на которых училась до этого (возможно это из-за того, что я обучил её только на небольшой части).

Использую данный скрипт для дообучения: https://raw.githubusercontent.com/huggingface/tran...

Аргументы запуска обучения следующие:
655fe0fb67e81773366009.png
  • Вопрос задан
  • 46 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы