@EzikBro

Как можно обучать нейронную сеть, используя данные из скользящего окна?

У меня есть датасет 150x2,000,000, где строки обозначают последовательные моменты времени. При этом на вход нейронной сети будут подаваться таблицы 150x10,000.

Я хотел бы обучить модель на строках [0, 9999], [1, 10000], [2, 10001]... исходного датасета, но очевидно я не могу хранить их в чистом виде.

Как я могу обучать свою модель последовательно на этих "окнах"?

В данный момент я использую Keras.Sequential, но вообще хотелось бы узнать принцип, применимый не только для данной модели.
  • Вопрос задан
  • 80 просмотров
Пригласить эксперта
Ответы на вопрос 1
@rPman
Вопрос не про машинное обучение, а про выбор механизмов хранения данных и эффективного их чтения.
У тебя датасет 150x2000000 чисел? для float это чуть больше гигабайта, держи в оперативной памяти просто двумерным массивом

Если на формирование обучающей выборки тратится времени сравнимо с собственно этапом прогона нейронной сети, то формируй ее в соседнем потоке, складывая несколько заранее подготовленных в очередь
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы