В чем преимущество позиционного кодирования синусами?

Question

[Евгений Лернер]

Здравствуйте ! Трансформер не учитывает позицию токена и требует позиционного кодирования. Самое просто это присвоить каждому токену его порядковый номер. Почему это плохо ? Чем лучше используемый метод, кодирование синусами и косинусами?

Comments

[mayton2019]

Порядковый номер - это функция монтонная. Синус - нет.

[Евгений Лернер]

mayton2019, а какие проблемы создаёт монотонная функция? Чем синусы лучше ?