В чем преимущество позиционного кодирования синусами?

Question

[Евгений Лернер]

Трансформер не учитывает позицию токена и требует позиционного кодирования. Самое просто это присвоить каждому токену его порядковый номер. Почему это плохо? Чем лучше используемый метод, кодирование синусами и косинусами?

Comments

[mayton2019]

Порядковый номер - это функция монтонная. Синус - нет.

[Евгений Лернер]

mayton2019, а какие проблемы создаёт монотонная функция? Чем синусы лучше ?

[mayton2019]

Монотонная - это хорошо. Она биективная. Каждому элементу X(i) будет соотвествовать Y(i)

Если мы введем синус - то нам придется учитывать периодичность и следовательно у нас
возможны ситуации сюрьективного поведения. Нескольким разным X будет соотвествовать один Y.

Я не знаю насколько это плохо или хорошо в вашей задаче но мне порядковый номер
больше нравится. Он - более предсказуемый.

Хотя не зная природы ваешй задачи я только могу вот так вот частным образом делать предположения.

[Евгений Лернер]

Вообще способов позиционного кодирования придумали много. Но я не видел работы где бы их сравнивали с точки зрения быстродействия и приложимости к разным задачам

Answer 1

[freeExec]

Веса принято держать в районе нуля - что-то типа +/-1. В итоге, если мы будет просто в лоб брать порядковый номер, то нейронке надо и порядковый номер 2 и порядковый номер 20 как-то приводить в свою нутрянку к маленьким числам (нормировать), иначе слово в позиции 100 будет иметь в 100 раз больше значимость, чем первое.
Поэтому тут нужно какое-то векторное кодирование из небольших чисел. Сразу напрашивается двоичный код, он в принципе подходит, но его минус в том, что получается тоже большой разлёт, то 0 то 1. Синус же дает несколько промежуточных значений. В принципе кодировку можно было бы и захардкодить, но зачем, когда синус сделает это за нас.

Comments

[Евгений Лернер]

Это похоже главная причина. Что-ли они одномерный вектор с большим диапазоном заменяют на многомерный с меньшим диапазоном?