Каковы основные преимущества использования синусного позиционного кодирования?

Синусное позиционное кодирование (или позиционное кодирование на основе синуса и косинуса) часто используется в архитектуре трансформеров для учета порядка токенов в последовательностях. Основные преимущества использования синусного позиционного кодирования по сравнению с простым порядковым Номером включают:

1. **Линеаризация расстояний**: Синусное позиционное кодирование обеспечивает непрерывное представление позиций, что позволяет модели легко различать не только порядок токенов, но и относительное расстояние между ними. Это означает, что модель может лучше захватывать зависимости на различных расстояниях.

2. **Обобщение на длины последовательностей**: Синусные функции имеют периодический характер, благодаря чему модель может обобщать на различные длины последовательностей, не сталкиваясь с проблемами, связанными с ограничением на фиксированные длины (как, например, в случае порядковых номеров).

3. **Более устойчивые представления**: Позиционное кодирование на основе синусоид может обеспечивать более устойчивые представления для токенов, особенно в тех случаях, когда есть различные длины последовательностей и когда система должна учитывать более сложные отношения между токенами. Примером может служить способность различать токены, находящиеся на одинаковом расстоянии от начала последовательности.

4. **Изучение контекстуальных отношений**: Так как синусное и косинусное кодирование предоставляют различия в значениях для разных позиций на основе тригонометрических функций, они также служат для улучшения изучения более сложных контекстуальных отношений между токенами.

Недостатки простого порядкового кодирования:

1. **Ограниченность**: Следуя порядковому кодированию, модель может хорошо работать только на фиксированных длинных последовательностях. При изменении длины она может не работать так же эффективно.

2. **Линейность**: Порядковые номера могут не передавать информацию о относительном расстоянии между токенами, а только их абсолютный порядок, что может ограничивать понимание контекста.

3. **Отсутствие общего понимания**: Обычные порядковые номера могут не позволять модели учесть, что некоторые токены могут иметь схожее значение, находясь при этом на разных позициях.

Таким образом, синусное позиционное кодирование предлагает более гибкий и мощный способ инкапсуляции информации о позициях в последовательностях, что способствует лучшему обучению и способности модели к обобщению.

Веса принято держать  в районе нуля - что-то типа  +/-1. В итоге, если мы будет просто в лоб брать порядковый номер, то нейронке надо и порядковый номер 2 и порядковый номер 20 как-то приводить в свою нутрянку к маленьким числам (нормировать), иначе слово в позиции 100 будет иметь в 100 раз больше значимость, чем первое. 
 Поэтому тут нужно какое-то векторное кодирование из небольших чисел. Сразу напрашивается двоичный код, он в принципе подходит, но его минус в том, что получается тоже большой разлёт, то 0 то 1. Синус же дает несколько промежуточных значений. В принципе кодировку можно было бы и захардкодить, но зачем, когда синус сделает это за нас.