Готовимся к собесу: positional encodings в 2025 году
Если вы до сих пор считаете, что positional encoding в трансформерах — это знаменитые sin/cos из статьи 2017 года, то боюсь, что собеседование для вас закончится автоматическим реджектом. Позиционное кодирование заметно эволюционировало с момента появления оригинальной статьи о трансформерах. В современных LLM и моделях компьютерного зрения, таких как FLUX, уже давно не используется классическое sin/cos-кодирование.
https://habr.com/ru/articles/926368/
#gpt #deeplearning #nlp #собеседование #подготовка_к_собеседованию #вход_в_it #computer_vision

