Text-to-LoRA: мгновенная адаптация трансформеров
Исследователи Sakana AI разработали Text-to-LoRA (T2L) , гиперсеть, которая динамически генерирует веса Low-Rank Adaptation (LoRA) для больших языковых моделей на основе описаний целевых задач на естественном языке. Этот метод обеспечивает эффективную адаптацию без предварительной настройки (zero-shot), превосходя установленные базовые показатели и достигая производительности, сравнимой с тонко настроенными адаптерами на ранее не встречавшихся задачах.
https://habr.com/ru/articles/925404/
#ai #ml #llm #lora #sakana #TextToLoRA #Hypernetwork #finetuning
