Ученые выяснили, как стабилизируется обучение нейросетей при увеличении объема данных

Исследователи из МФТИ впервые систематически изучили, как изменяется и стабилизируется процесс обучения нейронных сетей по мере добавления новых данных. Их работа, сочетающая теоретический анализ и обширные эксперименты, показывает, что так называемый «ландшафт функции потерь» нейросети сходится к определенной форме при увеличении размера выборки, что имеет важные последствия для понимания глубинного обучения и разработки методов определения необходимого объема данных. Исследование опубликовано в Doklady Mathematics.

https://habr.com/ru/articles/961694/

#ландшафт_функции_потерь #глобальная_оптимизация #матрица_Гессе #классификация_изображений #глубокое_обучение

Больше данных — ровнее ландшафт нейросетей

Что если обучение нейросети — это путешествие по горному хребту, где каждая точка — набор весов, а высота — ошибка модели? Пока данных мало, рельеф напоминает Альпы: острые пики и опасные пропасти локальных минимумов. Но учёные МФТИ показали: чем больше примеров видит сеть, тем плавнее становится «ландшафт потерь» — резкие скалы сглаживаются, глубокие ущелья превращаются в широкие долины. В статье мы разбираем их теорию, подтверждённую экспериментами, сравниваем с другими работами о плоских минимумах, Hessian-спектре и skip-connections, и рассуждаем, как знание геометрии помогает решать практичные задачи: когда остановить сбор данных, как выбирать архитектуру и почему ширина слоёв иногда важнее глубины. Погружаемся в математический рельеф, чтобы понять, где в нём прячутся лучшие модели.

https://habr.com/ru/articles/906336/

#ландшафт_функции_потерь #нейросети #глубокое_обучение #матрица_гессе #плоские_минимумы #стабилизация_при_росте_выборки #сходимость_обучения #sample_complexity #теория_глубокого_обучения #мфти