Как улучшить сходимость в физически-информированных нейронных сетях

Physics-Informed Machine Learning — одно из перспективных направлений в ML. Здесь ключевую роль играют физически-информированные нейронные сети (Physics-Informed Neural Networks , PINNs). Однако процесс их обучения сопряжён с рядом трудностей. В этой статье кратко обсудим, как можно решить эти проблемы и повысить эффективность обучения PINNs.

https://habr.com/ru/articles/942172/

#нейронные_сети #машинное_обучение #искусственный_интеллект #physicsinformed_machine_learning #оптимизация #сходимость_обучения #лайфхаки #сэмплирование #физическиинформированные_сети

Больше данных — ровнее ландшафт нейросетей

Что если обучение нейросети — это путешествие по горному хребту, где каждая точка — набор весов, а высота — ошибка модели? Пока данных мало, рельеф напоминает Альпы: острые пики и опасные пропасти локальных минимумов. Но учёные МФТИ показали: чем больше примеров видит сеть, тем плавнее становится «ландшафт потерь» — резкие скалы сглаживаются, глубокие ущелья превращаются в широкие долины. В статье мы разбираем их теорию, подтверждённую экспериментами, сравниваем с другими работами о плоских минимумах, Hessian-спектре и skip-connections, и рассуждаем, как знание геометрии помогает решать практичные задачи: когда остановить сбор данных, как выбирать архитектуру и почему ширина слоёв иногда важнее глубины. Погружаемся в математический рельеф, чтобы понять, где в нём прячутся лучшие модели.

https://habr.com/ru/articles/906336/

#ландшафт_функции_потерь #нейросети #глубокое_обучение #матрица_гессе #плоские_минимумы #стабилизация_при_росте_выборки #сходимость_обучения #sample_complexity #теория_глубокого_обучения #мфти