Ученые выяснили, как стабилизируется обучение нейросетей при увеличении объема данных

Исследователи из МФТИ впервые систематически изучили, как изменяется и стабилизируется процесс обучения нейронных сетей по мере добавления новых данных. Их работа, сочетающая теоретический анализ и обширные эксперименты, показывает, что так называемый «ландшафт функции потерь» нейросети сходится к определенной форме при увеличении размера выборки, что имеет важные последствия для понимания глубинного обучения и разработки методов определения необходимого объема данных. Исследование опубликовано в Doklady Mathematics.

https://habr.com/ru/articles/961694/

#ландшафт_функции_потерь #глобальная_оптимизация #матрица_Гессе #классификация_изображений #глубокое_обучение

Книга: «Математика и архитектура глубокого обучения»

Привет, Хаброжители! Узнайте, что происходит внутри черного ящика! Для использования глубокого обучения вам придется подготовить данные, выбрать правильную модель, обучить ее, оценить качество и точность и предусмотреть обработку неопределенности и изменчивости в выходных данных развернутого решения. Эта книга шаг за шагом знакомит с основными математическими концепциями, которые пригодятся вам как специалисту по данным, – с векторным исчислением, линейной алгеброй и байесовским выводом, представляя их с точки зрения глубокого обучения.

https://habr.com/ru/companies/piter/articles/957226/

#книга #глубокое_обучение #проектирование_и_рефакторинг

Как выбрать облачный GPU-инстанс для развертывания ИИ-моделей: практическое руководство

Развертывание ИИ-моделей в облаке — стандартная задача для современных специалистов по машинному обучению. Но выбор подходящего инстанса GPU часто превращается в «лотерею»: переплата за избыточные ресурсы или, наоборот, «торможение» из-за недостаточной мощности. В этой статье мы расскажем, как не ошибиться с выбором облачного GPU, сохранив баланс между производительностью и бюджетом. Акцент сделаем на реальных кейсах — от обучения нейросетей до инференса в продакшене.

https://habr.com/ru/articles/948052/

#облачные_вычисления #машинное_обучение #глубокое_обучение #nvidia #cuda #нейросети #обучение_нейросетей #aws_ec2

Мир после GPT-5: как одна презентация обрушила веру в технологическое чудо

Презентация GPT-5, ожидавшаяся как революция, обернулась разочарованием. Это событие вызвало споры о пределах возможностей LLM. В статье анализируется, почему технология, названная Ноамом Хомским «Т9 на стероидах», пока не способна на научные открытия. Что ждет индустрию дальше? Рассматриваются технические барьеры, гонка за вычислительными мощностями и фундаментальные вопросы о будущем ИИ. Создаем ли мы помощника или цифрового бога в надежде решить все проблемы человечества.

https://habr.com/ru/articles/944124/

#искусственный_интеллект #машинное_обучение #chatgpt #нейросети #llm #openai #gpt5 #глубокое_обучение

Вебинары трека Наука о данных Летней цифровой школы Сбера

Привет, коллеги ML инженеры, Data scientist'ы и все, кто интересуется искусственным интеллектом, созданием нейросетей, машинным обучением и анализом данных! Принёс вам пачку вебинаров с интенсива трека Наука о данных курсов повышения квалификации Летней цифровой школы Сбера.

https://habr.com/ru/articles/935564/

#машинное_обучениe #искусственный_интеллект #data_science #data_analysis #ai #artificial_intelligence #ии #нейросети #нейронные_сети #глубокое_обучение

Галлюцинации и многообразия. Зачем искусственному интеллекту многомерные миры

Сейчас на Хабре много пишут о галлюцинировании нейронных сетей и больших языковых моделей в частности. Хорошим введением в эту тему, написанным с философских позиций, мне представляется текст уважаемого Дэна Рычковского @DZRobo « Когда ИИ закрывает глаза: путешествие между воображением и галлюцинациями ». Базовое техническое погружение в тему вы найдёте в статье уважаемой @toppal « Причины возникновения галлюцинаций LLM », это перевод академической статьи специалистов Харбинского технологического института, опубликованной в конце 2024 года. Действительно, в большинстве источников галлюцинации ИИ рассматривают либо в негативном ключе, либо как неизбежный побочный эффект, связанный с попытками «вшить» синтетический аналог воображения в вычислительную сеть. Я же хочу остановиться на менее известном аспекте работы нейронок, в котором галлюцинации могут восприниматься как положительная и даже необходимая часть работы алгоритма. Речь пойдёт об искусственном повышении размерности данных, подаваемых на вход в нейросеть, и о том, к чему такая практика может приводить. Наиболее известное проявление такого эффекта известно в англоязычных источниках под названием « проклятие размерности » (curse of dimensionality).

https://habr.com/ru/articles/929134/

#биоинформатика #искусственный_интеллект #галлюцинации #многообразия #глубокое_обучение

«Скайнет» наоборот: как вырастить и обучить ИИ с помощью Дарвин-Гёдель машины для улучшения человеческой демографии

Разрабатываем и растим «цифрового губера» - консультанта по вопросам государственного политического управления, демографии и миграции. Решаем задачу оптимизации экономики и миграционной политики для устойчивого демографического роста в 89 регионах с помощью взаимодействующих друг с другом и обменивающихся опытом ИИ-агентов , на основе мутаций, скрещивания и эволюции. Мультиагентное обучение, Multi-Agent Deep Deterministic Policy Gradient и Darwin Gödel Machine .

https://habr.com/ru/articles/921774/

#agi #reinforcementlearning #MADDPG #ДарвинГёдель_машина #обучение_с_подкреплением #мультиагентные_системы #глубокое_обучение #демография #миграция #искуственный_интеллект

Это камень? Это ветка? Это нос! Разбираем подходы, помогающие ИИ распознавать лица на картинках с низким разрешением

Привет, Хабр! Мы – Даниил Соловьев и Михаил Никитин из команды направления распознавания лиц. Сегодня фокусируемся на задаче распознавания лиц на изображениях низкого разрешения (low resolution face recognition, low-res FR). Она актуальна в первую очередь при анализе данных видеонаблюдения, так что если перед вами сейчас стоит подобная задача (или просто интересно, как она решается) — статья для вас. Расскажем про проблемы и сложности распознавания лиц низкого разрешения, подходы к решению задачи, в том числе свежий PETALface с конференции WACV 2025 . Также поделимся ссылками на исследования, которые подробнее освещают каждый подход.

https://habr.com/ru/companies/tevian/articles/921660/

#низкое_качество #низкое_разрешение #распознавание_лиц #глубокое_обучение #компьютерное_зрение #машинное_обучение #обработка_изображений #deep_learning #computer_vision #face_recognition

HandReader и Znaki — лучшая архитектура и самый большой набор данных для распознавания русского дактиля

Всем привет! Ранее мы уже писали о нашем наборе данных Bukva — первом наборе данных для распознавания русского дактильного языка в изоляции, который содержит более 3 700 видеороликов, разделённых на 33 класса, каждый из которых соответствует одной букве русского алфавита. Эта статья посвящена распознаванию непрерывного дактильного языка. Мы расскажем о наших моделях, которые добиваются наилучших результатов на наборах данных непрерывного американского дактильного языка ChicagoFSWild и ChicagoFSWild+ , а также о нашем новом наборе данных Znaki — первом открытом наборе данных непрерывного русского дактильного языка, содержащем более 37 000 видео.

https://habr.com/ru/companies/sberbank/articles/921004/

#распознавание_изображений #машинное+обучение #глубокое_обучение #жестовый_язык

Агенты. Деньги. Бизнес и Работа

По материалам Fast Company, Venture Beat, CIO, NY Times, New Scientist, Wired, McKinsey и других ресурсов. Минимум булшита, максимум инсайтов. Решается судьба будущего интернета: станет ли он открытым пространством для всех или превратится в сеть закрытых экосистем, контролируемых Big Tech... ChatGPT на пике растет со скоростью 1 000 000 пользователей за пару часов...

https://habr.com/ru/articles/917796/

#ииассистент #ииагенты #искусственный_интеллект #будущее #агентная_экономика #дайджест #глубокое_обучение #информационная_безопасность #криптография #интересное

Как устроено глубокое обучение нейросетей

Глубокое обучение - Способ обучения моделей на большом количестве данных, используя множество слоёв. Каждый слой сети обрабатывает информацию, "взвешивая" её при помощи параметров ( весов и смещений ), оставляя признаки или отбрасывая, посредством функций активации. Обучение происходит через итеративную ( повторяющуюся ) корректировку весов: сначала вычисляются градиенты ошибки с помощью обратного распространения ( backpropagation ), а затем веса обновляются при помощи оптимизаторов ( SGD, Adam и др. ). Эта статья не ответит на все вопросы, но мы пробежимся по всем основам глубокого машинного обучения, что бы создать примерную начальную картину без сильного углубления в детали.

https://habr.com/ru/articles/918188/

#искусственный_интеллект #ии #глубокое_обучение #машинное_обучение #ai #роботы

[Перевод] Как прямая помогает обучать машины

В контексте компьютеров, обучение — это всего лишь превращение плохих догадок в более качественные. В этом посте мы увидим, что всё начинается с прямой линии: линейная регрессия даёт первую догадку, а градиентный спуск продолжает её улучшать. Давайте начнём с чего-то близкого нам: цен на недвижимость. Большие дома стоят больше, маленькие — меньше. Подобный паттерн можно заметить даже без анализа: чем больше места, тем дороже. Если создать график цен, то его форма будет очевидной: идущая вверх нечёткая кривая с долей шума, но вполне определённым трендом. Взаимное движение цены и размера как будто предсказуемо. Однако оно не ограничено фиксированными шагами или категориями, их масштаб скользит. Дом может стоить 180 тысяч, 305 тысяч или иметь какую-то промежуточную цену. Теперь представьте, что вы продаёте свой дом. Его площадь 1850 квадратных футов (~172 квадратных метра) — больше среднего, но явно не особняк. Вы видели, почём продаются дома в вашем районе, но цены колеблются. Какой будет справедливая цена?

https://habr.com/ru/articles/915948/

#линейная_регрессия #градиентный_спуск #стохастический_градиентный_спуск #глубокое_обучение

Больше данных — ровнее ландшафт нейросетей

Что если обучение нейросети — это путешествие по горному хребту, где каждая точка — набор весов, а высота — ошибка модели? Пока данных мало, рельеф напоминает Альпы: острые пики и опасные пропасти локальных минимумов. Но учёные МФТИ показали: чем больше примеров видит сеть, тем плавнее становится «ландшафт потерь» — резкие скалы сглаживаются, глубокие ущелья превращаются в широкие долины. В статье мы разбираем их теорию, подтверждённую экспериментами, сравниваем с другими работами о плоских минимумах, Hessian-спектре и skip-connections, и рассуждаем, как знание геометрии помогает решать практичные задачи: когда остановить сбор данных, как выбирать архитектуру и почему ширина слоёв иногда важнее глубины. Погружаемся в математический рельеф, чтобы понять, где в нём прячутся лучшие модели.

https://habr.com/ru/articles/906336/

#ландшафт_функции_потерь #нейросети #глубокое_обучение #матрица_гессе #плоские_минимумы #стабилизация_при_росте_выборки #сходимость_обучения #sample_complexity #теория_глубокого_обучения #мфти

«Чистый берег»: как нейросеть в облаке помогает с уборкой побережья Камчатки и Арктики

Ежегодно в Мировой океан попадает более 11 млн тонн пластика — его накопление в водоёмах угрожает не только отдельным видам птиц и животных, но и целым природным экосистемам. В России эта проблема проявляется не столь остро, как, например, в странах Юго‑Восточной Азии, но тем не менее морской мусор встречается регулярно. В 2024 году команда специалистов Дальневосточного федерального университета (ДВФУ), Кроноцкого заповедника, Центра технологий для общества Yandex Cloud и Школы анализа данных Яндекса (ШАД) запустила проект «Чистый берег», результатом которого стала разработка нейросети, обученной распознавать определённые виды мусора на побережье, что, в свою очередь, позволяет определить его массу и объём. Меня зовут Дмитрий Сошников , и в этом проекте я выступил в качестве научного руководителя студентов ШАД. В статье расскажем, как готовили данные и обучали нейросеть, какие технологии для этого использовали и как приложения на основе ML помогают планировать работу исследователей и волонтёров.

https://habr.com/ru/companies/yandex/articles/901844/

#машинное_обучение #segment_anything #stargan #преобразование_фурье #gan #segformer #grabcut #глубокое_обучение

Головоломка, кофе и охапка книг, или как я искал истоки термина «Deep Learning». Часть 2

Привет! Некоторое время назад я начал искать истоки термина «Deep Learning» . Тогда я изучал только зарубежные источники и обещал вернуться позже с обзором советской и российской литературы. Что ж, откладывать это больше нельзя. Посмотрим, на кого будут ссылаться отечественные авторы в том, что касается истории развития глубокого обучения. Без долгого вступления — берем в руку пальцы Ctrl/Cmd+F и начинаем раскопки!

https://habr.com/ru/companies/selectel/articles/899050/

#selectel #ии #искусственный_интеллект #машинное_обучение #ml #dl #deep_learning #глубокое_обучение #познавательное

Как мы оживили DPED: ИИ-проект для улучшения мобильных фото до снимков с «зеркалок»

Привет, Хабр! На связи команда регионального научно-образовательного центра «Искусственный интеллект и анализ больших данных» при НГТУ им. Р. Е. Алексеева. Сегодня практически у каждого крупного производителя смартфонов есть собственные системы улучшения качества фотографий, основанные на искусственном интеллекте. Помимо этого, существует множество аналогичных открытых моделей нейросетей. Возникает вопрос: зачем тогда мы решили оживить DPED (Deep Photo Enhancement Dataset) — созданный для тех же целей проект 2017 года? В статье мы ответим на этот вопрос, займемся оживлением и протестируем нашу модель DPED на фотографиях с планшета KVADRA_T.

https://habr.com/ru/companies/yadro/articles/895084/

#Искусственный_интеллект #Улучшение_фотографий #Нейросети #TensorFlow #Глубокое_обучение #SSIM_и_PSNR #Улучшение_качества_изображений #Подготовка_датасета

Что вам нужно знать, если вы решили внедрить LLM

Вокруг LLM очень много мистификации. Мол, только особенные люди после специального образования, где их учили мудрые наставники, могут освоить таинство работы с LLM. Я уверен, что это не так. У меня была мечта написать небольшой гайд, с помощью которого любой сильный духом сможет разобраться, как эти LLM нужно использовать в своем продукте. Эта статья - воплощения моей мечты. В одном исследовании утверждается, что 80% всех ИИ проектов проваливаются. Сам не считал, но думаю, что порядок примерно такой. Давайте вместе попробуем это исправить. Разобраться с LLM

https://habr.com/ru/articles/896598/

#llm #нейросети #искусственный_интеллект #artificial_intelligence #внедрение_ии #large_language_models #deeplearning #глубокое_обучение #машинное_обучение

Свёрточные нейронные сети: от основ до современных технологий

Исследуем свёрточные нейронные сети (CNN): полный гид От основ нейронных сетей до кода: узнайте, как CNN обрабатывают изображения. Включает: Основы: нейроны, слои, обучение. Компоненты CNN: свёртка, пулинг, полносвязные слои. Архитектуры: LeNet, AlexNet, VGG, GoogleNet, ResNet. Практический пример на TensorFlow. Сравнение с Vision Transformers. Идеально для новичков и экспертов

https://habr.com/ru/articles/887268/

#cnn #пуллинг #фильтры #глубокое_обучение #машинное_обучение #компьютерное_зрение #python #python3 #tensorflow

От генерации к рассуждению: эволюция языковых моделей от GPT до RL

В контексте стремительного развития больших языковых моделей (LLM) особое внимание уделяется повышению их способности к логическим рассуждениям. Одним из значимых достижений в этой области является модель DeepSeek-R1 , разработанная для стимулирования reasoning-способностей LLM с помощью методов обучения с подкреплением (Reinforcement Learning, RL). DeepSeek-R1 представляет собой инновационный подход, направленный на улучшение качества генерации ответов в задачах, требующих многошаговых логических выводов.

https://habr.com/ru/articles/884896/

#искусственный_интеллект #глубокое_обучение #ризонинг

Типы и архитектуры параллельных вычислений: какие они бывают?

Привет, Хабр! В этом материале мы снова вернемся к теме GPU и машинного обучения, но на этот раз поговорим о параллельных вычислениях, видах параллелизма и типах архитектур, которые задействуют для эффективной тренировки и работы нейросетевых моделей.

https://habr.com/ru/articles/881488/

#параллельные_вычисления #gpu #gpu_вычисления #параллелизм #архитектура #глубокое_обучение #глубокие_нейронные_сети #нейронные_сети #нейронные_сети_и_машинное_обучение #cpu