Lmst

Cryfish: Как научить большую языковую модель слышать и понимать звуки?

В мире искусственного интеллекта господствуют большие языковые модели (LLM, large language models). GPT и ее аналоги прекрасно справляются с написанием текстов, кода и генерацией картинок. Но что насчёт звука? Умение слушать и понимать аудио — это следующий логический шаг на пути к многомодальным системам. В этой статье мы расскажем вам о Cryfish — модели на основе LLM, которая не только читает, но и слышит. Мы разберём, как заставить LLM понимать речь, музыку, эмоции и бытовые шумы, и расскажем о сложностях, с которыми столкнулись при обучении.

https://habr.com/ru/articles/972898/

#machine_learning #large_language_model #neural_networks #speech_recognition #speaker_verification

Diffusion Beats Autoregressive in Data-Constrained Settings
https://blog.ml.cmu.edu/2025/09/22/diffusion-beats-autoregressive-in-data-constrained-settings/
#ycombinator #Machine_learning #artificial_intelligence #deep_learning #natural_language_processing #automated_machine_learning #big_data #data_science #neural_networks #ethics_and_ai #computer_science #research

Нейросетевой помощник для Catan Universe: как я научил ИИ считать карты соперников

Привет, коллеги-катановцы! Знакомо чувство, когда в пылу битвы за овец и кирпичи напрочь забываешь, сколько ресурсов только что сбросил соперник? Вот и я вечно путался — пока не загорелся безумной идеей: А что если заставить нейросеть следить за картами вместо меня? Пару месяцев, несколько килограммов кофе и одна сгоревшая видеокарта спустя — представляю вам Catan Neural Assistant — шпаргалку, которая в реальном времени подсчитывает ресурсы оппонентов! Но сначала — лирическое отступление для тех, кто вдруг не в теме. кто вдруг не в теме.

https://habr.com/ru/articles/935054/

#Catan #Neural_networks #Нейронные_сети #Катан #компьютерное_зрение

Правда ли KAN лучше MLP? Свойство разделения глубины между двумя архитектурами

Прошлым летом в свет вышла новая архитектура нейронных сетей под названием Kolmogorov-Arnold Networks (KAN). На момент выхода статьи про KAN эта новость произвела фурор в мире машинного обучение, так как KAN показывала существенный прирост в качестве аппроксимации различных сложных функций. Ошибка новых сетей падает значительно быстрее при увеличении числа параметров. Однако, за все приходится платить, и цена таких маленьких значений функции ошибки - медленное обучение: KAN обучается примерно в 10 раз медленнее, чем старый добрый MLP. Из всего этого возникает вопрос: насколько все же уместно использование новой архитектуры вместо привычных всем MLP? В данной статье будет найдена функция, которая может быть реализована с помощью двухслойного KAN полиномиальной ширины, но не может быть приближена никакой двухслойной ReLU MLP сетью с полиномиальной шириной

https://habr.com/ru/articles/929972/

#kan #mlp #approximation #math #machine_learning #deep_learning #science #neural_networks #research

LIME for ECG Time Series Dataset Example

LIME (Local Interpretable Model-Agnostic Explanations) — популярный модет в решении задачи интерпретации. Он основан на простой идее — приблизить прогнозы сложного оценщика (например, нейронной сети) простым — обычно линейной/логистической регрессией. Применить LIME можно из коробки при помощи одноименной библиотеки [ lime ]. Однако, при применении LIME к, в частности, к временным рядам возникают особенности. Поэтому в чистом виде lime для TimeSeries не всегда легко применить. И в этом туториале мы сделаем приближенение метода самостотельно! :)

https://habr.com/ru/articles/926082/

#explanation #xai #convolutional_neural_network #neural_networks #machine_learning

Вычисление функции потерь и градиентов в AI переводчике

Привет, Хабр! Меня зовут Алексей Рудак, я основатель компании Lingvanex , которая разрабатывает решения в области машинного перевода и транскрипции речи. Продолжаю цикл статей о том, как устроен переводчик на нейронных сетях изнутри. И сейчас хочу рассказать про работу функции потерь. Для тренировки модели используется opensource фреймворк OpenNMT-tf. Статья предоставляет всесторонний обзор вычисления функции потерь в машинном обучении, особенно в контексте моделей последовательностей. Она начинается с подробного описания того, как матрица логитов, генерируемая после преобразований в декодере, обрабатывается через функцию cross_entropy_sequence_loss. Эта функция играет ключевую роль в измерении расхождения между предсказанными выводами и фактическими метками. В статье описаны шаги, включая преобразование логитов в подходящий формат, применение сглаживания меток для создания сглаженных меток и вычисление кросс-энтропийных потерь с использованием softmax. Каждый этап подробно объясняется, чтобы было понятно, как каждый компонент вносит вклад в общую оценку потерь. Кроме вычисления потерь, статья рассматривает механизм выравнивания, используемый для улучшения работы модели. Описано, как значение потерь корректируется на основе направляемого выравнивания, что позволяет модели лучше учитывать взаимосвязи между исходными и целевыми последовательностями. Также подробно рассматривается процесс вычисления и применения градиентов, иллюстрируя, как оптимизатор обновляет веса модели для минимизации потерь.

https://habr.com/ru/articles/917708/

#машинное+обучение #machinelearning #переводчик #переводчики #машинный_перевод #ии #искусственный_интеллект #языковые_модели #transformers #neural_networks

Сделано с любовью и TensorFlow: моя первая нейронка с нуля (без GPU и с бюджетом $0)

Когда я впервые села за компьютер с мыслью: «А не обучить ли мне нейросеть?» у меня не было понимания как это сделать и с чего начать. Зато была любовь к собакам, интерес к машинному обучению и желание разобраться, как всё работает. Так родился проект HappyPuppy - моя первая нейронка, которая распознаёт сибирского хаски и французского бульдога на фотографии. Просто загрузите фото (jpg, jpeg, png до 1MB) с вашим питомцем и модель предскажет породу. Далее я расскажу, как на домашнем Маке появилась и выросла моя первая сверточная нейронная сеть (CNN): от идеи до работающей модели — её создание, обучение и тестирование. Эта история будет особенно полезна новичкам в мире ИИ без опыта в программировании . Ссылка на код на GitHub, архитектура модели и маленький ликбез по сверточным нейронным сетям будут в конце статьи. А сейчас — история создания по шагам.

https://habr.com/ru/articles/905718/

#machine_learning #ai #cnn #neural_networks #flask #python3 #tensorflow #keras

Мир будущего: управление устройствами с помощью жестов

Видели в кино, как устройствами управляют с помощью жестов? Сделать такую систему очень просто, а ещё очень дорого. Но всё-таки есть способ сделать её достаточно лёгкой и простой — настолько, чтобы можно было интегрировать в любое устройство с любым процессором, потратив минимальное количество денег. Привет, Хабр! Это Александр Нагаев, техлид из SberDevices команды R&D компьютерного зрения. Расскажу, как создавать и использовать оптимизированные модели для управления устройствами с помощью жестов.

https://habr.com/ru/companies/oleg-bunin/articles/891860/

#data_mining #computer_vision #detection #neural_networks #data_science #deep_learning #device_control #gesture_recognition #datasets #humancomputerinteraction

Исследуем эволюцию архитектур в Computer Vision: Mind Map всех ключевых моделей

Компьютерное зрение (Computer Vision) пережило невероятную эволюцию за последние десятилетия. От простых свёрточных сетей до сложных архитектур, которые сегодня задают стандарты в распознавании изображений, обработке видео и других задачах. Но как разобраться во всём этом многообразии? Чтобы помочь себе (и вам!) лучше понять основные направления развития, я создал Mind Map , которая объединяет ключевые архитектуры Computer Vision — от классических моделей до современных прорывов.

https://habr.com/ru/articles/890724/

#computer_vision #mind_maps #deep_learning #machine_learning #машинное_обучение #нейронные_сети #neural_networks #transformers #resnet

HaGRIDv2-1M: 1 миллион изображений для распознавания статичных и динамических жестов

Датасет HaGRID , о котором мы писали в одном из постов , — это самый полный набор данных для построения системы распознавания жестов. Он стал очень популярным внутри комьюнити и нашел применение в таких задачах, как обучение и оценка нейронных сетей для распознавания жестов (о чем писали, например, тут и тут ), а также в таких неочевидных приложениях, как генерация анатомически корректных рук с помощью диффузионных моделей (об этом можно почитать тут , тут и тут ). Данная статья посвящена расширенной версии датасета — HaGRIDv2-1M . Тут мы подробно расскажем о её отличиях от первой версии, поделимся результатами экспериментов и обсудим новые возможности. Кроме того, мы представляем новый real-time алгоритм для детекции динамических жестов, полностью обученный на HaGRIDv2-1M . Данные, код и предобученные модели можно найти в репозиториях HaGRID , dynamic gestures , а более подробно ознакомиться с работой можно в статьях HaGRIDv2-1M , HaGRID .

https://habr.com/ru/companies/sberdevices/articles/888896/

#data_mining #computer_vision #humancomputerinteraction #gesture_recognition #device_control #datasets #data_science #deep_learning #neural_networks #detection

Marigold-DC

Построение 3D мира стало необходимым с появлением автопилотов для построения карт и планирования маршрутов. Данная статья про одно из решений задачи Depth Completion (получение 3D карты по лидарным точкам и изображениям с камер). Попыталась разобраться в архитектуре Marigold-DC. Надеюсь, будет интересно ❤️

https://habr.com/ru/articles/886204/

#диффузионные_модели #нейронные_сети #3d_реконструкция #depth_map #карта_глубины #diffusion_models #neural_networks #3d_reconstruction

Контекстные бандиты в ценообразовании

Всем привет! На связи команда аналитиков X5 Tech. Мы продолжаем исследовать подходы Reinforcement Learning для ценообразования. В этой статье мы рассмотрим применение контекстных многоруких бандитов на примере модельной задачи, опишем несколько реализаций и сравним их.

https://habr.com/ru/companies/X5Tech/articles/870012/

#reinforcementlearning #machinelearning #neural_networks #multiarmed_bandit

Пишем свой PyTorch на NumPy. ФИНАЛ. Запускаем GPT-2

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. Для использования этого фреймворка, часто достаточно поверхностно понимать работу алгоритмов машинного обучения. В этой части мы будем писать инференс код для GPT2 на собственной библиотеке!

https://habr.com/ru/articles/870504/

#python #pytorch #numpy #neural_networks #from_scratch

Пишем свой PyTorch на NumPy. Часть 3. Строим граф вычислений

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. Для использования этого фреймворка, часто достаточно поверхностно понимать работу алгоритмов машинного обучения. В этой статье мы продолжим реализацию собственный библиотеки машинного обучения на NumPy!

https://habr.com/ru/articles/870426/

#python #pytorch #numpy #neural_networks #from_scratch

Пишем свой PyTorch на NumPy. Часть 1

PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Он особенно популярен благодаря простоте использования, динамическим вычислительным графам и богатой экосистеме инструментов для обучения моделей. В этой статье мы реализуем собственную библиотеку машинного обучения на NumPy!

https://habr.com/ru/articles/869118/

#pytorch #python #numpy #neural_networks #from_scratch

Нейросеть для симуляции CS: GO

В начале октября вышла модель DIAMOND , работающая в режиме игрового движка. Она эмулирует карту Dust 2 в игре CS: GO. По сути модель состоит из двух частей: модели, которая учитывает состояние игрового мира и диффузионной модели, генерирующий следующий кадр на основе предыдущего + инпута с клавиатуры + мыши.

https://habr.com/ru/articles/855756/

#ai #neural_networks #cs:go

State Space Models. Mamba

Ни для кого не секрет, что доминирующей на данный момент архитектурой в области Deep Learning являются трансформеры . Они произвели настоящий фурор и стали основой для самых известных LLM . На данный момент они используются почти во всех фундаментальных моделях, от тех, что с открытым исходным кодом, таких как Mistral, до закрытых, таких как ChatGPT. Однако, трансформеры не лишены некоторых недостатков. Сегодня мы разберём архитектуру под названием Mamba , которая претендует на то, чтобы стать соперником трансформеров и решить их уязвимости.

https://habr.com/ru/companies/sberdevices/articles/855080/

#machine_learning #neural_networks #глубокое_обучение #chatgpt #deep_learning #машинное_обучение #нейронные_сети #ai #transformers

I feel like there is an asymmetry in ML image analysis vs synthesis. A convolutional NN doing inference on an image can efficiently evaluate differential operators like gradient, laplacian, etc.
But NN image generators can't efficiently do the inverse integration operation when creating images.
Are there generative models whose output is something like a Poisson potential that gets fed to a conventional pde solver to produce the output? #generativeai
#imageprocessing #neural_networks

Как у нейросетей работает внимание? Статья про self-attention и cross-attention

Удивительно, как нейросети похожи на нас. У них тоже есть внимание, и на примере коня на ракете я расскажу, как оно работает!

https://habr.com/ru/articles/847698/

#нейросети #ии #ai #stable_diffusion #математика #neural_networks

#neural_networks

Client Info