130+ датасетов для машинного обучения: гид, который сэкономит часы поиска нужных данных

Сколько раз вы начинали новый ML-проект и первым делом отправлялись на поиски подходящих данных? Процесс этот знаком каждому: есть задача, выбрана архитектура модели, но без качественного датасета дальше не продвинуться. Тут и начинается квест по бесконечному поиску «того самого» набора по репозиториям, форумам и каталогам. Хороших датасетов множество, но найти среди тысяч вариантов нужный — отдельная история. Чтобы облегчить вам эту задачу, мы сделали подборку датасетов, которые активно используются ML-инженерами: от классических наборов данных, известных каждому, до новичков в информационном поле.

https://habr.com/ru/companies/magnus-tech/articles/954130/

#машинное_обучение #датасеты #наборы_данных #подборка_датасетов_для_ML #где_искать_датасет #обучение_моделей #компьютерное_зрение #обработка_естественного_языка #MLрепозитории #распознавание_речи

Если нужно сгенерировать синтетические данные — подборка открытых решений

Про снижение расходов на работу с данными

https://habr.com/ru/companies/mws/articles/932066/

#датасет #датасеты_обучения #ml #обучение_моделей #данные #синтетические_данные #LLM #MWS

Что такое NER, зачем он нужен и когда не поможет

Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения сущностей из текста. Для джунов это возможность пройти весь путь — от разметки данных до обучения собственной кастомной NER-модели, попутно понять типичные сложности и ограничения. Привет, меня зовут Александр Агеев, на протяжении года я занимался NER-моделями для определения сущностей на этикетках продуктов питания. Несмотря на мою любовь к NER, у этой технологии есть свои границы — кейсы, которые она не может решить хорошо, поэтому надо подключать другие инструменты. В статье я дам критерии применимости NER для решения практических задач.

https://habr.com/ru/articles/921698/

#нейросети_python #named_entity_recognition #ner #natural_language_processing #nlp #spacy #примеры_кода #обучение_моделей

Как я подчинил нейросети: личный опыт, принципы и рабочие техники

Практика внедрения нейросетей в маркетинг: от обучения моделей и настройки промтов до автоматизации email-рассылок, прогнозов спроса и A/B-тестов. Кейс-опыт, инструменты, контроль качества и принципы устойчивой интеграции ИИ.

https://habr.com/ru/articles/920190/

#нейросети #автоматизация #бизнесаналитика #emailмаркетинг #прогнозирование_спроса #обучение_моделей #ии

Как я обучал LoRA на стиле South Park для Flux: сбор кадров через MPV, особенности FluxGym и эксперименты с рангами

Генеративные нейросети уже изменили мир цифрового искусства, но настоящая магия начинается, когда ты сам берешь их под контроль. Сегодня расскажу о своем эксперименте по обучению LoRA на стиле South Park — от сбора датасета до финальной модели. Поделюсь реальным опытом, техническими нюансами и самое главное — что конкретно сработало, а что оказалось пустой тратой времени. Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me , техноблогер и нейро-евангелист. Идея обучить LoRA на стиле мультсериала пришла ко мне случайно. На глаза попался новый анимационный сериал "Ваш дружелюбный сосед Человек-паук", и я подумал: "Было бы классно обучить LoRA именно на этом стиле!" Я уже обучал LoRA на отдельных персонажах и простых стилях, но на таких сложных и комплексных особо ещё не тренировал. Но стиль человека-паука показался мне слишком сложным для первого эксперимента такого рода. Решил сначала потренироваться на чем-то попроще. И тут удачно подвернулась спешл-серия South Park! Стиль South Park простой, узнаваемый, многие его любят (включая меня). На Civitai уже была одна LoRA South Park, так что я подумал — если смог кто-то другой, то и я смогу! Спойлер: всё оказалось гораздо сложнее, чем я думал. Но обо всём по порядку.

https://habr.com/ru/companies/timeweb/articles/902902/

#lora #flux #FluxGym #обучение_моделей #тренировка_LoRa #Копирование_стиля #stablediffusion #ии_и_машинное_обучение #timeweb_статьи

Для каких типов обучений нейросетевых моделей подходят ускорители AMD

Привет, Хабр! В прошлом материале мы рассказывали про графические ускорители для ЦОД , пытаясь разобраться, какие альтернативы NVIDIA доступны на нынешнем рынке GPU/xPU, и что потенциально интересного стоит ожидать в ближайшее время. Среди комментариев, которыми откликнулись читатели Хабра был весьма интересный вопрос , заслуживающий отдельной темы для его раскрытия. А звучит он так: «Как сейчас обстоят дела с обучением transformers моделей на GPU от AMD? Есть ли такой опыт? Есть ли смысл брать AMD для обучения?» . Что ж…, давайте попробуем копнуть поглубже и получить исчерпывающий ответ, ведь решения AMD действительно являются потенциально интересной альтернативой монополии NVIDIA.

https://habr.com/ru/companies/fplus_tech/articles/905110/

#amd #видеокарты #видеокарты_AMD #nvidia #обучение_нейросетевых_моделей #fplus #обучение_моделей #gpu #ускорители_AMD #сравнение_видеокарт

Когда ИИ сбоит: кто виноват и как минимизировать риски

В 2018 году беспилотник Uber в Аризоне насмерть сбил женщину — система не распознала пешехода.

https://habr.com/ru/companies/netologyru/articles/902078/

#обучение_моделей #ошибки_ИИ #AI_Act #регулирование_ии #стандарты_iso #ответственность_за_ошибки #мониторинг #переобучение_нейросети #человеческий_фактор #работа_с_ии

[Перевод] Человеческий мозг против ML-модели: сходства и различия между психикой и машинным обучением

Адаптировали статью Marina Tosic, в которой автор выясняет, в чём сходства и различия между устройством человеческого мозга и моделей машинного обучения. Разобраться в теме нам помогли: кандидат технических наук Василий Борисов и архитектор ML-решений в РБК Кирилл Думнов.

https://habr.com/ru/companies/netologyru/articles/888212/

#ИИ #человеческий_разум #мозгкомпьютер #mlмодель #обучение_моделей #машинное_обучение #agi #инженерия #алгоритмы_машинного_обучения #кластеризация

Как эффективно бороться с галлюцинациями нейросетей

Привет, я — Олег Рогов , руководитель фронтенд-разработки. В статье рассмотрю, почему искусственный интеллект (ИИ) галлюцинирует и как с этим бороться. С развитием ИИ больших языковых моделей перед пользователями встает вопрос о достоверности информации, которую они предоставляют. Иногда ИИ может выдавать ответы, которые выглядят убедительно, но на самом деле являются вымышленными или неточными. Явление, при котором языковая модель генерирует ложную информацию, получило название «галлюцинация».

https://habr.com/ru/companies/beeline_cloud/articles/886706/

#нейросети #генеративный_ии #llm #обучение_моделей #проверка_фактов #автоматизация #оптимизация_нейросетей

[Перевод] LIMO: Меньше — значит больше для рассуждающих LLM

"Мы представляем фундаментальное открытие, которое бросает вызов нашему пониманию того, как сложные рассуждения возникают в больших языковых моделях" - так нескромно начинается аннотация к свежей статье от 5 февраля 2025 года. Авторы приводят результаты эксперимента, в котором небольшое количество хорошо подобранных задач с ответами может "всколыхнуть и заставить работать" весь "спящий" внутри LLM объем знаний, которые она накопила, перелопатив гигатонны текста. Возможно, данная работа войдет в список обязательных к прочтению статей по теории нейросетей.

https://habr.com/ru/articles/881974/

#LLM #qwen25 #рассуждения #обучение_моделей

[Перевод] Теперь ИИ может заменить любого актера в фильме

Свет, камера... алгоритм? Теперь экран перестал быть уделом исключительно актеров из плоти и крови - все благодаря недавним достижениям в области искусственного интеллекта. В наши дни очень легко создать видео, в котором актеры делают или говорят то, чего на самом деле никогда не делали, или взять фрагмент из фильма и заменить лицо актера на другое. В ИИ-генератор видео с открытым исходным кодом Hunyuan от Tencent недавно была интегрирована поддержка технологии Low-Rank Adaptation (LoRA), что означает, что теперь вы можете обучать пользовательские стили, персонажей и движения, делая ваши ИИ-видео по-настоящему уникальными и персонализированными.

https://habr.com/ru/articles/878432/

#генерация_видео #ии #ai #civitai #j #обучение_модели #обучение_моделей

[Перевод] Платформа для генерации 3D-данных от Bifrost помогает промышленности ускорить обучение моделей

Привет, на связи Юлия Рогозина, бизнес-аналитик Шерпа Роботикс. Сегодня я перевела для вас статью, посвященную стартапу, который создал платформу для 3D-генерации данных без команды 3D-специалистов. Приглашаю ознакомиться с возможной идеей для бизнеса, ведь основным рынком компания считает США, но в России есть точно такие же потребности.

https://habr.com/ru/companies/sherpa_rpa/articles/861582/

#обучение_моделей #3dгенерация_данных

Как работает поисковое ранжирование для миллионов объявлений Авито

Привет! Меня зовут Илья Валяев, я data science team lead поискового ранжирования в Авито. В статье расскажу, как у нас всё устроена система ранжирования, какие технологии используем и как именно улучшаем поисковые выдачи. Статья будет интересна ML-инженерам, которые владеют базовой теорией машинного обучения и хотят разобраться в том, как устроено поисковое ранжирование.

https://habr.com/ru/companies/avito/articles/846832/

#sphinx #поисковые_технологии #mlмодели #обучение_моделей #высокая_нагрузка #поисковые_системы #поисковые_алгоритмы #ранжирование_поиска #авито #объявления

[Перевод] Опыт тюнинга Llama3 405B на AMD MI300x

Опенсорсные модели становятся всё объёмнее, поэтому потребность в надёжной инфраструктуре для выполнения крупномасштабного обучения ИИ сегодня как никогда высока. Недавно наша компания выполнила fine-tuning модели LLaMA 3.1 405B на GPU AMD, доказав их способность эффективно справляться с крупномасштабными задачами ИИ. Наш опыт был крайне положительным, и мы с радостью выложили всю свою работу на GitHub в опенсорс. GPU AMD, и в особенности серия MI300X — это серьёзная альтернатива ИИ-оборудованию NVIDIA, обеспечивающая больше производительности на вложенный доллар. Наша система состояла из одного узла с 8 GPU AMD MI300x , а для fine-tuning мы использовали JAX . В этой статье мы расскажем всю историю fine-tuning LLaMA 405B, в том числе и подробности шардинга параметров и реализации LoRA.

https://habr.com/ru/articles/845674/

#llama #amd #nvidia #обучение_моделей #jax #pytorch

Drag and drop деплой ML-моделей: убираем рутину с помощью web-интерфейса

Привет, Хабр! Мы — DS-ы Павел Парфенов и Максим Шаланкин в команде Финтеха Big Data МТС. У нас много ML-моделей, которые нужно тестировать и внедрять в прод. Все это создает высокий темп разработки c кучей рутинных и ручных операций: от постановки задачи до продуктивизации и сопровождении модели. Мы смогли частично победить эту рутину с помощью drag and drop деплоя ML-моделей через web-интерфейс. В этой статье расскажем, что у него под капотом и какие функции в нем реализованы.

https://habr.com/ru/companies/ru_mts/articles/843152/

#drag_and_drop #обучение_моделей #airflow #minio #deploy #деплой_MLмоделей #искусственный_интеллект #data_engineering

Real-time-распознавание лиц: методы обучения быстрых и точных моделей для работы на мобильных девайсах

Привет, Хабр! Меня зовут Вадим Селютин, я старший исследователь в компании VisionLabs. Наши решения по распознаванию лиц можно встретить в офисных центрах, московском метро и кассах самообслуживания супермаркетов. Во всех этих кейсах мы используем нейросети, которые адаптируем специально для мобильных устройств. В этой статье я расскажу про постановку задачи распознавания лиц, подходящие мобильные архитектуры, обучение распознаванию лиц на больших объемах данных и способы повысить точность маленькой архитектуры.

https://habr.com/ru/companies/ru_mts/articles/842762/

#visionlabs #распознавание_лиц #обучение_моделей #MobileNet #RegNet #ConvNeXt #GhostNet

NER для начинающих: Простое объяснение с примерами на SpaCy

В этой статье мы подробно рассмотрим распознавание именованных сущностей (Named Entity Recognition, NER) и его применение на практике. Простым и доступным языком объясним , как работает NER, приведем примеры кода с использованием библиотеки SpaCy и покажем, как обучать модели для распознавания именованных сущностей. Эта статья поможет вам быстро освоить основы и начать применять NER в своих проектах!

https://habr.com/ru/articles/826820/

#named_entity_recognition #ner #natural_language_processing #nlp #spacy #машинное_обучение #обработка_естественного_языка #python #примеры_кода #обучение_моделей