Поддержка RUTUBE 2.0: как мы научили бота не ломаться на сложных вопросах

Как у нас в RUTUBE ИИ и служба клиентского сервиса работают сообща, вместе справляются ростом сервиса и мгновенно адаптируются к изменениям — рассказываем в этой статье. Делимся рецептом RAG-системы, которая за первые три месяца эксплуатации уже отвечает почти на 70% запросов пользователей и никогда не врёт про «космических зайцев».

https://habr.com/ru/companies/habr_rutube/articles/911876/

#rag #ml #ai #natural_language_processing #nlp #ииассистент #rutuberu #поддержка_пользователей #хакатон

Как мы учили Алису видеть мир с помощью мультимодальной нейросети Яндекса

Недавно пользователям приложения «Алиса» стал доступен Live-режим, который работает на базе мультимодальной нейросети (VLM), созданной в Яндексе. В этом режиме Алиса распознаёт объекты, показанные ей через камеру смартфона, и рассказывает о них пользователю. А ещё раньше наша VLM стала применяться в Поиске по картинкам, Умной камере и Нейроэксперте. Всё это время технология не стояла на месте и продолжала совершенствоваться. Пожалуй, пришло время поделиться опытом. На связи Роман Исаченко из команды компьютерного зрения в Яндексе. Сегодня я расскажу, какой путь наша VLM прошла за полгода. А Дарья @dara-orange Виноградова, которая работает со мной в той же команде, поделится описанием пайплайна зрения в Алисе. Мы опишем весь путь формирования новой модели: от архитектуры и сбора данных до финальных замеров качества и скорости.

https://habr.com/ru/companies/yandex/articles/904584/

#vlm #natural_language_processing #computer_vision #multimodality #яндекс

Накорми языковую модель документами

Одна из актуальных задач для компаний в сфере ИИ - это поиск и генерация ответов по внутренней документации. На первый взгляд кажется, что решение простое: скормить документы большой языковой модели (LLM) и получать ответы. На практике же технические решения оказываются далеко не такими эффективными и качественными, как хотелось бы. Сейчас для работы с локальными документами доступны два основных подхода - RAG (Retrieval-Augmented Generation) и дообучение модели (fine-tuning). Оба подхода имеют свои преимущества и ограничения. В статье рассмотрим их как с теоретической, так и с практической точки зрения.

https://habr.com/ru/articles/898938/

#rag #finetuning #huggingface #llmмодели #llm #нейросети #большие_языковые_модели #nlp #искусственный_интеллект #natural_language_processing

Помощник читателя: визуализируем сюжет

Пишем AI-помощника для анализа художественных произведений. С помощью языковой модели для анализа текста и небольшой обвязки для визуализации полученного структурированного ответа генерируем: - граф связей между героями; - хронологию событий; - карту мест действия.

https://habr.com/ru/articles/900870/

#python #machine_learning #artificial_intelligence #natural_language_processing #литература

RAG: борьба с низким качеством ответов в условия экономии памяти на GPU

Привет, Хабр! Меня зовут Саприн Семён. Я занимаюсь анализом данных и машинным обучением в компании ПГК Диджитал. Сегодня мы начинаем серию статей, в которой я расскажу о том, как мы с командой разрабатывали ИИ-помощника, а также приведу практические кейсы по улучшению точности ответов с минимальными затратами памяти графических процессоров. Как вы уже могли догадаться, наш ИИ-помощник разработан на основе RAG (Retrieval-Augmented Generation) системы. Хотя принцип работы RAG многим уже знаком и не вызывает того самого «вау», я всё же кратко напомню, как эта система работает, почему она так популярна и почему её ответам можно доверять. В этой статье я расскажу, как мы разрабатывали RAG-систему для юридического отдела нашей компании, с какими вызовами столкнулись и как их преодолевали. Вы узнаете, почему стандартные подходы не всегда работают, и как, погрузившись в специфику данных, мы смогли значительно улучшить качество ответов, сохранив при этом экономию ресурсов GPU.

https://habr.com/ru/companies/pgk/articles/897658/

#rag #natural_language_processing #искусственный_интеллект #машинное_обучение #иипомощник #чанки #baseline

Как мы учим LLM оценивать друг друга и как это помогло нам улучшить Cotype

Всем привет! Сегодня мы

https://habr.com/ru/companies/mts_ai/articles/892176/

#искусственный_интеллект #natural_language_processing #nlp #нейросети #ии #языковые_модели #обучение_нейронных_сетей #sidebyside

Jeremy Howard taught AI and helped invent ChatGPT. He fears he's failed
https://www.abc.net.au/news/science/2023-11-15/jeremy-howard-taught-ai-to-the-world-and-helped-invent-chatgpt/103092474
#ycombinator #artificial_intelligence #jeremy_howard #GPT #ULMFiT #transformer #natural_language_processing #NLP

[Перевод] Применение методов обработки естественного языка и больших языковых моделей в области открытия новых материалов

Стремительное развитие технологий искусственного интеллекта (ИИ) произвело радикальный переворот в науке о материалах, открыв новые пути решения ключевых проблем. Используя тщательно описанные наборы данных, извлеченные из научной литературы, инструменты на базе ИИ, включая методы обработки естественного языка (NLP), позволяют ускорить исследования в области материалов. Совершенствование NLP-подходов и появление больших языковых моделей (LLMs) способствуют более эффективному извлечению и использованию информации. В настоящем обзоре рассматриваются возможности применения инструментов NLP в науке о материалах, с особым вниманием к автоматическому извлечению данных, поиску новых материалов и автономным исследованиям. Также обсуждаются вызовы и перспективы, связанные с использованием LLMs, и очерчиваются будущие достижения, способные вывести отрасль на новый уровень. Дисклеймер : это вольный перевод научной статьи из журнала Nature

https://habr.com/ru/articles/893896/

#материаловедение #nlp #natural_language_processing #nlu #natural_language_understanding #llm #gpt

Разметка данных с использованием LLM

Всем привет! Меня зовут Артем Ерохин. Я работаю в X5 Tech в направлении продуктивизации ИИ. В прошлом году у меня был доклад про разметку данных с LLM . И я решил преобразовать этот доклад в статью, попутно обновив некоторые цифры и тезисы (такова уж скорость прогресса в этой области).

https://habr.com/ru/companies/X5Tech/articles/891830/

#LLM #искусственный_интеллект #машинное+обучение #ии #разметка_данных #machine_learning #синтетические_данные #natural_language_processing

Сэм Альтман знает, как достичь AGI. Я тоже, и сейчас расскажу как

«Теперь мы уверены, что знаем, как построить AGI в том виде, в каком мы традиционно его понимали… Сейчас это звучит как научная фантастика, и даже говорить об этом как-то безумно. Все в порядке — мы уже были там раньше и не против оказаться там снова.» Такое сообщение 6 января опубликовал Сэм Альтман. Человечество нашло дорогу, по которой можно дальше и дальше улучшать качество моделей, и мы не видим здесь никакого предела. Про эту дорогу знает Альтман, и скоро узнаете вы. Поехали в AGI

https://habr.com/ru/articles/873110/

#openai #нейросети #gpt #генеративные_модели #машинное_обучение #искусственный_интеллект #natural_language_processing #agi #artificial_intelligence #ai

PhD Position in Natural Language Processing

University of Marburg

See the full job description on jobRxiv: https://jobrxiv.org/job/university-of-marburg-27778-phd-position-in-natural-language-processing/?feed_id=91074

#natural_language_processing #ScienceJobs #hiring #research
https://jobrxiv.org/job/university-of-marburg-27778-phd-position-in-natural-language-processing/?feed_id=91074

PhD Position in Natural Language Processing

University of Marburg

See the full job description on jobRxiv: https://jobrxiv.org/job/university-of-marburg-27778-phd-position-in-natural-language-processing/?feed_id=90969

#natural_language_processing #ScienceJobs #hiring #research
https://jobrxiv.org/job/university-of-marburg-27778-phd-position-in-natural-language-processing/?feed_id=90969

Задача Emotional FusionBrain 4.0: итоги и победители

Всем привет! На связи снова лаборатория FusionBrain! В сентябре мы анонсировали задачу Emotional FusionBrain 4.0, которая стало частью соревнования AI Journey Contest. Участникам предстояло разработать универсальную мультимодальную модель, которая учится понимать социальные взаимодействия людей по видео — другими словами, создать эмоциональный искусственный интеллект. Теперь пришла пора подводить итоги! Но начнём мы, конечно же, с описания задачи, чтобы уважаемые читатели оказались в едином контексте :)

https://habr.com/ru/companies/airi/articles/864422/

#соревнования #artificial_intelligence #natural_language_processing #deeplearning #хакатоны #хакатон #сбер #большие_языковые_модели #мультимодальные_модели #мультимодальные_данные

NLP: когда машины начинают понимать нас (Часть 3)

В этой статье мы продолжим изучение NLP и перейдем к более продвинутым темам, которые являются главными для построения современных приложений и моделей в области обработки естественного языка. А также создадим и обучим модели самостоятельно, используя TensorFlow/Keras и PyTorch.

https://habr.com/ru/articles/864912/

#обработка_естественного_языка #nlp #natural_language_processing #python #машинное_обучение #machine_learning #keras #tensorflow #pytorch #искусственный_интеллект

NLP: когда машины начинают понимать нас (Часть 2)

В прошлой статье мы с вами изучили теоретические основы обработки естественного языка (NLP) и теперь готовы перейти к практике. В мире NLP выбор подходящего языка программирования и инструментов играет ключевую роль в успешной реализации проектов. Одним из наиболее популярных языков для решения задач в этой области является Python. Его простота, читаемость и поддержка мощных библиотек делают его идеальным выбором для разработчиков.

https://habr.com/ru/articles/864778/

#обработка_естественного_языка #nlp #natural_language_processing #machine_learning #машинное_обучение #искусственный_интеллект #python #пайтон #nltk #spacy

NLP: когда машины начинают понимать нас (Часть 1)

Представьте, что вы можете разговаривать с компьютером так же естественно, как с обычным человеком. Вы задаёте вопросы, получаете ответы, даёте команды - и это всё на вашем родном языке. Именно этим и занимается обработка естественного языка ( Natural Language Proccessing , или NLP) - область искусственного интеллекта, которая фокусируется на взаимодействии между компьютерами и людьми с помощью естественного языка. Цель NLP - научить компьютеры понимать, интерпретировать и генерировать человеческую речь и текст так же, как это делаем мы. Это включает в себя не только распознавание слов, но и понимание их смысла, контекста и эмоций.

https://habr.com/ru/articles/864656/

#nlp #обработка_естественного_языка #машинное_обучение #machinelearning #ml #natural_language_processing

Chronos от Amazon: революция в обработке временных рядов. Часть 2

Итак, друзья, продолжаем тему прогнозирования временных рядов с помощью Chronos. Напомню, что Chronos это фреймворк от компании Amazon — простой, но эффективный фрэймворк для предобученных вероятностных моделей временных рядов. Chronos токенизирует значения временных рядов с помощью масштабирования и квантования в фиксированный словарь и обучает существующие архитектуры языковых моделей на основе трансформеров на этих токенизированных временных рядах с использованием функции потерь кроссэнтропии. Chronos был предобучен на основе семейства T5 (размеры от 20M до 710M параметров) на большом количестве общедоступных наборов данных, дополненных синтетическим набором данных, который сгенерировали с помощью гауссовских процессов для улучшения обобщения. В этой статье я не буду подробно рассказывать как устроен Chronos и на чем он предобучен. Вся эта информация подробно изложена в моей предыдущей статье ( Часть 1 ). Здесь мы попробуем применить его на общедоступных данных на примере прогнозирования котировок акций компаний из индекса Dow Jones (общедоступный датасет на Kaggle), а также на данных одного крупного российского перевозчика. По биржевым данным цель была проста, посмотреть, как новый инструмент справляется с задачей предсказания цены акции. А на данных с железной дороги в качестве цели исследования выбрали построение прогнозов по количеству отступлений, называемых просадка пути. Многие из вас ездили поездом, и вот когда качает, это зачастую и есть просадки. Отступление довольно часто и быстро возникающее, влияет на безопасность движения, плавность хода и скорость. И предприятиям, обслуживающим путь, полезно оценивать при планировании, сколько таких отступлений предстоит устранять в следующем месяце. Данные брали посуточные, для десяти случайно выбранных предприятий. Временной период в 4 года, из них 1 месяц для тестирования. Посуточные показатели суммировали до месяца. В случае Dow Jones, пытаемся предсказать цену закрытия акции посуточно на 12 точек вперед.

https://habr.com/ru/articles/859498/

#машинное_обучение #data_science #time_series #natural_language_processing #chronos #искусственный_интеллект #machine_learning #llm #artificial_intelligence #временные_ряды

Как мы помогли сырьевой госкомпании ускорить и упростить подбор подрядчиков с помощью LLM

Привет, Хабр! Меня зовут Кирилл Воронин, я data scientist в

https://habr.com/ru/companies/doubletapp/articles/863006/

#llm #автоматизация #автоматизация_бизнеспроцессов #автоматизация_бизнеса_заказчиков #автоматизация_бизнеса #большие_языковые_модели #машинное_обучение #искусственный_интеллект #natural_language_processing

Hippo-RAG: Долговременная память для LLM, вдохновленная нейробиологией

Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? Давайте посмотрим.

https://habr.com/ru/articles/860426/

#llm #rag #retrieval_augmented_generation #retrieval #machinelearning #machine_learning #natural_language_processing #transformer #transformers

Путь разметки данных для NER: от Open Source до Prodigy

Распознавание именованных сущностей (Named Entity Recognition, NER) — это одна из самых востребованных задач в обработке естественного языка (NLP). Чтобы создать качественную модель для NER, требуется тщательно размеченная обучающая выборка, а процесс её создания может занять много времени и ресурсов. В этой статье я расскажу о своём пути разметки данных, начиная с использования Open Source инструментов и переходя к Prodigy, профессиональному инструменту для создания обучающих наборов данных.

https://habr.com/ru/articles/857338/

#Машинное_обучение #named_entity_recognition #annotation_processing #prodigy #artificial_intelligence #искусственный_интеллект #spacy #natural_language_processing