AI-агенты и мультиагентные системы, MCP и A2A. Основные угрозы и подходы к обеспечению безопасности

Всем привет! Я автор канала «Борис_ь с ml» про информационную безопасность и машинное обучение. Сейчас мой основной вектор исследований - мультиагентные системы и их безопасность. Поэтому в мае выступал на эту тему на III Форуме «Технологии доверенного искусственного интеллекта» с докладом «Протоколы MCP и A2A - безопасность для мультиагентных систем или новые угрозы?». По этой ссылке - презентация с выступления . В этой статье раскрою и в чем-то углублю свое выступление, охватив сначала основы функционирования AI-агентов и мультиагентных систем (МАС), и заканчивая угрозами безопасности и мерами противодействия им.

https://habr.com/ru/articles/920744/

#aiагенты #мультиагентные_системы #mcp #a2a #модель_угроз #безопасность

OpenAI Assistants API: подводные камни продакшена

OpenAI активно продвигает свой Assistants API как новую основу для создания кастомных AI-агентов. Многие пробуют внедрять его в поддержку клиентов, devtools, работу с документацией. Однако за видимой простотой скрываются нюансы, которые могут привести к неожиданным проблемам в продакшене. Если не учитывать эти нюансы, вместо эффективного инструмента мы получаем искаженные метрики производительности, неконтролируемые расходы и риск «сгореть» под нагрузкой. Такая ситуация возникает не только в теории, это реальность, когда вы пытаетесь использовать новый, более абстрактный уровень API для задач, где важен полный контроль над каждым шагом. Проблемы появляются и там, где ваши ожидания от мгновенного ответа модели сталкиваются с многошаговой логикой работы агента. В таких системах необходим другой подход к внедрению. В этой статье разберемся, чем Assistants API отличается от классического Chat Completions API, какие у него ограничения и когда его стоит использовать, а когда лучше держаться подальше.

https://habr.com/ru/articles/918330/

#assistants_api #openai #aiагенты #aiагенты_в_работе

Персональные AI-ассистенты или как открыть любому человеку свою почту и календарь

Всем привет! На связи Юрий Шабалин, управляющий директор Стингрей. И сегодня у нас тема не про мобильные приложения, а, пожалуй, самая трендовая — про AI-ассистентов и их проблемы.

https://habr.com/ru/companies/swordfish_security/articles/915046/

#ai #llm #llmмодели #aiагенты #aiассистент #безопасность #безопасность_llm

Как мы челленджим бизнес в GenAI: от простых Naive RAG до workflow-агентских систем

Привет ! На связи Валера Ковальский — руководитель направления искусственного интеллекта в red_mad_robot. В работе с AI-инфраструктурой мы постоянно тестируем различные подходы, чтобы создавать решения с реальной бизнес-ценностью. В этой статье расскажу, как мы решаем задачи при внедрении AI-агентских систем: от классического RAG до сложных мультиагентных решений. Также поделюсь, с какими проблемами сталкиваемся при работе с большими данными — и как находим эффективные пути их решения.

https://habr.com/ru/companies/redmadrobot/articles/905628/

#ai #workflow #rag #aiагенты #чатбот #naive_rag #агенты_на_бям #агенты_ии

[Перевод] Почему A2A может вытеснить MCP в мире AI-агентов?

Ключевые различия между протоколами MCP от Anthropic и A2A от Google Почему функции безопасности, управления задачами и возможности совместной работы A2A могут дать ему преимущество в формирующейся экосистеме агентов.

https://habr.com/ru/articles/900498/

#aiпротоколы #антропоморфные_роботы #llm #google #anthropic #mcp #a2a #ai #aiагенты

Как AI-агенты ускоряют работу девелопера: автоматизация данных и управление знаниями

Привет! На связи команда NDT by red_mad_robot . Рассказываем, как создавали смарт-платформу с двумя AI-агентами для группы компаний ФСК — одного из крупнейших российских девелоперов. Система автоматизировала работу с данными и значительно снизила нагрузку на сотрудников технической поддержки и коммерческого департамента.

https://habr.com/ru/companies/redmadrobot/articles/892882/

#ai #aiагенты #rag #ragas #ииассистент

[Перевод] Как ИИ изменит разработку программного обеспечения: суровые истины от Addy Osmani (глава Chrome Developer Experience)

Почему при всей продуктивности AI-ассистентов качество кода не растёт пропорционально? AI-инструменты великолепно справляются с начальными 70% работы, но завершающие 30% по-прежнему требуют инженерной экспертизы. Парадоксально, но эти инструменты приносят больше пользы опытным разработчикам, а не новичкам. Исследования показывают, что около 75% разработчиков уже используют AI в своей работе. Узнайте, как правильно интегрировать искусственный интеллект в процесс разработки и избежать ловушки "кода-картонного домика", разваливающегося при реальной нагрузке.

https://habr.com/ru/articles/893710/

#gpt #cursor #искусственный_интеллект #ai #разработка #llm #aiагенты #процесс_разработки #управление_разработкой #bolt

Зумеры не просто слушают — они хотят, чтобы их слушали. Как баг изменил наш взгляд на продукт

Привет, Хабр! Меня зовут Катя Меркулова, я CPO Сlatch. Летом мы работали над улучшением нашего приложения. На первый взгляд, задача была простой: перенести кнопку технической поддержки из веб в мобильную версию. Но, как это часто бывает, нюансы сделали свое дело. Мы пропустили слово «техническая». И все завертелось. Как одно слово чуть не поломало нам все процессы, заставило неделю работать в две смены и как мы развили новый инструмент для общения с аудиторией, я расскажу в этом материале. И заодно поделюсь своими выводами: что же действительно нужно сейчас подросткам и какой интерфейс для них является по-настоящему нативным.

https://habr.com/ru/companies/ru_mts/articles/892500/

#искусственный_интеллект #челленджи_в_разработке #LLM #RAG #чатботы #Clatch #UX_для_подростков #интерфейсы_для_общения #aiагенты #управление_продуктом

Зумеры не просто слушают — они хотят, чтобы их слушали. Как баг изменил наш взгляд на продукт

Привет, Хабр! Меня зовут Катя Меркулова, я CPO Сlatch. Летом мы работали над улучшением нашего приложения. На первый взгляд, задача была простой: перенести кнопку технической поддержки из веб в мобильную версию. Но, как это часто бывает, нюансы сделали свое дело. Мы пропустили слово «техническая». И все завертелось. Как одно слово чуть не поломало нам все процессы, заставило неделю работать в две смены и как мы развили новый инструмент для общения с аудиторией, я расскажу в этом материале. И заодно поделюсь своими выводами: что же действительно нужно сейчас подросткам и какой интерфейс для них является по-настоящему нативным.

https://habr.com/ru/companies/ru_mts/articles/892498/

#искусственный_интеллект #челленджи_в_разработке #LLM #RAG #чатботы #Clatch #UX_для_подростков #интерфейсы_для_общения #aiагенты #управление_продуктом

[Перевод] Почему AI-агентам нужна оркестрация

В настоящее время большинство организаций задаются вопросом, как эффективно интегрировать AI -агентов. Это боты, которые могут воспринимать запросы на естественном языке и выполнять действия. Уверен, вы уже сталкивались с различными экспериментами по внедрению этих маленьких помощников в продукты. Результаты могут быть разными: от непонятных дополнений, которые скорее мешают, чем помогают, до гениальных, зачастую едва заметных улучшений, без которых потом трудно представить жизнь. Удивительно наблюдать за современными инновациями, и, будучи тем, кто любит размышлять, я задумался о том, как мы можем построить систему, улучшающую реальные сквозные бизнес-процессы с помощью AI -агентов. Разумеется, для этого нужно достичь уровня, на котором мы сможем доверять агентам принимать важные решения за нас, а затем даже доверять им реализацию этих решений. Так как же построить инфраструктуру, которая использует всё, что мы узнали о возможностях AI-агентов, не возлагая на них слишком много или слишком мало ответственности? И смогут ли конечные пользователи когда-либо доверять AI принятие критически важных решений?

https://habr.com/ru/articles/887370/

#AI #ИИ #искусственный_интеллект #Camunda #aiагенты #бизнеспроцессы #оркестрация #BPMN

Илон Маск заинтересовался взломом AI-агента на $50000

AI-агенты, способные самостоятельно обращаться к функциям системы для решения задач, набирают популярность. На прошлой неделе OWASP опубликовал гайд об угрозах для AI-агентов и примеры уязвимостей на базе популярных фреймворков. Участник лаборатории ИТМО AI Security Lab Александр Буянтуев предложил версию криптоагента Freysa на базе CrewAI. Этот криптоагент должен был защитить призовой фонд и привлёк внимание Илона Маска, когда кто-то смог заполучить $50000. Как взломать AI-агента?

https://habr.com/ru/companies/raft/articles/885048/

#aiагенты #ai_security #искусственный_интеллект #вызовы_функций #безопасность

Почему ИИ не заменит программистов: взгляд инженера

В развитие ИИ вкладывается огромная куча денег, недавно была новость, что OpenAI потратили миллион долларов на тест модели потенциального AGI. Футурологи предполагают создание AGI в ближайшие десятилетия. Но значит ли это, что AGI скоро точно будет создан?

https://habr.com/ru/articles/871100/

#ии #gpt #aiагенты #agi #llm #инженерия #инженерный_подход

AI-First устройства пока не стали заменой смартфонам

Обзор от аналитического центра red_mad_robot, как компании массово ищут новый формат устройств будущего. В 2024 году на рынке появились AI-First девайсы, чтобы стать персональными помощниками пользователей, облегчить жизнь и заменить смартфоны. Но в результате каждый знаковый проект был обречён на провал.

https://habr.com/ru/companies/redmadrobot/articles/869536/

#aiагенты #устройства #ии #искусственный_интеллект #будущее #смартфоны #ноутбуки #npu

AWS выпустила мультиагентную платформу искусственного интеллекта со 100% открытым исходным кодом

Multi-Agent Orchestrator — гибкая и мощная платформа для управления несколькими AI-агентами и обработки сложных разговоров. GitHub Repo - https://github.com/awslabs/multi-agent-orchestrator

https://habr.com/ru/articles/862484/

#aiагенты #Ai_чатбот #питон #AWS #aws_lambda #aws_amazon

Построение надёжных систем из ненадёжных агентов

Большие языковые модели можно применять для разных практических целей. Одно из самых интересных направлений — это автономные AI-агенты. Если сгенерировать большое количество агентов по заданному запросу и заставить их конкурировать друг с другом, то теоретически можно получить оптимальный результат по данной проблеме. Это можно использовать и в информационной безопасности, и в других сферах программной разработки. Кроме того, можно создавать агентов, то есть софт, который самостоятельно эволюционирует и улучшает себя на базе обратной связи от пользователей.

https://habr.com/ru/companies/globalsign/articles/822169/

#агенты #overkiLLM #ollama #LLM #DAG #DAGWorks #Burr #AIагенты #надёжность #Retrieval_Augmented_Generation #RAG #Instructor #prompt_engineering #openllmetry #openinference #OpenTelemetry #pgvector #RAGatouille

Какой плащ был у Понтия Пилата? Отвечает GigaChat

Всем привет! На связи лид разработки SDK GigaChat’a — Константин Крестников. В этой статье я расскажу о том, что такое GigaChain и как в целом SDK позволяет упростить жизнь разработчика LLM, например, научить LLM давать ответы на вопросы по вашим документам или работать в режиме автономного агента. Также поговорим про решения, которые практически невозможно сделать без использования SDK. GigaСhain — это ответвление (fork) открытой библиотеки LangСhain на Python. Её главная цель — облегчить жизнь разработчику. Библиотека состоит из большого количества различных компонентов, которые позволяют работать с промптами, объединять вызовы к большим языковым моделям в цепочки, загружать данные из разных источников и сохранять обработанные ответы языковой модели.

https://habr.com/ru/companies/sberdevices/articles/794773/

#gigachat #машинное_обучение #искусственный_интеллект #GigaChain #GigaChat_SDK #rag #aiагенты #агенты #эмбеддинги #llm