MLSecOps: защита машинного обучения в эпоху киберугроз

MLSecOps: защита машинного обучения в эпоху киберугроз На днях исследователь Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только обновлением версии до 2.6.0. Уязвимость соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True. Эта опция ранее считалась надежной, но, как выяснилось, не спасала от угроз. Подобные инциденты с развитием и повсеместным распространением нейронных сетей будут происходить всё чаще. Это еще один повод начать внедрение инструментов и технологий MLSecOps, даже на базовом уровне. Всех желающих подробнее познакомиться с особенностями и перспективами направления MLSecOps, узнать про основные виды атак, базовые методы защиты и дополнительные источники для обучения, приглашаю под кат.

https://habr.com/ru/articles/906172/

#MLSecOps #HiveTrace #LLAMATOR #Искусственный_интеллект #Машинное_обучение #Кибербезопасность #OWASP_Top_10 #Data_Poisoning #Защита #Атака

Palo Alto Networks Acquires Protect AI to Bolster Artificial Intelligence Security Tools

#AI #PaloAltoNetworks #ProtectAI #AISecurity #Cybersecurity #Acquisition #M&A #PrismaAIRS #MachineLearning #CloudSecurity #EnterpriseTech #PANW #MLSecOps #TechNews

https://winbuzzer.com/2025/04/29/palo-alto-networks-acquires-protect-ai-to-bolster-artificial-intelligence-security-tools-xcxwbn/

https://eval.blog/blog/simple-prompts-to-get-the-system-prompts/

#ai #mlsec #MLSecurity #mlsecops #aisecurity #aisec #promptinjection #promptengineering

Nieuwe methodes om zero-day kwetsbaarheden in ai/ml systemen aan te pakken https://www.trendingtech.news/trending-news/2024/10/43469/nieuwe-methodes-om-zero-day-kwetsbaarheden-in-ai-ml-systemen-aan-te-pakken #AI beveiliging #zero-day kwetsbaarheden #machine learning #MLSecOps #cybersecurity #Trending #News #Nieuws

Создание своих тестов для Garak

В прошлой статье ( https://habr.com/ru/companies/oleg-bunin/articles/843644/ ) я уже говорил о тёмной стороне больших языковых моделей и способах борьбы с проблемами. Но новые уязвимости вскрываются ежедневно, и даже самые крутые инструменты с постоянными обновлениями не всегда за ними успевают. Именно поэтому команда Garak дает пользователям возможность самостоятельного расширения функционала своего инструмента. Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории AI Security в Raft. В этой статье я расскажу, как, изучив документацию Garak, можно легко добавить свои тесты и тем самым значительно повысить его полезность для ваших задач.

https://habr.com/ru/companies/oleg-bunin/articles/846450/

#Garak #mlsecops #ai #llmattack #malware #большие_языковые_модели #анализ_уязвимостей #выявление_угроз #llm

Garak: инструмент Red-Team для поиска уязвимостей в LLM

«ChatGPT раскрывает личные данные реальных людей!», «Атака на ChatGPT по сторонним каналам!», «Чат-бот ChatGPT стал причиной утечки секретных данных!», «Хакеры стали использовать ChatGPT в схемах фишинга!». — Эти новостные заголовки раскрывают нам тёмную сторону больших языковых моделей. Да, они генерируют за нас контент и анализируют данные, но помимо удобства, приносят новые виды атак и уязвимостей, с которыми надо уметь бороться. Меня зовут Никита Беляевский, я исследую аспекты безопасности LLM решений в лаборатории LLM Security AI Talent Hub и хочу поделиться нюансами настройки и использования инструмента для выявления угроз в системах на основе LLM.

https://habr.com/ru/companies/oleg-bunin/articles/843644/

#Garak #MLSec #mlsecops #Ai #llm #llmattack #большие_языковые_модели #malware #анализ_уязвимостей #выявление_угроз

Безопасность ML — фантазии, или реальность?

Так много выходит статей про атаки на машинное обучение, фреймворки по MLSecOps возникают то тут, то там... Но вот вопрос... "А был ли мальчик?" Есть ли действительно люди, которые пользуются методами проведения атак на искусственный интеллект? Выходит ли сегодня эта тема за рамки строгих математических кругов и лабораторных условий. Спойлер - да. Чтобы прочитать статью, нужно всего лишь..

https://habr.com/ru/articles/834800/

#mlsecops #ml #cybersecurity #инциденты

MLSecOps: почему, зачем и кому это нужно?

Всем привет! Меня зовут Никита, я работаю в центре машинного обучения «Инфосистемы Джет». Сейчас я учусь в своей второй магистратуре в ВШЭ ФКН на программе «Современные компьютерные науки» и в Школе анализа данных (ШАД). Сегодня я хочу рассказать о сравнительно новой концепции, которая становится все более актуальной и использование которой совершенно точно необходимо в больших промышленных ML-проектах, — MLSecOps. Узри MLSecOps!

https://habr.com/ru/companies/jetinfosystems/articles/832288/

#MLSecOps #ml #mlops #атаки #машинное_обучение #искусственный_интеллект #ии #ии_и_машинное_обучение

Как безопасность искусственного интеллекта стала заботой DevSecOps

Пока все повально занимаются внедрением ML в SecOps, мы пошли дальше и стали внедрять SecOps в ML . Я Светлана Газизова, работаю в Positive Technologies директором по построению процессов DevSecOps. Кстати, мы знакомы, если вы читали мою статью о том, кто такие специалисты по безопасной разработке и где на них учиться . Что такое MLSecOps?

https://habr.com/ru/companies/pt/articles/832190/

#devsecops #mlsecops #appsec #безопасная_разработка #cybersecurity #artificial_intelligence #security #ml #development #operations

@riaschissl and then we get #MLSecOps and #AISecOps

More #DockerCon news: GenAI Stack and #DockerAI.

https://www.techtarget.com/searchsoftwarequality/news/366554418/Docker-enters-GenAI-development-fray-with-new-tools

#MLSecOps #LLMs #genAI #generativeAI #DockerCon23 #AIsecurity #AIdevelopment #LLMs #neo4j #langchain #ollama

New from me today: Industry orgs and vendors including @openssf and @jfrog call for #MLSecOps to #secureAI. https://www.techtarget.com/searchitoperations/news/366552019/Meet-MLSecOps-industry-calls-for-new-measures-to-secure-AI

MLFlow bug: LFI -> Get SSH priv key -> SSH -> Profit
---
RT @ProtectAICorp
Protect AI discovers 2 critical CVEs in MLflow. MLflow is a popular OSS used in ML systems with >13M downloads per month. Learn more to see how hackers could take complete system control, and more -> https://bit.ly/3LI5Nso #AIØD #protectai #mlsecops #AIZeroDay
https://twitter.com/ProtectAICorp/status/1639235617510014978