MLSecOps: защита машинного обучения в эпоху киберугроз

MLSecOps: защита машинного обучения в эпоху киберугроз На днях исследователь Цзянь Чжоу сообщил о критической уязвимости (CVE-2025-32434), затрагивающей все версии PyTorch до 2.5.1 включительно. Ошибка устраняется только обновлением версии до 2.6.0. Уязвимость соответствует критическому уровню риска, и позволяет злоумышленнику выполнить произвольный код на стороне жертвы без какого-либо взаимодействия с пользователем. Единственным условием является факт загрузки модели, созданной атакующим, даже при якобы безопасном параметре weights_only=True. Эта опция ранее считалась надежной, но, как выяснилось, не спасала от угроз. Подобные инциденты с развитием и повсеместным распространением нейронных сетей будут происходить всё чаще. Это еще один повод начать внедрение инструментов и технологий MLSecOps, даже на базовом уровне. Всех желающих подробнее познакомиться с особенностями и перспективами направления MLSecOps, узнать про основные виды атак, базовые методы защиты и дополнительные источники для обучения, приглашаю под кат.

https://habr.com/ru/articles/906172/

#MLSecOps #HiveTrace #LLAMATOR #Искусственный_интеллект #Машинное_обучение #Кибербезопасность #OWASP_Top_10 #Data_Poisoning #Защита #Атака

[Перевод] Red Teaming для LLM: Полное пошаговое руководство по Red Teaming больших языковых моделей

Помните ситуацию, когда Gemini излишне старался быть политкорректным и отображал на всех сгенерированных изображениях только представителей небелых рас? Хотя это могло показаться забавным для многих, данный инцидент наглядно показал, что по мере роста возможностей больших языковых моделей (LLM) возрастают и их уязвимости. Это связано с тем, что сложность модели прямо пропорциональна размеру её выходного пространства, что, в свою очередь, создаёт больше возможностей для нежелательных рисков безопасности , таких как раскрытие личной информации и генерация дезинформации, предвзятости, разжигания ненависти или вредоносного контента . В случае с Gemini были выявлены серьёзные внутренние искажения, обусловленные составом обучающих данных, что и отразилось в его результатах.

https://habr.com/ru/articles/880234/

#llm #red_teaming #chatgpt #deepeval #owasp_top_10 #confident_ai

[Перевод] Безопасность приложений больших языковых моделей (LLM, GenAI)

Откройте для себя OWASP Top 10 для LLM и GenAI и изучите основные стратегии защиты ваших моделей и приложений искусственного интеллекта. Появление больших языковых моделей (LLMs) и технологий генеративного искусственного интеллекта (GenAI), таких как GPT-4, произвело революцию в различных отраслях промышленности, обеспечив мощные возможности обработки естественного языка. Однако быстрое внедрение этих технологий опередило создание комплексных протоколов безопасности, что привело к значительным уязвимостям в безопасности этих моделей. Для решения этих проблем, сообщество OWASP разработало руководство OWASP Top 10 for Large Language Model Applications . Это руководство предоставляет разработчикам, специалистам по обработке данных и специалистам по безопасности практические рекомендации по обеспечению безопасности, разработанные с учетом уникальных задач, стоящих перед LLMs и GenAI.

https://habr.com/ru/articles/843434/

#llm #genai #owasp #owasp_top_10 #security

Новые угрозы в OWASP API Security Top 10

Всем привет! Сегодня мы будем говорить о новых рисках в OWASP API Security Top 10, что плохого они нам обещают и что со всем этим можно сделать. В 2023 году некоммерческая организация OWSAP обновила свой отчёт и выпустила новую версию 2023. По сравнению с 2023 годом, перечень рисков претерпел довольно сильные изменения, которые мы постарались представить в виде таблицы. Дополнительно, в таблице отмечено, какие из пунктов уже сейчас покрываются продуктами от «Выбмониторэкс», а какие будут закрыты в ближайшем будущем.

https://habr.com/ru/companies/webmonitorx/articles/806937/

#информационная_безопасность #owasp_top_10 #api #api_security #защита_информации #защита_api #атака #уязвимости #web_security #api_first

Безопасность CI/CD. Часть 2. Давайте рассмотрим как защитить ваши пайплайны

Приветствую, читатели! Меня зовут Моисеев Андрей, в ИБэшечке я уже в совокупности более 5 лет, а сейчас работаю DevSecOps в компании Bimeister. За время своей рабочей деятельности у меня получилось сформулировать некоторые полезные паттерны безопасности, которыми я хотел бы поделиться. Если вы наткнулись на эту статью, то вы явно неравнодушны к инфосеку и желаете преисполниться духом праведным, ну, а если попали сюда просто так, то как минимум сможете понять боль ваших коллег в данной сфере.

https://habr.com/ru/companies/bimeister/articles/781274/

#cicd #infosec #owasp_top_10 #ci/cd #security #pipeline #bimeister #devops #devsecops #безопасная_разработка

Безопасность CI/CD: обзор тoп-10 угроз по версии OWASP и рекомендации по их устранению в вашем конвейере

Привет, Хабр! Меня зовут Артём Пузанков, я DevSecOps Cluster Lead (руководитель направления безопасной разработки) в МТС Digital. Экспертное сообщество OWASP представило OWASP Top 10 CI/CD Security Risks — список критических уязвимостей конвейера CI/CD. Его получили, исследовав векторы атак и проанализировав самые распространенные нарушения безопасности. Top 10 помогает разработчикам и ИБ-специалистам определять приоритетные области для защиты своего конвейера CI/CD . Ещё он подсказывает наиболее вероятные поверхности рисков и проблемы, с которыми чаще всего сталкиваются специалисты. Давайте рассмотрим эти уязвимости и подумаем, как знакомство с ними поможет нам в работе.

https://habr.com/ru/companies/ru_mts/articles/781688/

#devsecops #devops #owasp_top_10 #ci/cd #security #pipeline #безопасная_разработка

Безопасность API веб-приложений

Привет, Хабр! Это инженерный отдел по динамическому анализу Swordfish Security. В предыдущих статьях мы описывали плагин для OWASP ZAP, рассказывали, как сканировать приложения с помощью инструмента Burp Suite Pro и настроить автоматическую авторизацию в DAST-сканере. Сегодня мы обсудим, на что можно обратить внимание при проверках API веб-приложения на безопасность. Обозревать будем со стороны практики динамического анализа, а в отдельной статье поделимся соответствующими инструментами. Поехали!

https://habr.com/ru/companies/swordfish_security/articles/780308/

#application_security #dast #api #вебприложения #динамический_анализ #owasp #owasp_top_10