[Перевод] LLM red teaming: полное руководство [+советы экспертов]

Давайте представим стратегию, зародившуюся в военной сфере, где команды притворяются врагами друг друга, чтобы проверить оборонительные механизмы. Этот подход, известный как red teaming, оказался чрезвычайно ценным и теперь нашёл новое применение. Сегодня, когда искусственный интеллект занимает всё больше места в нашей повседневной жизни, использование метода red teaming для тестирования этих систем становится необходимым. Red teaming для моделей-LLM помогает убедиться, что они не только эффективны в работе, но и безопасны и надежны.

https://habr.com/ru/articles/893644/

#llm #бенчмаркинг #llmприложения #red_teaming #prompt_injection #jailbreaking #anthropic

[Перевод] Red Teaming для LLM: Полное пошаговое руководство по Red Teaming больших языковых моделей

Помните ситуацию, когда Gemini излишне старался быть политкорректным и отображал на всех сгенерированных изображениях только представителей небелых рас? Хотя это могло показаться забавным для многих, данный инцидент наглядно показал, что по мере роста возможностей больших языковых моделей (LLM) возрастают и их уязвимости. Это связано с тем, что сложность модели прямо пропорциональна размеру её выходного пространства, что, в свою очередь, создаёт больше возможностей для нежелательных рисков безопасности , таких как раскрытие личной информации и генерация дезинформации, предвзятости, разжигания ненависти или вредоносного контента . В случае с Gemini были выявлены серьёзные внутренние искажения, обусловленные составом обучающих данных, что и отразилось в его результатах.

https://habr.com/ru/articles/880234/

#llm #red_teaming #chatgpt #deepeval #owasp_top_10 #confident_ai

Путь к совершенству через пентест

Пентесты в информационной безопасности — как поход в спортзал: они помогают понять, на что способна система, но многие их игнорируют. Привет, Хабр! Меня зовут Андрей Кузнецов, и я специалист по продвижению продукта в «АйТи Бастион». Перед выходом нашего нового решения «Синоникс» на рынок, мы решили подвергнуть его симуляции действий злоумышленников. В этой статье расскажу, как мы прошли такую проверку и что для себя вынесли из неё.

https://habr.com/ru/articles/858674/

#пентест #пентесты #кибербезопасность #red_teaming

LLaMator: Red Teaming фреймворк для тестирования уязвимостей LLM

Привет, Хабр! В этом материале мы, команда LLaMaстеры — студенты 1 курса магистратуры ИТМО AI Talent Hub , представляем фреймворк LLaMator , победивший на хакатоне AI Product Hack в кейсе от компании Raft . Наша задача — создать инструмент для тестирования уязвимостей интеллектуальных систем, например, чат-бота для консультирования клиентов автосалона, на базе больших языковых моделей (LLM).

https://habr.com/ru/companies/raft/articles/851640/

#Уязвимости_LLM #LLM #Чатботы #red_teaming #Промтинъекции #джейлбрейкинг #framework

Why bother with argv[0]?
https://www.wietzebeukema.nl/blog/why-bother-with-argv0
#ycombinator #argv_lsqb_0_rsqb #argv0 #argv #arg_lsqb_0_rsqb #arg0 #command_line #cmd #command_line_obfuscation #command_line_bypass #edr_obfuscation #cyber #threat_detection #cyber_threat #cyber_threat_detection #edr #endpoint #blue_team #blue_teaming #red_team #red_teaming #threat_hunting #threat_hunter #hunting

Why Bother with Argv[0]?
https://www.wietzebeukema.nl/blog/why-bother-with-argv0
#ycombinator #argv_lsqb_0_rsqb #argv0 #argv #arg_lsqb_0_rsqb #arg0 #command_line #cmd #command_line_obfuscation #command_line_bypass #edr_obfuscation #cyber #threat_detection #cyber_threat #cyber_threat_detection #edr #endpoint #blue_team #blue_teaming #red_team #red_teaming #threat_hunting #threat_hunter #hunting

Все об Offensive Security: о чем говорили на круглом столе AM Life

Лучшая защита – это нападение, причем на себя любимого. Все чаще бизнес выстраивает информационную безопасность именно по такому принципу. Своевременный пентест или Read Teaming, когда привлеченные подрядчики пытаются взломать корпоративную IT-инфраструктуру, помогает команде ИБ заранее обнаружить и закрыть бреши и сделать организацию по-настоящему неприступной для реальных злоумышленников. Однако Offensive Security не лишен нюансов и подводных камней. Из чего складывается наступательная кибербезопасность, как правильно ее реализовать и выбрать компетентных подрядчиков, на что обратить особое внимание? Обо всем этом и не только шла речь на круглом столе, в котором принял участие один из наших ведущих специалистов по пентестам.

https://habr.com/ru/companies/bastion/articles/793354/

#offensive_security #пентестинг #red_teaming #фишинг #кибербезопасность #блог_компании_бастион #багбаунти