Lmst

Трафик под микроскопом: ML‑модель в поиске новых сетевых «отпечатков» вредоносов

Привет, Хабр! С вами вновь Ксения Наумова из экспертного центра безопасности вместе с Игорем Кабановым из ML‑команды Positive Technologies. Однажды мы построили ML‑модель на сетевом трафике, обучили её на реальных сетевых сессиях и запустили в песочнице PT Sandbox для усиления возможностей по обнаружению вредоносов. Но команда машинного обучения не останавливалась на достигнутом. Вместе мы провели серию новых экспериментов, расширили набор входных признаков и протестировали модель на более сложных сценариях, что привело к обновлению модели и ещё большему детект‑рейту.

https://habr.com/ru/companies/pt/articles/993058/

#network_security #ml #вредоносное_по #sandbox #песочница #сетевой_трафик #mlмодель #shap

Трафик под микроскопом: ML‑модель в поиске новых сетевых «отпечатков» вредоносов

Привет, Хабр! С вами вновь Ксения Наумова из экспертного центра безопасности вместе с Игорем Кабановым из ML-команды Positive Technologies. Однажды мы построили ML-модель на сетевом трафике, обучили её на реальных сетевых сессиях и запустили в песочнице PT Sandbox для усиления возможностей по обнаружению вредоносов. Но команда машинного обучения не останавливалась на достигнутом. Вместе мы провели серию новых экспериментов, расширили набор входных признаков и протестировали модель на более сложных сценариях, что привело к обновлению модели и ещё большему детект-рейту.

https://habr.com/ru/companies/pt/articles/991006/

#network_security #ml #вредоносное_по #sandbox #песочница #сетевой_трафик #mlмодель #shap

Building ML Tools Scientists Will Actually Use

The Gap Between Models and Tools I've seen a lot of impressive ML models in biopharma that never get used. Not because the science is wrong, but because the tool doesn't fit into anyone's workflow. The model might be published in Nature Methods with beautiful receiver operating characteristic curves, but if a discovery scientist can't access it without filing an IT ticket or if it requires command-line expertise, it sits unused. This is the reality of building ML tools for scientific users: […]

https://kemal.yaylali.uk/building-ml-tools-scientists-will-actually-use/

#uk #Liverpool #Shap #Cumbria #Scotland #Wales #NorthernIreland
BBC News - https://www.bbc.co.uk/news/live/c0r9r1r5lnpt
UK weather latest: Snow closes hundreds of schools as cold snap hits - BBC News

A cold blue river runs from mid ground to foreground, flanked by bare trees illuminated from behind by a winter sun in a blue sky. A small section of wall bottom right is part of the ruins of Shap Abbey, a monastery destroyed by Henry VIII. #landscapephotography #cumbria #winter #shap

Hello datascientist,

I am working on a multiclass text classification problem and would like to compare sentence transformers (#all-mini-lm, #mnlp, and #bert) with a logistic regression model. A requirement of my project is to compare the global and local feature importances of these methods.

What methods do you use to compare the global and local feature importances of sentence transformers with a logistic regression model?

Thank you for your suggestions!

#DataScience #NLP #ai #shap

New pre-proof in Journal of Molecular Liquids: ML predicts NMR chemical shifts for metal complexes (45Sc, 49Ti, 89Y, 91Zr, 139La). CatBoost+RDKit ≈7% RMSE for Sc/Y/La; 9% Ti; 13% Zr. SHAP highlights cyclic motifs & electrostatics. Read: https://doi.org/10.1016/j.molliq.2025.128417 #NMR #MachineLearning #MaterialsScience #TransitionMetals #RDKit #CatBoost #SHAP

Shap-графики: как наглядно объяснить заказчику логику работы модели

Всем привет. Я Андрей Бояренков, лидер кластера бизнес-моделей стрима "Разработка моделей КИБ и СМБ" банка ВТБ. В этой статье расскажу о том, какие на мой взгляд типы графиков необходимо построить, чтобы наиболее оптимальным образом показать заказчику логику работы фичей в моделях.

https://habr.com/ru/companies/vtb/articles/938988/

#shap #machine_learning #catboost #data_science #python #моделирование

The worse thing is when you use #SHAP to generate graphics of covariate interactions, and your allocation on the supercomputer gets timeout, and then you are back to the queue 😞

📚🧠 Your AI just generated 12 citations. But 3 of them? Completely fake.
We built a 5-layer citation validator using SHAP, XGBoost & real-time monitoring — and slashed validation time from 42 minutes to 6.

Want trustworthy AI? Let the architecture do the QA.
👇 Read the full breakdown:
🔗 https://medium.com/@rogt.x1997/shap-xgboost-and-the-end-of-fake-references-inside-a-5-layer-predictive-citation-system-54149236c5b6

#AIresearch #CitationTrust #GenAI #SHAP #LLMverification #DataScience
https://medium.com/@rogt.x1997/shap-xgboost-and-the-end-of-fake-references-inside-a-5-layer-predictive-citation-system-54149236c5b6

Объяснимый ИИ в ML и DL

Объяснимый ИИ — очень важный аспект в ML и DL. Он заключается в том, чтобы интерпретировать модель так, чтобы можно было около прозрачно объяснить ее решения. Потому что это довольно частая необходимость как у конечного заказчика, ведь для них это просто «черный ящик», так и у разработчиков непосредственно (например, для отладки модели). На русском языке таких статей не так много (для тех, кто знает английский проблем с этим нет, на нем таких статей много, например, Kaggle), поэтому я решил, что статья покажется актуальной, и сегодня я попробую рассказать про это и показать на конкретном примере, как его можно реализовать.

https://habr.com/ru/articles/913772/

#ML #DL #Python #Explainable_AI #SHAP

🚀 What if your AI could say “I might fail” before even trying?
🔍 10,254 logs analyzed
📊 88.9% accurate predictive model
🧠 SHAP-powered, self-aware agentic system
Discover how Manus AI is turning agents into intelligent evaluators.

👉 Read the full story: https://medium.com/@rogt.x1997/88-9-accuracy-7-features-and-1-radical-shift-in-ai-reliability-inside-manus-ais-pre-execution-35bb429d5dbb
#AI #MachineLearning #AgenticAI #SHAP #ExplainableAI #ManusAI #PredictiveAnalytics
https://medium.com/@rogt.x1997/88-9-accuracy-7-features-and-1-radical-shift-in-ai-reliability-inside-manus-ais-pre-execution-35bb429d5dbb

Как мы обучили модель прогноза ранней просрочки: логистическая регрессия vs градиентный бустинг

Всем привет! На связи дата-сайентисты стрима разработки моделей для корпоративного сегмента ВТБ — Андрей Бояренков, Иван Кондраков и Денис Дурасов. Как уже писали ранее в другой статье , внедрение процесса AutoML позволило нам во многом автоматизировать рутину и разработки, и применения моделей. Соответственно, у нас появилось больше времени для RnD-задач, которые могли бы быть полезны нашим заказчикам, чтобы охватить моделями новые процессы, а также провести исследования новых алгоритмов. Поэтому мы составили мэппинг возможных моделей на элементы работы Банка с клиентами малого и среднего бизнеса в части предотвращения просрочек по кредитной задолженности, а также по взысканию задолженности. Из данной схемы стало понятно, что есть необходимость разработать модели для процессов по мониторингу заёмщиков Банка — Precollection-модели. Под катом расскажем, как мы их разрабатывали и каких результатов удалось с ними добиться.

https://habr.com/ru/companies/vtb/articles/892056/

#data_science #ds #ml #machine_learning #скоринг #логистическая_регрессия #градиентный_бустинг #алгоритмы #shap #анализ_данных

🌘 機器學習模型解釋: 解讀 SHAP 分析的非技術指南
➤ SHAP 解析在機器學習中的應用及注意事項
✤ https://www.aidancooper.co.uk/a-non-technical-guide-to-interpreting-shap-analyses/
SHAP（SHapley Additive exPlanations）是一種解釋機器學習模型如何進行預測的方法，能幫助非技術人員瞭解其複雜的輸出。本指南針對兩種受眾：資料科學家提供了呈現 SHAP 分析結果和解釋相關圖表的結構化方法；需要理解 SHAP 輸出但不需瞭解其背後方法的人，則提供瞭解釋 SHAP 圖表及從中獲得意義洞見的詳盡解說。SHAP 可解釋每個輸入變數對模型預測的重要性，有助於檢查模型是否表現合理，滿足監管需求。透過 SHAP 還能檢視特徵間的關係，但需謹慎因為結果僅反映在訓練數據上的模型行為。
+ 喜歡這篇文章提供了對 SHAP 解析非常清晰易懂的解說，讓人更能理解機器學習模型的運作方式。
+ 這篇內容真的很有幫助，對於想要深入瞭解如何解讀機器學
#機器學習 #SHAP 解析 #解釋性人工智慧

Фичи в парламент: еще один подход оценить важность признаков в древесных анcамблях

Привет, друзья! Признаки, которыми орудует модель ИИ, в чём-то похожи на группы лиц, соединяющихся, чтобы сыграть в игру и выйграть максимально много. Этой идеей в задаче оценки важности коэффициентов в модели вдохновлен метод SHAP. И теперь не он один! Про метод, основанный на идее выборов в парламент в этой статье.

https://habr.com/ru/articles/860668/

#XAI #SHAP #ML

Практическая устойчивость значений Шепли в интерпретации моделей ИИ

Привет, Хабр! В исследованиях и на практике значения Шепли (Shapley values) — один из наиболее популярных методов интерпретации как на практике, так и в исследованиях. На практике этого не делается — применяется аппроксимация. Отсюда возникают вопросы, ответы на которые мы рассмотрим с вами в этой статье :)

https://habr.com/ru/articles/853794/

#explainable_ai #shap #shapley_values

[Перевод] ML-подход к заблаговременному предотвращению оттока рекламодателей

В этом материале мы опишем систему для заблаговременного предотвращения оттока рекламодателей, основанную на машинном обучении (ML, Machine Learning). Прототип системы создан на основе данных организаций малого и среднего бизнеса (Small & Medium Business, SMB), с которыми работает Pinterest. Результаты изначального эксперимента говорят о том, что мы, с высокой вероятностью, можем обнаруживать возможный уход рекламодателей. Это, в свою очередь, способно помочь нашим торговым партнёрам. Система, подобная нашей, может достичь лучших результатов, чем обычный подход, когда пытаются вернуть уже ушедшего клиента.

https://habr.com/ru/companies/wunderfund/articles/842274/

#Машинное_обучение #разработка #продажи #SHAP #GBDT #SMB #AUCROC