В погоне за неизведанным: как ML-модель вредоносы искать училась

Всем привет! С вами Ксения Наумова. В Positive Technologies я исследую вредоносный сетевой трафик и совершенствую инструменты его анализа в экспертном центре безопасности. Недавно перед нами встала задача — создать ML-модель для обнаружения вредоносного ПО в сети. Причем распознавать она должна была не только уже ранее детектированное нами вредоносное ПО, но и совсем новые угрозы, которые появляются в большом количестве ежедневно. В качестве первого эксперимента решили сделать модель для работы с трафиком, который передается по протоколу HTTP, поскольку наши продукты успешно расшифровывают TLS-сессии, а внутри них частенько можно найти много интересного. В статье я подробно расскажу, как мы обучали модель, и поделюсь информацией о допущенных ошибках.

https://habr.com/ru/companies/pt/articles/883954/

#ml #машинное_обучение #песочница #sandbox #сетевой_трафик #детектирование #вредоносное_по #обнаружение_вредоносного_по #lightgbm #датасет

🔗 [LightGBM Random Forest Parameters](https://lightgbm.readthedocs.io/en/latest/Parameters.html)

#MachineLearning #DataScience #LightGBM #RandomForest #ScikitLearn

Методы классификации DGA инструментов

Одной из серьёзных угроз для информационной безопасности являются алгоритмически сгенерированные домены (DGA), которые позволяют злоумышленникам создавать множество поддельных доменов для обхода защитных систем и затруднения обнаружения вредоносной активности. В данной статье мы рассмотрим, что представляют собой DGA, каким образом они создаются и как методы машинного обучения могут быть применены для их эффективной классификации, с особым акцентом на анализ данных и классификацию наиболее популярных DGA семейств.

https://habr.com/ru/articles/888234/

#DGA #dnsтрафик #lightgbm #датасет

ド素人がClaudeと2人3脚でばんえい競馬AI予想アプリを作っちゃった話
https://qiita.com/zatrie78/items/96ead31b600ff8cd4b7d?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Python #初心者 #ポエム #アプリ開発 #lightgbm

How does it compare to XGBoost and LightGBM in your work? Drop a comment below!

#MachineLearning #DataScience #GradientBoosting #CatBoost #AI #XGBoost #LightGBM

---

Would you like me to tweak the post for a specific audience or style?

Прогнозируем движение беспилотного автомобиля (или как я вышел в тройку лидеров на Yandex Cup 2024)

Хабр, привет! Меня зовут Николай Назаров , я работаю аналитиком данных в X5 Tech. Недавно завершился чемпионат по программированию Yandex Cup ML Challenge 2024 , в котором я занял второе место в задаче “Self-driving cars: предсказание движения беспилотного автомобиля”. В статье расскажу про задачу и подходы, которые использовал для решения.

https://habr.com/ru/companies/X5Tech/articles/878326/

#selfdrivingcar #yandex_cup_2024 #machine_learning #data_science #lightgbm #чемпионат_по_программированию #kaggle #беспилотные_автомобили #python

Professional data scientists: what are the algorithms and models that you actually end up using the most? #datascience #machinelearning #ml #xgboost #lightgbm

https://www.reddit.com/r/datascience/comments/xvhiml/professional_data_scientists_what_are_the/

Watch @_jameslamb sharing how he got started contributing to #OpenSource and become a #LightGBM maintainer! I am super happy that the "hack night" I did years ago was a huge encouragement to @_jameslamb and excited to see his continued involvement! 👉 https://youtu.be/ObzrXjqWcTY?t=9708

It's great to see a PR from the community to add support for #LightGBM in @kubeflow @XGBoostProject operator! Now the question comes down to what we should rename the project to be. Any suggestions or things to consider? #k8s #XGBoost #MachineLearning https://bit.ly/2HbrOk5

Add support for LightGBM by RD...

#BSI WID-SEC-2024-3449: [NEU] [hoch] #Microsoft #LightGBM #und #TorchGeo: Mehrere Schwachstellen ermöglichen Codeausführung

Ein entfernter, anonymer Angreifer kann mehrere Schwachstellen in Microsoft LightGBM und TorchGeo ausnutzen, um beliebigen Programmcode auszuführen.

https://wid.cert-bund.de/portal/wid/securityadvisory?name=WID-SEC-2024-3449

Обнаружение DNS туннелей

В современном мире, где цифровые технологии проникают во все сферы нашей жизни, обеспечение безопасности данных становится важной задачей. В данной статье мы расскажем, что представляют собой DNS-туннели, каким образом они создаются, а также как методы машинного обучения могут быть применены для эффективного их обнаружения.

https://habr.com/ru/articles/840996/

#dnsтуннель #dnsтрафик #lightgbm #датасет #cic

Рекурсивный отбор признаков. Динамический шаг в танце feature selection

В статье рассматривается выбор оптимального шага при рекурсивном отборе признаков (RFE). Предлагаются три подхода: фиксированный шаг, динамический шаг, зависящий от количества признаков, и динамический шаг, основанный на значимости признаков. На основе как искусственно сгенерированных, так и реальных наборов данных проводится анализ эффективности каждого метода, выявляются их преимущества и недостатки. Также внимание уделяется недостаткам текущей реализации RFE в библиотеке Scikit-learn, и предлагаются пути их улучшения, а также креативные подходы к решению задач feature selection.

https://habr.com/ru/articles/833954/

#data_science #machine_learning #feature_selection #feature_extraction #отбор_признаков #lightgbm #машинное_обучение

tidymodels has long supported parallelizing model fits across CPU cores. A couple of the modeling engines that #rstats #tidymodels supports for gradient boosting—#XGBoost and #LightGBM—have their own tools to parallelize model fits. A new blog post explores whether tidymodels users should use tidymodels' implementation, the engines', or both.

https://www.simonpcouch.com/blog/2024-05-13-parallel/

LightGBMをGPUで回すと結果の再現性が得られない
https://qiita.com/tetsuro731/items/7d298ede424c2d7cf8c4?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #GPU #機械学習 #lightgbm

Google ColabでLightGBM+MLFlow使ってみた
https://qiita.com/tetsuro731/items/671c81669955d98bb6ff?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #機械学習 #lightgbm #GoogleColaboratory #MLOps #MLflow

若手社員のAI部署での利用技術紹介
https://qiita.com/yuta_takaba/items/fa4d4703b5eb141da159?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Python #Python3 #AI #lightgbm

Градиентный бустинг. Реализация с нуля на Python и разбор особенностей его модификаций (XGBoost, CatBoost, LightGBM)

На сегодняшний день градиентный бустинг (gradient boosting machine) является одним из основных production-решений при работе с табличными, неоднородными данными, поскольку обладает высокой производительностью и точностью, а если быть точнее, то его модификации, речь о которых пойдёт чуть позже. В данной статье представлена не только реализация градиентного бустинга GBM с нуля на Python, но а также довольно подробно описаны ключевые особенности его наиболее популярных модификаций.

https://habr.com/ru/articles/799725/

#градиентный_бустинг #gradient_boosting #xgboost #catboost #lightgbm #алгоритмы_машинного_обучения #data_science #машинное_обучение #реализация_с_нуля #python

Müssen es immer rechenintensive #deeplearning Modelle sein oder reichen für manche Anwendungsfälle auch leichtgewichtigere Alternativen, wie #xgboost, #catboost, #lightgbm oder gar klassische Methoden wie #SVMs und #logisticregression?

Auf der #M3 Konferenz in #Köln (vom 23.04.2025 bis zum 25.04.2024) werde ich diese Frage im Rahmen eines Vortrags diskutieren. Mehr Informationen unter: https://www.m3-konferenz.de/veranstaltung-21724-0-good-enough-for-biomedical-signals--wenn-klassische-ml-verfahren-besser-sind-als-neuronale-netze.html

something else I want to explore with fossil is cannot-miss topics.

Basically, create UI to mark posts as covering a topic that I don't want to miss in the future. After labeling a few hundred or thousand, train a #lightgbm binary classifer on the embeddings. The classifier decides if each post belongs to the topic.

generally, this addresses the problem of (1) k-means clusters being somewhat random and (2) topics i care about get buried if there's not a lot of content
#python #fediverse

Learning LightGBM for the first time.

#machinelearning #analytics #lightgbm