Benchmark Driven Development: почему мы перестали верить чужим бенчмаркам
В этой статье расскажем, как мы пришли к подходу, который внутри называем Benchmark Driven Development (BDD) — разработка, движимая бенчмарками на своих данных. (Да, мы знаем, что BDD — это ещё и Behavior Driven Development, тут у нас своя расшифровка 🙂)
🚀 New blog post: Choosing the Right LLM with MLflow
How do you systematically evaluate which open-source LLM performs best for your use case?
I wrote a hands-on guide covering:
✅ Comparing multiple models (Llama, Mistral, DeepSeek)
✅ Docker Compose infrastructure
✅ Complete Python & bash code
The evaluation pipeline works unchanged from local → staging → production.
#MLOps #LLM #MLflow #Python #DevOps #MachineLearning #OpenSource #AI
Единый вход для ML-стека на примере Keycloak
Привет! Я Саша Абакумов, DevOps-инженер в KTS . Нашей команде часто приходится поднимать инфраструктуру под ML-проекты. Со временем число ML-инженеров и разработчиков на таких проектах росло, и логиниться в каждый по отдельности становилось все больнее. Чтобы упростить коллегам жизнь, мы интегрировали Single Sign-On (SSO) в стек одного из наших проектов, состоящий из JupyterHub, Airflow и MLflow. SSO позволяет единообразно аутентифицироваться во всех инструментах под одной учетной записью. Помимо очевидного удобства, нам это также дало возможность централизованно управлять доступом и внедрить RBAC — сопоставление ролей в инструментах с группами или ролями в IdP. В качестве инструмента для реализации SSO я использовал OIDC-провайдер Keycloak, наверняка многим хорошо знакомый. Ниже я расскажу о том, как с его помощью настроить SSO для JupyterHub, MLflow и Airflow (все компоненты разворачиваются с помощью Helm-чартов).
https://habr.com/ru/companies/kts/articles/971982/
#ml #mlflow #sso #sso_аутентификация #jupyterhub #airflow #keycloak
Thiết lập homelab trong phòng trọ: Lựa chọn giữa Laptop 16GB RAM hay Xeon E5-2680v4 mạnh hơn? Cần tối ưu cho GitLab, CI/CD và MLflow (không huấn luyện mô hình). Lo ngại về ồn, nhiệt và mạng 2Mbps upload. #Homelab #DevOps #MLOps #GitLab #MLflow #Xeon #GiayTocLap #StudentTech #SelfHosted
https://www.reddit.com/r/selfhosted/comments/1p69f7f/student_homelab_in_a_dorm_laptop_vs_xeon_for/
In part 1 of our article "Assembling MLOps practice", published in May, we discussed the definition of MLOps and outlined the requirements for implementing this practice within an organisation. This time with part 2 of the article, we move forward by exploring part of the technical stack that could be an option for implementing MLOps...
Article link >> http://www.beolle.info/Pe6L
MLflow has added an MCP server in the most recent release, MLflow 3.4.0. You can e.g. use natural language to find and diagnose failing agent traces w Clauded Desktop. This is a huge step toward making MLflow a tool usable by agents.
Blog on setting this up coming soon.
Unlock MLOps mastery! Dive into the power of MLflow tracking with our 5 essential steps. Transform your ML workflow from chaos to clarity and achieve true reproducibility. #MLOps #MLflow #MachineLearning #DataScience #AI #TechTutorial
https://teguhteja.id/mlops-mlflow-tracking-guide/?utm_source=mastodon&utm_medium=jetpack_social
Библиотека OutboxML от Страхового Дома ВСК
Хабр, привет! Меня зовут Семён Семёнов, я руковожу Data Science и Machine Learning в Страховом Доме ВСК. В этой статье расскажу, как мы создали систему автоматического обучения и развёртывания моделей машинного обучения с открытым исходным кодом. Первый вопрос, который может задать себе читатель, знакомый с темой современного машинного обучения: «Почему бы не взять одну из десятков (если не сотен) открытых AutoML-библиотек?» Ответ прост: мы не стремились создать ещё один «стандартный» проект AutoML. Наша цель — сфокусироваться на вещах, которые редко встречаются в готовых решениях:
https://habr.com/ru/companies/vsk_insurance/articles/942110/
#automl #машинное_обучение #машинное_обучение_python #data_science #mlops #mlflow #fastapi #grafana #открытый_код #ml
MLflow для исследований: как систематизировать ML-эксперименты
Когда речь заходит о таких инструментах, как Airflow, MLflow или Docker, многие сразу представляют себе продакшен-среду, и новичков это может пугать. Однако на самом деле эти инструменты полезны не только в проде или крупных компаниях. Сегодня я хочу рассказать об MLflow. Эта статья рассчитана на тех, кто только начинает свой путь в машинном обучении и обладает базовыми знаниями, а также на практикующих ученых в области ИИ, которые пока не знакомы с этим инструментом или сознательно им не пользуются.
https://habr.com/ru/articles/905986/
#mlflow #машинное_обучение #искусственный_интеллект #эксперименты #логирование #трекинг #mlops
Введение в MLflow: настройка и запуск
Введение в MLflow: настройка и запуск Привет, Хабр! Я Александр Кузьмичёв, специалист по анализу данных и машинному обучению в ПГК Диджитал. Мы в компании занимаемся разработкой цифровых продуктов для железнодорожных грузоперевозок. Ранее я рассказывал о том, как открытая платформа MLflow помогает нам в работе. В этой серии статей я хотел бы поделиться с вами увлекательным путешествием в мир MLflow, Optuna, AutoML и развёртывания моделей с помощью MLflow. Сегодня мы заложим фундамент, начнём с вводной статьи. Я расскажу, как установить и настроить MLflow, а также как опубликовать его с доступом в интернет. Это пригодится для мини- и пет-проектов. В дальнейшем добавлю функционал по логированию, что значительно упростит процесс работы с моделями. Что потребуется: Docker Statics IP- статический (неизменяемый внешний) IP Internet Free space ~40gb Что получим: MLflow Jupyter Minio Mysql Настроенные пути к портам Логин и пароли для моделей
Explore how to design a #MachineLearning pipeline with built-in observability for credit card fraud detection.
The approach leverages powerful tools like MLflow, Streamlit, Prometheus, Grafana & Evidently AI.
📖 #InfoQ article: https://bit.ly/4l0FrBa
#MLflow #Streamlit #Prometheus #Grafana #EvidentlyAI #Observability #Performance #DataVisualization
[Перевод] 5 лучших фреймворков с открытым исходным кодом для оценки больших языковых моделей (LLM) в 2024 году
«У меня такое чувство, что решений для оценки LLM больше, чем проблем, связанных с их оценкой», — сказал Дилан, руководитель отдела ИИ в компании из списка Fortune 500. И я полностью согласен — кажется, что каждую неделю появляется новый репозиторий с открытым исходным кодом, пытающийся сделать то же самое, что и другие 30+ уже существующих фреймворков. В конце концов, чего действительно хочет Дилан, так это фреймворка, пакета, библиотеки, как угодно, который просто количественно оценил бы производительность LLM (приложения), которую он хочет запустить в продакшен. Итак, как человек, который когда-то был на месте Дилана, я составил список из 5 лучших фреймворков для оценки LLM, существующих в 2024 году :) 😌 Начнем!
I just did my first project using the #mlflow library to track metrics on iterations of manual tuning of an #sklearn pipeline, it works great and gives me some idea of the search space before moving into automated hyperparameter tuning.
I am using it in a super basic way, as an alternative to creating a gazillion cells with comments tracking metrics, does anyone have any favorite features to check out for taking mlflow to the next level?
#machinelearning #python #MLOps #scikitlearn
MLflow LLM Evaluate：Amazon Bedrock / Claude 3.5 Sonnet で LLM-as-a-Judge による LLM の評価
https://qiita.com/nttd-saitouyun/items/061548eabe37a868c507?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items
Введение в MLflow
MLflow - это инструмент для управления жизненным циклом машинного обучения: отслеживание экспериментов, управление и деплой моделей и проектов. В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры. Также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.
My blog post on "Building a Data Science Platform with Kubernetes" got published in Towards Data Science, explaining how to setup JupyterHub, MLflow and SeldonCore in Kubernetes
#TowardsDataScience #DataScience #Kubernetes #JupyterHub #SeldonCore #MLflow
Canonical Launches Data Science Stack for Data Science and Machine Learning Beginners #DataScienceStack #DSS #Datascience #MachineLearning #Ubuntu #Pytorch #Tensorflow #Microk8s #Jupyterlab #MLflow #Linux
https://ostechnix.com/canonical-data-science-stack-dss/
