Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes

Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Поскольку DevOps и инфраструктурой я увлекаюсь уже несколько лет, у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею. Эта статья в трёх частях — результат моего опыта в решении этой задачи. Внутри вас ждёт пошаговое руководство по реализации бюджетного распределённого инференса с использованием Ray Serve, vLLM, Kubernetes, Proxmox и других технологий. В первой части мы разберём настройку GPU и его проброс в Proxmox, развернём Kubernetes-кластер, установим GPU Operator и KubeRay Operator. Поехали!

https://habr.com/ru/companies/flant/articles/906700/

#llm #ml #ai #gpu #proxmox #deckhouse_kubernetes_platform #kubernetes #pci_passthrough

Единый механизм указания значений по умолчанию для StorageClass: централизованный подход Deckhouse

В Kubernetes важно правильно настроить StorageClass, чтобы эффективно использовать место для хранения данных приложений. Выбирать StorageClass по умолчанию можно вручную, но такой способ часто приводит к ошибкам и усложняет работу. В статье расскажем, почему ручной способ — не самый удобный, и покажем подход, который реализовали в Deckhouse. Он помогает проще и надёжнее управлять хранением данных.

https://habr.com/ru/companies/flant/articles/904264/

#storageclass #kubernetes #k8s #хранение_данных #pvc #deckhouse #deckhouse_kubernetes_platform #dkp

Как легко настроить аутентификацию для нескольких доменов в Kubernetes: Deckhouse Kubernetes Platform

В статье описывается новый подход к настройке аутентификации для нескольких доменов с помощью DexAuthenticator в Deckhouse Kubernetes Platform. Узнайте, как одно решение заменяет сотни объектов, экономит ресурсы и делает управление безопасностью проще.

https://habr.com/ru/companies/flant/articles/891846/

#kubernetes #аутентификация #authentication #oauth2 #DexAuthenticator #доступ #deckhouse #безопасность #dkp #deckhouse_kubernetes_platform

Автоматические резервные копии etcd и миграции master-узлов: дайджест обновлений Deckhouse Kubernetes Platform 1.65–1.67

Узнайте о ключевых изменениях в Deckhouse Kubernetes Platform за последние три релиза. Поддержка МОС ОС и OpenSuse, автоматическое создание резервных копий базы etcd, поддержка Kubernetes 1.31, новый вид активной балансировки и другие изменения, которые помогут улучшить управление кластерами.

https://habr.com/ru/companies/flant/articles/883082/

#dkp #deckhouse #deckhouse_kubernetes_platform #devops #kubernetes #отечественное_по #j #обновления #etcd #миграция

Готовим Gitea со вкусом werf CI/CD и Dex-авторизации в кластере Deckhouse Kubernetes Platform. Часть 3

Завершаем приготовление Gitea со вкусом werf CI/CD. В финальной части серии создадим репозиторий с кодом приложения, подготовим простенький Helm-чарт и Gitea Actions-пайплайн, в котором опишем автоматический процесс сборки и деплоя приложения в кластер Deckhouse Kubernetes Platform.

https://habr.com/ru/companies/flant/articles/857100/

#gitea #werf #deckhouse #deckhouse_kubernetes_platform #gitea_actions #cicd #dkp

Готовим Gitea со вкусом werf CI/CD и Dex-авторизации в кластере Deckhouse Kubernetes Platform. Часть 2

Продолжаем готовить возможную замену GitLab или GitHub с удобным CI/CD и on-premise размещением. Во второй части подробной статьи-инструкции для новичков поговорим о Gitea Actions: настроим инфраструктуру и Gitea Actions CI/CD.

https://habr.com/ru/companies/flant/articles/857098/

#werf #ci/cd #deckhouse_kubernetes_platform #gitea #dkp #deckhouse

Готовим Gitea со вкусом werf CI/CD и Dex-авторизации в кластере Deckhouse Kubernetes Platform. Часть 1

Клиенты «Фланта» иногда ищут альтернативу GitLab или GitHub с удобным CI/CD и on-premise-размещением. Один из возможных вариантов — Open Source-решение Gitea. В сравнении с GitLab сервис Gitea прост и потребляет в два раза меньше ресурсов. При этом его функциональности достаточно, чтобы построить экосистему управления кодом и его развёртывания в Kubernetes. Эта статья — детальная инструкция по установке и настройке сервера Gitea, а также организации с его помощью авторизации через Dex в кластере Deckhouse Kubernetes Platform. В следующих частях серии, которые выйдут 21 и 26 ноября, настроим Gitea act_runner и подготовим Gitea Actions-пайплайн, в котором развернём приложение в кластере с помощью werf.

https://habr.com/ru/companies/flant/articles/857096/

#gitea #werf #deckhouse_kubernetes_platform #deckhouse #ci/cd #dkp

Обновления Deckhouse Kubernetes Platform 1.61-1.64: переход на Grafana 10, отказоустойчивость с Fencing, CLI для Windows

Узнайте о ключевых изменениях в Deckhouse Kubernetes Platform за последние четыре релиза. Внедрение Grafana 10, поддержка Windows для Deckhouse CLI, автоматическая изоляция проблемных узлов с помощью Fencing, отказоустойчивый egress gateway и другие изменения, которые помогут улучшить управление кластерами.

https://habr.com/ru/companies/flant/articles/842742/

#обновления #grafana #deckhouse #deckhouse_kubernetes_platform #dkp #devops #kubernetes #fencing #cli #отечественное_по

Как запускать WebAssembly-приложения в Kubernetes с помощью Deckhouse

Запускать Wasm-приложения в ванильном Kubernetes затруднительно, так как есть неудобства в настройке сред выполнения на рабочих узлах. Штатных средств недостаточно, чтобы легко конфигурировать узлы. Конечно, можно сконфигурировать один узел руками. Но если нужно обкатать различные рантаймы или большое количество приложений, то хочется максимально просто масштабировать кластер и управлять узлами декларативно. Поэтому я решил запустить Wasm-приложение в Deckhouse Kubernetes Platform (DKP) . Эта платформа упрощает развёртывание и управление кластерами Kubernetes. В этой статье я покажу, как запускать Wasm-приложения в Kubernetes с использованием DKP. Мы настроим окружение, установим необходимые компоненты и запустим простой WebAssembly-модуль.

https://habr.com/ru/companies/flant/articles/829946/

#devops #k8s #kubernetes #dkp #deckhouse #deckhouse_kubernetes_platform #wasm #webassembly #open_source #runtime

Краткий дайджест обновлений Deckhouse Kubernetes Platform 1.48-1.60

В этой статье мы рассмотрим самые важные обновления Deckhouse Kubernetes Platform версий 1.48–1.60, произошедшие почти за год — именно столько времени прошло с момента выхода нашего последнего обзора новых фичей.

https://habr.com/ru/companies/flant/articles/826228/

#kubernetes #deckhouse #Deckhouse_Kubernetes_Platform #devops #istio #grafana #distroless #обновления #platform_engineering #отечественное_по