Finally completed the upgrade of all of the five @midgaard #Kubernetes nodes to what I colloquially refer to as midgaard-v3.

Same standard #Hetzner nodes with a couple of #NVMe sticks and around 10TB of spinning metal for bulk storage. Much simplified partition layout. NVMes used for caching. Scheduled backups of #etcd. Continuous SMART disk testing and reporting.

The four other nodes have been running smoothly for about a month so I don't expect any surprises at this point. Distro is #Debian Trixie. Kubernetes is version 1.33.

All is well.

So far.

This time I’m back, and for GOOD !
All of those IO throttled Pis have been replace by beefy’sh m920q*3, that should make everything more stable, maybe even etcd stops timing out ?
At least, now Longhorn will have ample space to work with, and bandwidth to consume without affecting performance

#selfhosting #selfhosted #homelab #k3s #kubernetes #longhorn #lenovo #cluster #raspberrypi #io #etcd

etcd-walker: TUI-проводник по etcd для ленивых (и не только?)

Привет Хабр! Если вам тоже доводилось разбирать незнакомый проект, сопровождать прод или помогать QA, вы знаете, как быстро начинаешь ненавидеть однообразные команды etcdctl: копировать ключ, вбивать get, ловить в терминале многострочные значения, скроллить историю… Особенно если ключей сотни, а половина из них — конфиги или JSON’ы на несколько экранов. Мне хотелось чего-то попроще: запустил один бинарь в терминале и спокойно ходишь по дереву ключей etcd , как по файловой системе, подобно mc . Без браузера, без копипаста, с нормальным просмотром и редактированием многострочных значений. Так появился etcd-walker . Под катом расскажу, как он устроен, почему в etcd v2 внезапно пропадают ключи, которые начинаются с подчеркивания, как их всё-таки увидеть, зачем понадобилась “инъекция” узлов, и как решить боль с большими многострочными ключами, например JSON или yaml. А также покажу, как этот инструмент помогает разбираться с локами, которые создает python библиотека для работы c etcd. Если вы хоть раз пробовали разгрести чужое хранилище в etcd, то поймёте, почему без подобного инструмента жить уже не хочется.

https://habr.com/ru/companies/hstx/articles/973628/

#etcd #etcdctl #etcd_v2 #etcd_v3 #TUI #консольный_интерфейс #файловый_менеджер #DevOps #системное_администрирование #конфигурация_сервисов

kubernetes Deep Dive (etcd + Raft)
https://qiita.com/Plath/items/6a07fbbda5b443b4079a?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #etcd #raft #kubernetes

Hmm my services are running fine as far as I can tell, but my #Rancher/#RKE2 #Kubernetes cluster is acting up - possibly #etcd related?

Biggest tell being how the control plane/API server not being the most responsive, and some essential pods failing/restarting including #cert-manager, cloud-controller-manager, csi-smb-controller, kube-apiserver, kube-scheduler, rke2-snapshot-controller, csi-provisioner + -resizer, -snapshotter, yadda yadda.

Not sure what could be causing it just yet.

Bringing #etcd to the database with #Rust and pgrx https://www.cybertec-postgresql.com/en/bringing-etcd-to-the-database-with-rust-and-pgrx/ #postgresql

А кто у вас отвечает за kube-api? Безопасность Kubernetes при помощи CIS Benchmark

Kubernetes в IT-инфраструктуре — это не просто про удобство деплоя. Это критическая часть сервиса. Одна неправильная настройка kube-apiserver или etcd — и вместо кластера вы получите бублик с дыркой, через который утекут и данные, и бизнес-процессы. В этой статье разберем, какие стандарты защищают контейнерные среды, почему CIS-бенчмарк часто становится первой точкой опоры, какие практики дополняют его и как Managed Kubernetes превращается в автоматизированный рабочий процесс. Детали внутри.

https://habr.com/ru/companies/selectel/articles/963562/?utm_source=habrahabr&utm_medium=rss&utm_campaign=963562

#selectel #kubernetes #managed_kubernetes #настройка_kube #etcd #mastermind #worker #policy #control_plane #CIS_Benchmark

А кто у вас отвечает за kube-api? Безопасность Kubernetesпри помощи CIS Benchmark

Kubernetes в IT-инфраструктуре — это не просто про удобство деплоя. Это критическая часть сервиса. Одна неправильная настройка kube-apiserver или etcd — и вместо кластера вы получите бублик с дыркой, через который утекут и данные, и бизнес-процессы. В этой статье разберем, какие стандарты защищают контейнерные среды, почему CIS-бенчмарк часто становится первой точкой опоры, какие практики дополняют его и как

https://habr.com/ru/companies/selectel/articles/963560/

#selectel #kubernetes #managed_kubernetes #настройка_kube #etcd #mastermind #worker #policy #control_plane #CIS_Benchmark

А кто у вас отвечает за kube-api? Безопасность Kubernetes при помощи CIS Benchmark

Kubernetes в IT-инфраструктуре — это не просто про удобство деплоя. Это критическая часть сервиса. Одна неправильная настройка kube-apiserver или etcd — и вместо кластера вы получите бублик с дыркой, через который утекут и данные, и бизнес-процессы. В этой статье разберем, какие стандарты защищают контейнерные среды, почему CIS-бенчмарк часто становится первой точкой опоры, какие практики дополняют его и как

https://habr.com/ru/companies/selectel/articles/963562/

#selectel #kubernetes #managed_kubernetes #настройка_kube #etcd #mastermind #worker #policy #control_plane #CIS_Benchmark

One of the main things that annoy me in the #Golang package ecosystem. A patch update of a dependency brings in a requirement of a new compiler version. What are the chances that #etcd folks sincerely believe they're following semver?

The reason given is usually "because the old version is EOL", and this is a well-meant but also 100% wrong. If you're bumping a compiler version in go.mod for a reason that is not "I need new compiler features/behaviour", you don't understand what you're doing.

[Перевод] MySQL в Uber

Как поддерживать свыше 2300 кластеров MySQL без заметных простоев? В Uber это решают разделением на плоскости данных, управления и обнаружения и строгим приведением фактического состояния к desired state. В материале — анатомия control plane (Odin, Cadence, контроллер с правилами), как устроены плавные и аварийные переключения primary, замена узлов и онлайн-изменения схемы; как discovery на etcd и реверс-прокси даёт стабильный VIP; как наблюдаемость, CDC (Storagetapper→Kafka→Hive) и бэкапы закрывают эксплуатацию. ФВ фокусе — инженерные решения, которые позволяют удерживать 99,99% доступности без ручной магии. К архитектуре

https://habr.com/ru/companies/otus/articles/957296/

#кластер_MySQL #плоскость_управления #алансировка_нагрузки #наблюдаемость #CDC #kafka #Cadence #etcd

Тени секретов в etcd: удалил ≠ уничтожил

Привет, Хабр! Сегодня мы рассмотрим ту историю, когда удалённый секрет вдруг оказазывается вовсе не уничтоженным. Разберёмся, что происходит с вашими конфиденциальными данными внутри etcd, и почему простого удаления секрета недостаточно, чтобы навсегда вычеркнуть его из истории. Узнать, куда исчезают секреты

https://habr.com/ru/companies/otus/articles/955290/

#kubernets #безопасность #etcd #secrets #Kubernetes_Secrets #безопасность_Kubernetes

I've been doing things I shouldn't with #Kubernetes. We're using a replicated #MinIO cluster as the storage backend on #mstdndk, which requires a boat load of storage, especially if you forget to specify any kind of retention. So far, the quick workaround for a full disk, was just to expand the filesystem. Since we're replicating across nodes, we're using #OpenEBS #LVM for local storage. Poor partitioning means we're running out of storage on the volume group, but even worse - PVCs sizes were increased before checking if we had space for it. Kubernetes is now stuck in a most unfortunate situation - it can't grow the local filesystem, as the volume group is full and you're not allowed to decrease the size request. What then? Cue https://github.com/etcd-io/auger - a tools that allows you to edit #K8s resources directly in #etcd. Obviously you should never do this, but with steady hands and clinical precision, you can get yourself out of a pickle like mine. Size was reverted and PVCs were unstuck.

Figured out some more of the homelab Kubernetes fun tonight: I probably need an etcd operator on the cluster, responding on some-hostname:2379 so that the external-dns service can find what it needs. I don't have this setup yet so nothing is running on :2379.

I didn't see this mentioned in the docs so tomorrow I'll design something and see if I can get it working.

I also really should take some better notes, if only for my own documentation. Then I should probably redeploy my original infrastructure.

#homelab #kubernetes #etcd #dns #externaldns

Finally finished reading the AWS post from a few weeks ago about their "ultra-scale" EKS perf improvements! There's some cool stuff in there, and lots of pretty graphs.

Aside from a bunch of "targeted" improvements, it seems like the biggest change is to move away from raft into some internal thing called "journal" in etcd. This seems cool, I guess, but also kinda like magic unicorn sauce?

"Offloading consensus to journal enabled us to freely scale etcd replicas without being bound by a quorum requirement and eliminated the need for peer-to-peer communication."

How on earth does that work? Would love to have more details here.

https://aws.amazon.com/blogs/containers/under-the-hood-amazon-eks-ultra-scale-clusters/?ref=cloudnative.now

#kubernetes #aws #eks #etcd

[Перевод] etcd в Kubernetes: разбираемся с задержками

Эта статья будет полезна DevOps-инженерам, SRE-специалистам и всем, кто работает с Kubernetes и хочет глубже понять его внутренние механизмы. Если вы настраиваете, масштабируете или устраняете неполадки в кластере K8s, важно разобраться в etcd — распределенном key-value-хранилище, которое лежит в основе отказоустойчивости Kubernetes. Надо отметить, что etcd обеспечивает консистентность и надежное хранение критически важных данных: состояния нод, конфигураций, секретов и другой информации кластера. Без него Kubernetes не мог бы гарантировать высокую доступность и согласованность данных. В этой статье мы разберем распространенные мифы о etcd, а также дадим практические рекомендации по его настройке и эксплуатации. В основе материала — перевод опубликованных исследований инженеров Red Hat. Примечание редактора: Нам показалось, что авторы хорошо знакомы с механизмами etcd, но мало разбираются в работе СХД, поэтому мы дополнили перевод своими комментариями.

https://habr.com/ru/companies/chislitellab/articles/934526/

#etcd #отказоустойчивость #kubernetes #k8s #базы_данных #администрирование #штурвал

DNS-хаос, зомби-поды и майнеры в кластере: самые невероятные случаи при работе с Kubernetes

Kubernetes — мощный и одновременно сложный инструмент, работа с которым неизбежно порождает… инциденты. И на практике DNS виновата далеко не всегда. Иногда всё ломает слишком длинное имя деплоймента, протухший CA-сертификат или сбой сетевой карты, из-за которого TCP-пакеты просто отбрасываются. В статье вас ждут самые интересные и поучительные инженерные истории с Reddit.

https://habr.com/ru/companies/flant/articles/931902/

#kubernetes #dns #майнеры #зомбиподы #cni #kubedns #stickyсессии #etcd #argo_cd #инциденты

What's that phenomenon where the mate withers and becomes a parasite on the other's body?

#etcd

#k8s #kubernetes #kh8s

So now I have unroutable messages in #RabbitMQ for the first time ever, and other weird as #fuck other network glitches. Like the spike in the graph only showing up after 40 seconds instead of right away. Often #ETCD leader changes, so terraforming updates it going to be fun.

Thanks to a trivial patch I made, the #etcd README now has working links to the actual API docs.

https://github.com/etcd-io/etcd#documentation

Small victories.