Революция архитектуры Веба, часть 4
Это — текстовая расшифровка небольшого доклада с Форума молодых учёных , про Web 4.0: проблематика, решения и даже прототип, с которым можно невозбранно поиграться. Прикоснуться к будущему 🖐
https://habr.com/ru/articles/943606/
#Гипер_Веб #CRUS #Гипер_Дев #$mol #криптография #crdt #высокая_доступность #local_first
Не Pgbouncer, но пулер. Не Odyssey, но с корутинами
Если вы настраивали отказоустойчивый кластер Postgres, то сталкивались с необходимостью перенаправления пользовательского трафика на пишущий узел после аварии на основном узле и переключения на резервный. Мы разработали расширение Proxima, которое снимает необходимость в настройке и администрировании дополнительного программного обеспечения. Разработчик программного обеспечения Postgres Professional Тофиг Алиев расскажет, как мы делали Proxima, какие архитектурные решения заложены в расширение, почему мы выбрали именно такой подход. Разберет тонкости реализации, которые позволили нам обрабатывать более 10 тысяч одновременных клиентских сессий. Рассмотрит примеры использования и ответит на вопросы.
https://habr.com/ru/companies/postgrespro/articles/927034/
#высоконагруженные_проекты #высокая_нагрузка #высокая_производительность #highload #высокая_доступность #postgresql #proxima #biha #postgres_pro
Алгоритмы консенсуса Paxos, Raft и Zab в распределённых системах
В распределённых системах критически важно обеспечить консенсус – согласованность данных или решений между множеством узлов (серверов), даже при сбоях и задержках сети. Алгоритмы консенсуса позволяют группе несовершенных узлов действовать как единое надёжное целое. Три классических алгоритма – Paxos , Raft и Zab – стали основой для построения отказоустойчивых систем. Они гарантируют, что при наличии кворума узлов (обычно большинства) все узлы придут к единому решению и последовательности операций, сохраняя консистентность данных. В данной статье мы рассмотрим устройство этих алгоритмов «под капотом», их этапы (выбор лидера, репликация журнала, обработка сбоев и восстановление), области применения в реальных системах (от координаторов в кластерах Kubernetes и Apache Kafka до распределённых баз данных), а также сравним готовые реализации (такие как etcd, ZooKeeper, Consul и др.) по ключевым характеристикам.
https://habr.com/ru/articles/903792/
#paxos #raft #микросервисы #sql #nosql #распределенные_системы #высоконагруженные_проекты #высоконагруженные_приложения #высокая_доступность #высокая_нагрузка
Настройка Apache Kafka для высоконагруженных систем
Apache Kafka является одной из самых популярных платформ для обработки потоков данных, обеспечивая высокую пропускную способность и низкие задержки при передаче сообщений. В высоконагруженных системах, где необходимо обрабатывать миллионы сообщений в секунду, важность правильной настройки Kafka трудно переоценить. Без оптимизации её параметров можно столкнуться с серьёзными проблемами, такими как рост задержек, потеря сообщений и переполнение очередей. Эффективная настройка Kafka критична для обеспечения бесперебойной работы в условиях высокой нагрузки и стабильной обработки данных в реальном времени. Цель этой статьи — рассмотреть основные аспекты настройки Apache Kafka, которые влияют на производительность системы. Мы сосредоточимся на оптимизации параметров брокеров и продюсеров для достижения максимальной пропускной способности, минимальных задержек и надежности. Также рассмотрим важность мониторинга и тестирования системы для своевременного выявления и устранения узких мест.
https://habr.com/ru/articles/901200/
#apache_kafka #nosql #распределенные_системы #высоконагруженные_проекты #высокая_производительность #highload #высокая_нагрузка #высоконагруженные_приложения #высокая_доступность
High Availability в Postgres Pro без головной боли
Для тех, кто устал от «зоопарка» решений по созданию отказоустойчивых кластеров, расскажем, как добиться нужной функциональности одним решением. BiHA позволяет данным «выжить», даже если один из ЦОДов был физически уничтожен. Как же мы этого добились?
https://habr.com/ru/companies/postgrespro/articles/898396/
#postresql #postrgres #biha #отказоустойчивость #отказоустойчивые_системы #резервирование #высокая_производительность #высокая_нагрузка #высокая_доступность
CI/CD Kubernetes платформа Gitorion. Highly Available исполнение
Привет, всем! В данной статье мы расскажем о Highly Available исполнении CI/CD платформы Gitorion . В данном случае платформа размещается в двух дата центрах. При отказе любого из дата центров команда разработчиков может продолжить непрерывную интеграцию и доставку в выжившем дата центре.
CI/CD Kubernetes платформа Gitorion. Реплицируемый NAS для Highly Available кластера Kubernetes
Привет всем! В предыдущей статье в рамках построения Highly Available варианта CI/CD Kubernetes платформы Gitorion мы рассмотрели реализацию Highly Available плоскости управления Kubernetes, разнесенную в два дата центра и способную пережить падение любого из них. Инстансы Gitea/Forgejo, Jenkins и Docker-registry в составе платформы являются Statefull приложениями и хранят свои данные во внешних Persistent Volume. В данной статей предлагаем вашему вниманию вариант реплицируемого NAS и способ его подключения к Highly Available кластеру Kubernetes, позволяющие модулям Statefull приложений платформы, в случае падения любого из дата центров, продолжить работу со своими файлами в выжившем дата центре.
https://habr.com/ru/companies/gitorion/articles/845120/
#high_availability #высокая_доступность #kubernetes #nas #ci/cd
Доступность IT-систем: поругаться или договориться?
Всем привет, меня зовут Александр Москвин, я начальник управления эксплуатации X5 Облака в X5 Tech. У меня несколько зон ответственности, но важнейшая из них – это обеспечение доступности облачной инфраструктуры Х5. Конечно, для того, чтобы управлять доступностью, необходимо оцифровать этот показатель. Статья родилась из жарких дебатов по целевым показателям доступности частного облака X5 и серии больших внутренних митапов, посвящённых этой теме. Кажется, что результатами стоит поделиться с сообществом, т. к. накопилась критическая масса материалов и выводов. Мысли будут полезны менеджерам, принимающим решения, и solution-архитекторам для переговоров с заказчиками, лидам команд инфраструктуры и разработки. К сожалению, получился лонгрид, так как охватить все аспекты данной темы короткой статьёй не выйдет.
https://habr.com/ru/companies/X5Tech/articles/839626/
#high_availability #высокая_доступность #надежность #sre #стабильность_системы #облачная_инфраструктура #кластеризация #непрерывность_бизнеса #критически_важные_системы #отказоустойчивость
CI/CD Kubernetes платформа Gitorion. Highly Available кластер Kubernetes
Привет, всем! Мы продолжаем наш цикл статей про CI/CD Kubernetes платформу Gitorion . На очереди освещение шагов по построению платформы в Highly Available исполнении. Поскольку все компоненты платформы и пользовательские приложения запускаются в Kubernetes, начнем c построения Highly Avalable кластера Kubernetes. В статье разберем особенности штатной базы данных Kubernetes etcd, не позволившие избежать избыточности. Рассмотрим способ заменить etcd на SQL-базу с помощью Kine от проекта K3S и построить кластер Kubernetes высокой доступности на два дата центра, способный пережить падение любого из них.
