#highload

2025-05-25

Java Highload и сборка мусора

Разработка HL-решения со строгим SLA по RPS и latency затрагивает множество аспектов. В частности OLTP, мультиплексирование запросов, неблокирующий I/O и прочее. В данной статье хотел бы поговорить про сборку мусора. Мы не будем погружаться в цитирование спецификации. Напротив, взглянем на сборку глазами инженера, перед которым стоит задача оптимизировать процесс с минимальными издержками.

habr.com/ru/articles/912550/

#java #highload #garbage_collector #shenandoah #zgc #g1gc #финтех #performance #concurrent_mark_sweep #jdk

2025-05-23

Топ-статей Saint HighLoad++ 2025

В этом году Saint HighLoad++ снова собирает экспертов индустрии на берегу Невы. А я уже знаю, какие темы вызовут настоящий хайп среди инженеров и разработчиков. Ловите инсайдерскую подборку топовых статей самых ожидаемых докладов конференции: только практика, реальные факапы и технологические прорывы.

habr.com/ru/companies/oleg-bun

#highload++ #архитектура #базы_данных #системы_хранения #platform_engineering #безопасность #эксплуатация_систем #data_science #тестирование #data_engineering

2025-05-01

Снижение затрат на разработку микросервисов

💻 Снижение затрат на разработку микросервисов Оптимизация микросервисов без DevOps: NGinx для паузы запросов при перезапуске backend, шина событий на Bun для бесшовного рестарта реплик через общий порт для разных процессов. Код и конфиги

habr.com/ru/articles/906204/

#typescript #javascript #bun #websocket #microservices #highload #scaling #nestjs #honojs

2025-04-22

Как сделать централизованное логирование и крепко спать по ночам

Мы начинали с обычного ELK-стека, логи приходили на logstash, записывались в Elasticsearch, а пользователи смотрели их в Kibana. Потом в эту схему добавилась Kafka, так как мы понимали, что на пиках нагрузок не успеваем записать все логи в Elasticsearch. Всё это располагалось в одном ЦОДе, а в Kafka была единая очередь. В результате горизонтального масштабирования Elasticsearch разросся до 30+ нод. Данная схема справлялась с нагрузкой в 100 тысяч документов в секунду. Как вы понимаете, эта схема нас устраивала только до определённого периода. В какой-то момент нагрузка начала расти как на дрожжах. Привет, Хабр! На связи Филипп Бочаров, руководитель платформы наблюдаемости и мониторинга для более 400 продуктов экосистемы МТС, и Юлия Тальцкова, ведущий инженер сервиса логирования и кластеров Open Search с более 400 терабайтами логов клиентов. Этот материал написан на основе нашего доклада для конференции Highload++ Расскажем, как нам удалось переписать критичный и высоконагруженный сервис логирования, перестать просыпаться от ночных звонков и даже иногда уходить в отпуск.

habr.com/ru/companies/oleg-bun

#логирование #opensearch #геораспределенность #наблюдаемость #observability #logging #платформа #highload #архитектура #мониторинг

2025-04-21

Балансировка в Angie: Алгоритмы

Сергей Каличев, старший разработчик, Angie Software Это вторая статья из цикла "Балансировка в Angie". Первая была посвящена обзору и общим принципам работы балансировки в продуктах Angie и почти не касалась конкретных алгоритмов. В этой статье разберём алгоритмы балансировки более предметно, с привязкой к характеристикам, обозначенным в первой статье. Если характеристика была подробно рассмотрена в первой статье, то повторяться не буду. В тексте алгоритмы балансировки называются просто "балансировщиками", поскольку каждый алгоритм представлен отдельным модулем.

habr.com/ru/articles/902052/

#angie #балансировка_нагрузки #nginx #balancing #upstream #angie_pro #angie_adc #highload #high_availability #backend

2025-04-18

Архитектурные паттерны для высокой масштабируемости. Часть 3

Что же делать на практике для масштабирования data-bounded (т.е. типичных) приложений? Я опущу длительные рассуждения и представлю свою "поваренную книгу"

habr.com/ru/articles/900302/

#архитектура #архитектурные_паттерны #highload #масштабируемость

2025-04-16

Настройка Apache Kafka для высоконагруженных систем

Apache Kafka является одной из самых популярных платформ для обработки потоков данных, обеспечивая высокую пропускную способность и низкие задержки при передаче сообщений. В высоконагруженных системах, где необходимо обрабатывать миллионы сообщений в секунду, важность правильной настройки Kafka трудно переоценить. Без оптимизации её параметров можно столкнуться с серьёзными проблемами, такими как рост задержек, потеря сообщений и переполнение очередей. Эффективная настройка Kafka критична для обеспечения бесперебойной работы в условиях высокой нагрузки и стабильной обработки данных в реальном времени. Цель этой статьи — рассмотреть основные аспекты настройки Apache Kafka, которые влияют на производительность системы. Мы сосредоточимся на оптимизации параметров брокеров и продюсеров для достижения максимальной пропускной способности, минимальных задержек и надежности. Также рассмотрим важность мониторинга и тестирования системы для своевременного выявления и устранения узких мест.

habr.com/ru/articles/901200/

#apache_kafka #nosql #распределенные_системы #высоконагруженные_проекты #высокая_производительность #highload #высокая_нагрузка #высоконагруженные_приложения #высокая_доступность

2025-04-10

Devhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?

Привет, Хабр! На прошлой неделе мы провели стрим по очередям с Владимиром Перепелицей (эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload). Обсудили выбор брокера или системы очередей 2025м году: что поменялось? NATS, его особенности, перспективы, кого он “подвинет” в первую очередь - Kafka или RabbitMQ? Что нового в свежей Apache Kafka 4? Насколько популярны архитектуры, где, например, Kafka основной storage (IoT, сбор метрик и тд). Под катом - расшифровка стрима.

habr.com/ru/articles/899670/

#kafka #tiered_storage #nats #redis #streaming #kafka_streams #highload #queues

2025-04-02

Apache Kafka и EDA

Архитектура, управляемая событиями (Event Driven Architecture, EDA) получила широкое распространение при разработке программного обеспечения, способного легко масштабироваться и обрабатывать большие объемы данных в режиме реального времени. В этой статье мы подробно рассмотрим EDA и продемонстрируем, как распределенная потоковая платформа Apache Kafka, может быть использована для создания масштабируемых систем.

habr.com/ru/companies/otus/art

#kafka #highload #EDA #итархитектура #Event_Driven_Architecture #Apache_Kafka

2025-03-20

Оркестрация чатов LLM моделей через Redis

🐝 Оркестрация чатов LLM через Redis При работе с языковыми моделями частым явлением являются галлюцинации - когда модель даёт неверных вывод. Это связано с издержками математической модели, которая пораждает важные нюансы, разобранные в данной статье. Статья описывает, что именно нужно сделать, чтобы эффективно бороться с галлюцинациями LLM на проде

habr.com/ru/articles/892866/

#typescript #javascript #python #искусственный_интеллект #агенты_ии #агенты #redis #highload #оркестрация #микросервисы

2025-03-17

Повышение эффективности аналитических баз данных: кейс «Комус» и Arenadata

Хабр, привет! Современные высоконагруженные системы требуют точной настройки и регулярного мониторинга, чтобы обеспечить стабильную производительность в условиях постоянно растущих объёмов данных. Когда речь идёт о крупной аналитической базе данных, развёрнутой в облачной среде, оптимизация её работы становится критически важной задачей. В прошлой статье мы уже рассказывали о типичных ошибках при работе с Arenadata DB (ADB), о том, как их избежать и значительно повысить производительность кластера. Сегодня же поделимся реальным опытом на примере компании «Комус» — лидера в области B2B-ритейла, которая обратилась к Arenadata за проведением комплексного аудита своего кластера ADB. В этой статье мы детально разобрали, как с помощью анализа и оптимизации удалось выявить точки роста, подготовить кластер к текущим и будущим нагрузкам и предложить план улучшений. Мы рассмотрим технические детали аудита, проблемы, с которыми пришлось столкнуться, и эффективные практики, позволившие повысить производительность аналитической базы данных. Что там с нагрузкой на кластер?

habr.com/ru/companies/arenadat

#arenadata_db #оптимизация_базы_данных #etl #высоконагруженные_системы #highload #партиционирование #аудит #data_analysis #базы_данных #аналитические_базы_данных

2025-03-10

От NSX к OVN: 4 года подготовки и успешная миграция облака «на лету»

Привет, Хабр! Меня зовут Владислав Одинцов, я — техлид в K2 Cloud (ex Облако КРОК) и работаю в облаке с 2013 года, администрирую Linux и сети в нём, коммичу в Open Source (Open vSwitch, OVN и другие проекты). С 2015 года занимаюсь облачными сетевыми сервисами. В этой статье по мотивам моего доклада для конференции Highload++ 2024 расскажу об истории смены SDN в публичном облаке с проприетарного VMware NSX на Open Source решение OVN. Ввиду того, что текст статьи, в отличие от выступления на конференции не ограничен по времени, я решил разобрать некоторые моменты более подробно. Таким образом, даже если вы присутствовали на конференции или смотрели доклад в записи, вы, вероятно, сможете найти для себя что-то новое.

habr.com/ru/companies/oleg-bun

#К2_Облако #highload++ #NSX #SDN #OVN #cloud #network_virtualization #open_vswitch #самописный_софт #K2_Cloud

2025-03-07

Добавляем цикл WHILE. Лезем в компилятор GO

На одной из конференций я наблюдал, как наши коллеги реализовывали тернарный оператор в Go с помощью комментариев. Доклад длился всего минут 10, и, честно говоря, я не смог уловить ничего внятного, кроме того, что ребята явно хорошо повеселились. Однако это вдохновило меня разобраться, как работает компилятор Go под капотом. А лучший способ разобраться — это попробовать написать что-то своё. Самым простым и понятным для меня в этом плане показалась реализация цикла while. В этой статье я покажу, что у меня получилось выяснить. Вот примерный результат, к которому мы придём:

habr.com/ru/articles/888704/

#компилятор #go #while #highload #низкоуровневое_программирование

2025-03-04

Балансировка в Angie

Статья посвящена обзору возможностей балансировки в трёх продуктах: Angie, Angie PRO, Angie Load Balancer в составе Angie ADC. Angie - бесплатный продукт с открытым исходным кодом, остальные два - коммерческие продукты. Некогда Angie был создан как форк NGINX. Это первая статья из цикла статей, не знаю пока насколько длинного, о балансировке в Angie. В ней я постарался сделать обзор балансировки в целом, не касаясь конкретных балансировщиков и подробностей их конфигурирования. Вместо этого рассказываю, что между ними есть общего, принципы работы. Во второй статье планирую перечислить все балансировщики продуктов с описанием того, что они могут, для чего предназначены и некоторых их неявных особенностей. Подробностей конфигурирования по-прежнему не будет, это и так описано в документации . А тут хотелось бы скорее целостного обзора, нежели описания всех опций.

habr.com/ru/articles/887490/

#angie #балансировка_нагрузки #nginx #balancing #upstream #angie_pro #angie_adc #highload #high_availability #backend

2025-02-25

Один выгоревший сеньор или два джуна с горящими глазами?

На Highload++ 2024, в рамках конкурса за VR-шлем, попался вопрос из заголовка статьи. Я без сомнений ответил, что сеньор, и вот почему...

habr.com/ru/articles/885604/

#управление_людьми #управление_проектами #itспециалисты #джун_мидл_сеньор #hr #серверная_разработка #мобильная_разработка #фронтендразработка #highload

2025-02-20

Troubleshooting Intermittent PostgreSQL Connection Errors Under Load
PostgreSQL Connection Errors: Troubleshooting strategies for identifying and fixing connection problems, especially under heavy load. Learn practical techniques for building resilient applications.
tech-champion.com/database/db2

2025-02-03

Секреты стройности монолита: подходы по снятию нагрузки с БД

Привет! Меня зовут Олег Кретинин, и я разработчик в команде общих компонентов в Яндекс Еде. Сегодня я расскажу о том, как мы смогли успешно снять нагрузку с нашей базы данных, а также уменьшить её размер. Помимо сервисов, написанных на C++, Go и Python, у нас есть монолит, он же «кора», на PHP, который всё ещё представляет огромную кодовую базу, хранит кучу логики и предоставляет данные по API для 120 сервисов. После обновления фреймворка и версии PHP мы принялись за решение другой проблемы, которая всё чаще и чаще давала о себе знать. В тот период у нас возросло количество инцидентов, связанных с базой данных, и нам нужно было что‑то придумать, чтобы стабилизировать проект максимально быстро. Случалось, что всё сыпалось во время праздничных дней, когда количество заказов увеличивалось на 30–40%, или во время разовых массовых операций, например когда однажды в большую сеть ресторанов добавлялся бесплатный соус к каждой позиции меню.

habr.com/ru/companies/yandex/a

#базы_данных #php #doctrine #mysql #postgresql #оптимизация #монолит #монолитная_архитектура #highload #haproxy

2025-01-22

Асинхронный бег или драматическое ускорение с RoadRunner

Очень много в последнее время слышно замечаний в адрес PHP – мол, медленный, тяжелый, неповоротливый, все давно микросервисы на Go/Java/(нужное подставить) пишут. В этой статье я постараюсь расписать плюсы, минусы и результаты нашей попытки ускорить проект на PHP с использованием RoadRunner.

habr.com/ru/companies/alfastra

#PHP #RoadRunner #webразработка #highload

2025-01-16

Смотрим «под капот» бэкенда изображений в ОК

Ни одна современная соцсеть не обходится без картинок и фото. ОК — не исключение. Но чтобы пользователи соцсети могли загружать свои фото, ставить аватарки и иначе использовать свои изображения, нужны отлаженные механизмы и целый стек обработки на стороне бэкенда. Меня зовут Руслан Измайлов. Я ведущий Java‑разработчик в ОК. В этой статье я хочу показать на конкретном юзкейсе весь путь изображения в соцсети ОК: от его загрузки на портал до скачивания с узлов CDN.

habr.com/ru/companies/odnoklas

#архитектура #cdn #микросервисы #highload #бэкенд

2025-01-11

Архитектурные паттерны для высокой масштабируемости. Часть 1

Эта статья предназначена для разработчиков, архитекторов и технических лидеров , которые ищут способы оптимизации производительности и масштабируемости своих систем. Она поможет понять: Когда стоит использовать более простые подходы (например, шардирование, репликацию, CQRS) вместо того, чтобы сразу переходить к микросервисам. Какие trade-offs возникают при выборе каждого из паттернов или архитектурных решений. Как избежать излишней сложности, которая может быть вызвана преждевременным внедрением сложных архитектур. Цель статьи — помочь вам найти баланс между производительностью, масштабируемостью и сложностью системы . Вместо того чтобы сразу применять микросервисы, мы предлагаем сначала рассмотреть более легкие инструменты, делая выбор осознанно и обоснованно.

habr.com/ru/articles/871500/

#архитектура #архитектурные_паттерны #highload #масштабируемость

Client Info

Server: https://mastodon.social
Version: 2025.04
Repository: https://github.com/cyevgeniy/lmst