Devhands Open Sessions c Владимиром Перепелицей. Очереди в 2025м, что выбрать: Kafka, RabbitMQ, NATS или что-то ещё?

Привет, Хабр! На прошлой неделе мы провели стрим по очередям с Владимиром Перепелицей (эксперт по большим проектам, очередям и Tarantool, Solution Architect в Exness, создатель S3 в VK Cloud, регулярный спикер и член ПК конференций Highload). Обсудили выбор брокера или системы очередей 2025м году: что поменялось? NATS, его особенности, перспективы, кого он “подвинет” в первую очередь - Kafka или RabbitMQ? Что нового в свежей Apache Kafka 4? Насколько популярны архитектуры, где, например, Kafka основной storage (IoT, сбор метрик и тд). Под катом - расшифровка стрима.

https://habr.com/ru/articles/899670/

#kafka #tiered_storage #nats #redis #streaming #kafka_streams #highload #queues

Отказоустойчивая распределённая архитектура для UX-аналитики

UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов. Также важна возможность обработки данных в реальном времени , чтобы как можно быстрее получать метрики и инсайты об опыте пользователей. В этой статье мы рассмотрим ключевые аспекты такой архитектуры: масштабирование UX-событий, надёжный сбор метрик с устройств (в том числе офлайн), реалтайм-аналитику на основе потоковых технологий (Kafka, Flink, Kafka Streams, ClickHouse) и механизмы гарантированной доставки событий (at-least-once, exactly-once, retry, дедупликация). В результате станет понятно, как правильно спроектированная система UX-аналитики позволяет оперативно находить проблемные места UI, проводить A/B тесты и глубже понимать поведение пользователей.

https://habr.com/ru/articles/897798/

#clickhouse #kafka #flink #kafka_streams #распределенные_системы #отказоустойчивые_системы #аналитика #анализ_данных #анализ_и_проектирование_систем #анализ

Kafka Streams ч5: настройка окон, работа с задержанными событиями и suppression

Это моя финальная часть(ну пока что ;)) серии статей про Kafka Streams, прошлые статьи тут [ ноль , один , два , три ] Теперь давайте разработаем приложение, которое считывает: cобытия о пульсе из топика pulse-events .

https://habr.com/ru/articles/870784/

#apache_kafka #kafka_streams #etl #elt #etlпроцессы

Kafka Streams ч4: Stateful processing

В предыдущих статьях мы познакомились с основами Kafka Streams и рассмотрели stateless операции. В этой статье мы погрузимся в stateful processing и создадим приложение для управления запасами в реальном времени. Шаг за шагом мы реализуем функциональность, которая позволит отслеживать состояние запасов товаров, обрабатывать поступления и продажи, а также предоставлять доступ к текущему состоянию через REST API.

https://habr.com/ru/articles/862976/

#kafka #kafka_streams #etl #elt #etlпроцессы

Kafka Streams ч3: Stateless processing

В предыдущих статьях [ ноль , один ] мы рассмотрели основные концепции Kafka Streams и сравнили их со стандартными подходами обработки потоковых данных. В этой части мы сосредоточимся на stateless processing (обработке без сохранения состояния) и поймем как применять различные операции Kafka Streams для решения практических задач. Мы создадим приложение для обработки данных медицинской клиники. Требования к ETL пайплайну: Приложение должно обрабатывать поток JSON-сообщений из входного топика Kafka (patient-records), содержащих информацию о пациентах медицинской клиники. Цель состоит в том, чтобы применять различные stateless операции для трансформации данных и отправлять результаты в выходной топик (clinic-notifications-topic). Это позволит продемонстрировать, как использовать основные возможности Kafka Streams для обработки данных без сохранения состояния.

https://habr.com/ru/articles/858668/

#kafka_streams #kafka #java #etl #elt #etlпроцессы

Kafka Streams ч2: DSL, Processor API

DSL — это то, что делает Kafka Streams таким простым и позволяет подняться на более высокий уровень абстракции.

https://habr.com/ru/articles/854680/

#etl #kafka_streams #kafka #elt #etlпроцессы #etlпайплайн #java

Kafka как хранилище справочников

Хочу поделиться тем, как мы используем kafka для организации оперативного хранилища справочной информации.

https://habr.com/ru/articles/852092/

#kafka #kafka_streams #kafkaconnect #kafka_listener #kotlin

Kafka Streams ч1: Привет мир

Привет сообщество HABR ! =) Начав изучать Kafka Streams, я заметил, что для решения различных задач приходится искать информацию по разным источникам, поэтому со временем накопилось много собственных конспектов. Хочу поделиться ими в виде серии туториалов на Хабре. Несмотря на обилие ресурсов по Kafka Streams и отличные статьи на Хабре [ ноль , один , два ], мне не хватало пошаговых руководств, которые детально раскрывают изъяны и преимущества этой технологии. Поэтому решил создать такой материал, чтобы помочь другим разобраться структурно и последовательно.

https://habr.com/ru/articles/850832/

#kafka_streams #kafka #java #streaming

Scaling our Kafka Streams application apparently exploded the topology. Not sure why that didn't work with the same application.id
#kafka #streams #kafka_streams #topology #kubernetes

Платёжный сервис в банке, часть первая

Привет, меня зовут Александр Читалкин, и я руководитель офиса архитектуры в небольшом российском банке. Хочу рассказать об архитектуре «Платёжного сервиса» – системы оркестрации и проведения платежей. Разработка архитектуры велась в рамках проекта по модернизации существующего в банке решения. Работы были начаты в конце 2022 года и успешно завершились год спустя. Сейчас система находится в промышленной эксплуатации.

https://habr.com/ru/articles/840216/

#платежи #платежная_система #банки #архитектура #kafka #kafka_streams

Приглашаем на Cinimex Spring IT Talk в Самаре (офлайн/онлайн)

Привет, Хабр! После майских праздников мы отправимся в Самару и проведем митап Spring IT Talk ! Встретимся с ИТ-комьюнити и в уютной атмосфере обсудим зоопарк технологий для DevOps-инженера, погрузимся в Kafka Streams и завершим IT-вечер темой преодоления стопперов в профессиональном развитии.

https://habr.com/ru/companies/cinimex/articles/810677/

#синимекс #митап #самара #devops #kafka_streams #java #tshape #развитие_навыков