Оптимизация инсертов в ClickHouse через Kafka Sink-коннекторы

Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность кластера в ClickHouse. Частые мелкие вставки данных через Kafka Sink-коннектор серьёзно замедляли работу ClickHouse из-за огромного числа отдельных запросов. Путём настройки параметров потребителя Kafka и включения объединения партиций удалось сгруппировать записи в крупные блоки, что резко снизило нагрузку на базу и многократно увеличило её пропускную способность.

https://habr.com/ru/companies/magnit/articles/926834/

#kafka #инсерт #оптимизация_запросов #clickhouse #коннекторы #insert #etl #etlпроцессы #dwh #elt

Wrapping up some Python packaging over the weekend.

https://pypi.org/project/salt-kafka/
https://codeberg.org/kfdm/salt-kafka

Some #kafka states for #saltstack
Has not been extensively tested yet, but seems to work for my small cluster.

Big data processing is key in todays software, so I recently ran an experiment on how Confluent Kafka, Flink, and Tableflow can be used to handle it. The result — a good solution when the conditions are right :)

The full article and code: https://dev.to/gintautasm/creating-data-product-using-confluent-kafka-flink-tableflow-pyiceberg-and-aws-5g5c

#flink #tableflow #kafka #aws

Do I know anyone that is using #Kafka or #Redpanda in production? I’d like to chat a bit. If you or your company offers consulting, I’d also be interested to hear from you.

Tengo en YouTube un tutorial que explica como configurar un cluster #Kafka con KRaft (sin usar ZooKeeper).
Maneja datos de forma distribuida de manera moderna y eficiente!
https://youtu.be/S8rBbeRnasw
#Tutorial #SiguemeYTeSigo #Followback

Nota: imagen generada con IA generativa.

Tipp für #Kafka Fans 😀

https://engelsbergideas.com/podcast/ei-talks/the-trial-at-100-revisiting-kafkas-prophetic-masterpiece/

#Literatur

Tengo publicado en Youtube un tutorial que explica como instalar #Kafka con KRaft (sin ZooKeeper) en Windows.

https://youtu.be/5jQv3rrZndE

#Tutorial #Gratis #SiguemeYTeSigo #Followback

Nota: imagen generada con IA generativa.

For tonight's #MokuMokuKai , did an experiment to make some #kafka modules for #saltstack to manage Kafka topics.

Goal is something like

```yml
my-topic:
kafka.present:
- config:
cleanup.policy: delete
retention.ms: 604800000
```

[Перевод] Мониторинг и управление воркфлоу между взаимодействующими микросервисами

Как получить прозрачность в бизнес-процессах, если архитектура строится на микросервисах и событийных потоках? В своей статье Бернд Рюкер, сооснователь Camunda, делится практическими подходами к отслеживанию и управлению процессами в распределённых системах. Он объясняет, как переход от простого мониторинга событий к полноценной оркестрации помогает лучше понимать происходящее, своевременно реагировать на инциденты и сохранять контроль над сложными бизнес-операциями. В статье разбираются плюсы и минусы различных подходов — от Elastic-подобного мониторинга до использования движков рабочих процессов, а также рассматривается важность баланса между оркестрацией и хореографией.

https://habr.com/ru/articles/926542/

#microservices #orchestration #choreography #workflow #bpmn #process_mining #kafka #camunda #data_lake

KafkIO 2.0.4 released. Make Kafka easy.

https://kafkio.com/download

#bigdata #datascience #kafka #apachekafka

Mike Zaschka kicks off the #reCAP2025 talks in the blue room with his open source #SAPCAP plugin for #Apache #Kafka. Join the live stream via the links at https://recap-conf.dev/. #reCAP #CodeConnect

Tengo publicado en YouTube un tutorial que explica como configurar un cluster #Kafka en máquinas independientes.
Maneja datos de forma distribuida de manera moderna y eficiente!

https://youtu.be/nxPoCtCIBJQ

#SiguemeYTeSigo #FollowBack

Nota: imagen generada con IA generativa.

Kennelijk is het tegenwoordig een overheidstaak om reclame te maken voor pesticiden:

https://www.trouw.nl/duurzaamheid-economie/pesticiden-hebben-een-imagoprobleem-vindt-de-overheid-dus-schakelt-ze-reclamemakers-in~bafdbe9e/

Archive:
https://archive.is/KynCQ

#BBB #VVD #NSC #PVV #TK2025 #Pesticiden #Orwell #Kafka #newspeak #boeren #imagoprobleem

Опыт миграции DWH и сложности, которые при этом возникают

Привет, меня зовут Владимир, я работаю во Flocktory дата-инженером и расскажу о том, как мы в процессе переезда с одного облака на другое построили фиче-стор, управленческую отчетность и о проблемах, с которыми мы столкнулись. В 2022 году у нас появилась задача — нужно было перебраться на новое облако, перетащить порядка петабайта данных и начать использовать новые инструменты. И на фоне этого были еще две задачи:

https://habr.com/ru/companies/flocktory/articles/925720/

#облачные_технологии #миграция_данных #ml #flocktory #kafka #vertica #dwh #iceberg #ydb #trino

𝙹𝚞𝚕𝚢 𝟼, 𝟷𝟿𝟷𝟸
𝚃𝚑𝚎 𝙳𝚒𝚊𝚛𝚒𝚎𝚜 𝙾𝚏 𝙵𝚛𝚊𝚗𝚣 𝙺𝚊𝚏𝚔𝚊, 𝟷𝟿𝟷𝟺-𝟷𝟿𝟸𝟹
#kafka

Und wenn ich dann einmal vor jenem Satze erscheinen würde, hergelockt von jenem Satze, so wie ich zum Beispiel letzte Weihnachten gewesen bin und wo ich so weit war, daß ich mich nur noch gerade fassen konnte, und wo ich wirklich auf der letzten Stufe meiner Leiter schien, die aber ruhig auf dem Boden stand und an der Wand. #Kafka

Tengo publicado en Youtube un tutorial que explica como instalar #Kafka con KRaft (sin ZooKeeper) en #Docker usando Docker Compose.

https://youtu.be/mfvr7GnpJ5M

#Tutorial #Gratis #SiguemeYTeSigo #Followback

Nota: imagen generada con IA generativa.

Практическое использование Kafka в микросервисных приложениях на примере Open Source платформы Ensi

Микросервисная архитектура позволяет разрабатывать высоконагруженные, распределенные и гибкие приложения. Но цена разработки таких систем очень высока, и решая выше указанные проблемы, разработчики сталкиваются с другими проблемами, которых либо нет в монолитных приложениях, либо они не так сильно в них проявляются: сложный обмен данными между сервисами , денормализация и консистентность данных , инвалидация кэша и интеграция с внешними системами . Решать выше перечисленные проблемы можно разными способами. В своей работе в компании Greensight в качестве senior backend developer при разработке заказных проектов на базе Open Source платформы Ensi, я с коллегами перепробовал множество решений. Данная статья описывает практическое использование Kafka в микросервисных приложениях для решения этих проблем.

https://habr.com/ru/articles/925176/

#Kafka #микросервисы #Ensi #ecom #laravel #высоконагруженные_проекты #распределенные_системы #open_source

"What are you crying for? You're tall, I like that; you have long hands which all but obey your will; why aren't you happy about it? Always wear dark cuffs, that's my advice. -No-I flatter you and yet you cry? I think you cope quite sensibly with the difficulty of living."

#Kafka

Can the [ ] Speak?: The Ineffective Speech Act and the Absentee Audience, by Summer Mohrmann

"Speaking is not and never has been the issue. The problem we have—the problem we are complicit in creating—is a refusal to listen."

This is an essay about Palestine. What would it be like to listen?

https://centerforthehumanities.org/can-the-speak-the-ineffective-speech-act-and-the-absentee-audience

#Palestine #FreePalestine #Kafka #literaryCriticism