От минут к секундам, от ClickHouse к StarRocks: путь к real‑time в Hello
Кейс Hello: миграция 100+ млрд строк с ClickHouse на StarRocks. Как ускорить аналитику в 5 раз, снизить расходы на инфраструктуру на 80% и построить real-time DWH. Разбор архитектуры, самописных инструментов валидации и подводных камней перехода.
https://habr.com/ru/articles/970388/
#StarRocks #ClickHouse #Big_Data #OLAP #миграция_данных #realtime_analytics #Data_Lake #Flink #оптимизация #DWH
FlinkSQL в Авито: что внутри и как нам это помогает
Привет! Меня зовут Артемий, я инженер в команде Processing и веду фичатрек по развитию FlinkSQL в Авито . Сегодня я расскажу про инструмент, который мы развиваем в Avito — FlinkSQL. Он использует потоковые данные для аналитики в реальном времени: метрики, временные срезы, A/B-расчеты, поиск аномалий. Все это на привычном SQL, чтобы команда видела картину и могла действовать сразу.
https://habr.com/ru/companies/avito/articles/959382/
#Flink #kubernetes #bigdata #k8s #operator #kubernetes_operator #flink_kubernetes_operator #Apache_Flink #DataOps #dataops_platform
a quick example of using LISTAGG and ARRAY_AGG in #Flink SQL (and I managed to avoid mentioning how much the inconsistent use of underscores in SQL bugs me 😜)
Some suggestions of open source tools for data #analytics for people thinking which tools to use or consider to use.
#Plausible for #web analytics. It's very lightweight and #privacy-friendly, #GDPR-compliant. It's possible to self-host, but their #SaaS offering is affordable and meets needs.
#Metabase (self-hosted) for #business intelligence and organizing business/customer #data. It takes some time to configure and prepare #datasets, but for long-term is worthy.
#Clickhouse for sub-second #OLAP analytics.
Depending on projects/business scenarios, Apache Software Foundation's tools like #Doris, #Airflow, #Druid, #Flink, #Cassandra. They require some time to learn, but it's good idea to be familiar with them.
#dataanalytics #business #opensource #tech
Join us in #Lucerne on October 15, 2025 for an exciting talk by Viktor Gamov about #StreamProcessing with #Apache #Flink!
Stream processing has come a long way. Today’s systems handle strict correctness guarantees, low latency, and terabytes of state. In this talk, Viktor will introduce #ApacheFlink, explain concepts like stateful and event-time stream processing, and explore its APIs and ecosystem.
More info & registration: https://www.jug.ch/html/events/2025/stateful_stream_processing.html
Sure, you can read the docs — or you can tap into insights from real #Flink deployments. Charos Alexandros packs the essential lessons for going from #IDE to #Cluster. Ready to level up your workflows?
Click through: https://javapro.io/2025/05/02/a-tale-of-two-runtimes-setting-up-your-local-java-development-with-flink/
Time series models are #machinelearning models that make forecasts and predictions from ordered, sequential, time-labelled data.
I've shared a demo showing how this makes them a great fit for data on our #Kafka topics, and how #Flink SQL can help orchestrate that
https://taz.de/Lieferfahrer-aus-Suedasien/!6033346/ #Lieferfahrer aus #Südasien
#Indien, #Pakistan #Bangladesch
Die meisten der „#Rider“, die für #Lieferando und Co. radeln, stammen aus #Südasien. Früher seien die #Kolonialisten mit dem Schiff nach #Indien gekommen – „heute bezahlen wir unsere eigenen Flugtickets, um uns hier zu Sklaven zu machen“. #FahrradRider #Kuriere #Indien, #Pakistan #Bangladesch, #Wolt #Flink #UberEats.
https://www.tagesspiegel.de/wirtschaft/lieferando-flink-bolt-uber-wie-prekar-sind-die-arbeitsbedingungen-wirklich-14025368.html (€) Von zehn möglichen Punkten, die nur den Mindeststandard von fairer Arbeit aufzeigen, bescheinigt #Fairwork dem #Lieferdienst #Lieferando nur vier Punkte, #Flink nur drei und #Helpling nur einen Punkt. #Uber, #UberEats, #Bolt und #Wolt erhalten gar keine Punkte von den Wissenschaftler:innen.
Flink App: the only way to stop us forcing ads down your throat is by going outside the app to the system settings and blocking us from there.
Big data processing is key in todays software, so I recently ran an experiment on how Confluent Kafka, Flink, and Tableflow can be used to handle it. The result — a good solution when the conditions are right :)
The full article and code: https://dev.to/gintautasm/creating-data-product-using-confluent-kafka-flink-tableflow-pyiceberg-and-aws-5g5c
Wollte was bei #Flink bestellen. Wundere mich wieso so viele Artikel um 30% reduziert sind.
Tjoar, weil der #Mindestbestellwert um 10€ auf jetzt 25€ angehoben wurde.
Damit ist Flink für mich aus dieser "Ich habe was vergessen zu kaufen und keine Lust mehr in den Supermarkt zu gehen"-Bequemlichkeitskategorie gerutscht.
Dafür sind die Preise einfach auch zu teuer.
Schade.
Wednesday Links - Edition 2025-06-25
https://dev.to/0xkkocel/wednesday-links-edition-2025-06-25-1e7f
#java #jvm #docker #openrewrite #flink
𝗣𝗶𝗰𝗻𝗶𝗰 𝗲𝗻 𝗙𝗹𝗶𝗻𝗸 𝘃𝗮𝗹𝗹𝗲𝗻 𝗼𝗻𝗱𝗲𝗿 𝘀𝘂𝗽𝗲𝗿𝗺𝗮𝗿𝗸𝘁-𝗰𝗮𝗼, 𝘇𝗲𝗴𝘁 𝗿𝗲𝗰𝗵𝘁𝗲𝗿, 𝗺𝗼𝗲𝘁𝗲𝗻 𝗮𝗹𝘀𝗻𝗼𝗴 𝘁𝗼𝗲𝘀𝗹𝗮𝗴𝗲𝗻 𝗯𝗲𝘁𝗮𝗹𝗲𝗻
Online supermarkt Picnic en flitsbezorger Flink moeten zich aan de cao voor supermarkten houden. Dat heeft de rechter beslist. Dat betekent dat ze bezorgers en ander personeel hetzelfde moeten betalen als gewone supermarkten zoals Albert...
Some #Flink lessons only come after painful mistakes. Learn what it really takes to scale from local success to cluster-ready workflows. Charos Alexandros shares real-world experience. Ready to skip the pain?
Start here: https://javapro.io/2025/05/02/a-tale-of-two-runtimes-setting-up-your-local-java-development-with-flink/
#Kafka
Flink v2.1.0 (Knuckles) is out ❤️
What's in?
🔐 password protected links
🗓️ expiration and activation times for link
📏 changeable link length (default-theme)
🌐 accessibility improvements for screen readers (default-theme)
🆔 ability to set custom slug for links
🧮 builds for almost all CPU architectures and OSes (including macOS)
🐋 multi-arch containers (AMD/ARM)
🌐 demo instance
https://flink.is
📋 release notes
https://gitlab.com/rtraceio/web/flink/-/releases/2.1.0
Zum ersten Mal bei #Flink bestellt. Fühlt sich irgendwie falsch an. Hatte einen Gutschein und habe den Großteil davon aus Scham als Trinkgeld gegeben.
Naja, immerhin habe ich jetzt teuren Weißwein und Fonzies und Schokolade. :blobcat_thisisfine:
Forget the textbook examples — this is about #Flink in the wild. Charos Alexandros draws from hands-on projects to help you move from local runs to robust cluster jobs. Want to build real resilience?
🦔 Flink URL Shortener v2.0.0 is out
What's new in 2.0.0? (short excerpt)
🔏 strip tracking query parameters
📈 add stats page
❤️ implement support for custom themes
🔥 introduced Scalar API documentation
🛡️ strict CSP (Content-Security-Policy)
➕ plus everything that was already in 1.0.0
Flink Demo instances:
🌍 https://flink.is/
🌍 https://flink.rtrace.io/
Source Code:
💽 https://gitlab.com/rtraceio/web/flink
happy to hear your feedback ❤️
Отказоустойчивая распределённая архитектура для UX-аналитики
UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов. Также важна возможность обработки данных в реальном времени , чтобы как можно быстрее получать метрики и инсайты об опыте пользователей. В этой статье мы рассмотрим ключевые аспекты такой архитектуры: масштабирование UX-событий, надёжный сбор метрик с устройств (в том числе офлайн), реалтайм-аналитику на основе потоковых технологий (Kafka, Flink, Kafka Streams, ClickHouse) и механизмы гарантированной доставки событий (at-least-once, exactly-once, retry, дедупликация). В результате станет понятно, как правильно спроектированная система UX-аналитики позволяет оперативно находить проблемные места UI, проводить A/B тесты и глубже понимать поведение пользователей.
https://habr.com/ru/articles/897798/
#clickhouse #kafka #flink #kafka_streams #распределенные_системы #отказоустойчивые_системы #аналитика #анализ_данных #анализ_и_проектирование_систем #анализ
