The problem: Setting up GA + BigQuery = 40+ manual steps, delayed insights, expensive queries
Our solution:
Managed Warehouse with:
One-click deployment
Real-time ClickHouse backend
Usage-based pricing
Built-in feature flag analytics
First 2M events/month free for Pro users. Raw SQL access maintained for power users.
Self-hosters: We're working on bringing Feature Usage Analytics to on-prem deployments too 👀
#OpenSource #DataEngineering #ClickHouse
Это база(!)
Я не верю, конечно, ни в какую демократию (кроме оригинальной афинской 2½ тысячи лет назад, где кворум состоял из трёх с половиной образованных богатых неглупых людей, а остальные были безголосыми рабами и женщинами). Как я уже где-то говорил, существуют исторические свидетельства того, к чему привели первые проявления этой самой демократии: пару тысяч лет назад люди проголосовали распять одного там назаретянина. Поэтому когда в качестве аргумента за ту, или иную парадигму, — я вижу какие-то индексы, голосования и прочую статистически значимую оценку vox populi, меня это раздражает. «Миллионы мух не могут ошибаться» — так себе аргумент. Поэтому мнение «коммьюнити разработчиков» — практически всегда облыжное, поверхностное, и, в целом, неверное. У каждого в руках свой молоток, а про многообразие саморезов люди en masse если и слышали, то краем уха и в качестве анекдота. Если экстраполировать мнение большинства и принять его за аксиому, то в мире будут существовать только банковские приложения и круды с базами данных в качестве узкого места и дополнительными серверами вместо корректного горизонтального масштабирования. Тем не менее, многие даже в своей работе используют инструменты, которым никакая база не требуется, а обеспечение роста гарантируется размазыванием нагрузки по кластеру, а не приклеенными (sticky) сессиями. И я говорю не про десктоп. При чем тут СУБД?
https://habr.com/ru/articles/921598/
#акторная_модель #clickhouse #стейт_менеджер #состояние_гонки
Мета-акторы, готовый скелет микросервиса
Я ненавижу руками создавать бойлерплейты. Любые. Нет, LLM-ки тут тоже не помогут: им надо писать промпты (а потом ещё проверять, что оно там нагенерировало). Мне всегда хотелось, чтобы остов приложения задавался конфигурацией, а я бы только добавлял бизнес-логику. Буквально, в уже сгенерированные для неё места. Именно в такой парадигме написана моя библиотека finitomata , в которой конфигурация конечных автоматов задаётся текстовым представлением ( PlantUML / Mermaid ), а бизнес-логика просто распихивается по колбэкам переходов. Но мне этого оказалось мало, и я решил обернуть в такие же абстракции хранение и подписку на изменения. Так родилась библиотека (пока не опубликована, доступна только в исходниках ) persistomata . Даже не библиотека, а (простите) фреймворк
🌕 擴展我們的可觀測性平臺至 100 拍位元，採用廣泛事件並取代 OTel
➤ 超越通用目的：可觀測性在規模上的演進
✤ https://clickhouse.com/blog/scaling-observability-beyond-100pb-wide-events-replacing-otel
隨著內部系統從 19 PiB 擴展至 100 PB 的未壓縮日誌，以及從約 40 兆行擴展至 500 兆行，ClickHouse 重新設計了其可觀測性平臺。他們發現 OpenTelemetry (OTel) 在處理高吞吐量、高保真度系統日誌時存在瓶頸，因此開發了一個專用的 SysEx 輸出器，並採用了 ClickHouse 原生的 HyperDX UI。此舉不僅大幅提高了效率，降低了 CPU 使用率（減少至 10%），還為打造更全面的可觀測性堆疊 ClickStack 奠定了基礎。
+ 這篇文章詳細說明瞭大規模日誌處理的挑戰，以及針對特定需求自定義解決方案的重要性。
+ 很高興看到 ClickHouse 不斷優化自身的平臺，並分享經驗給社
#工程技術 #可觀測性 #ClickHouse
In today's thrilling episode of Tech Buzzword Theatre, #ClickHouse valiantly scales its #observability platform beyond 100 petabytes, because who doesn't love hoarding logs? 🤣🐘 Meanwhile, we eagerly await the day they release "ClickHouse Cloud for Mars" as AWS, GCP, and Azure aren't enough playgrounds for this petabyte party. 🌌🎉
https://clickhouse.com/blog/scaling-observability-beyond-100pb-wide-events-replacing-otel #TechBuzzword #PetabyteParty #CloudForMars #HackerNews #ngated
ClickHouse scales beyond 100 petabytes of logs
https://clickhouse.com/blog/scaling-observability-beyond-100pb-wide-events-replacing-otel
#HackerNews #ClickHouse #Scalability #BigData #Logs #Observability #DataEngineering
I'm envious that #clickhouse's clickhouse is bigger than my clickhouse 😂
https://clickhouse.com/blog/scaling-observability-beyond-100pb-wide-events-replacing-otel
(I can't recommend this enough, I'm using clickhouse for so many things now...)
⚡ Scale data integrity with immutable #databases
See how #ClickHouse powers fast, audit-ready storage with MergeTree & zero-copy features. Watch Apaichon Punopas share how to build high-performance, immutable data architectures.
🎥 Click here: https://youtu.be/xx7aRD02pEs
Learn how you can prioritize service incident troubleshooting with #opensource by sorting applications by SLO risk in one view (automatically populated with #eBPF! 🐧🐝)
Try it out for yourself: https://t.ly/__UBr
#Linux #DevOps #SRE #Kubernetes #postgresql #clickhouse #Coroot #observability #kafka #mysql
Интеграция с ClickHouse: NiFi vs Airflow
На связи Никита Скирдин, программист 1С компании «Белый код». В прошлой статье мы уже говорили о загрузке данных для системы BI-аналитики. В этой же статье разберем решение задачи с использованием Apache NiFi — системы для автоматизации потоков данных. Хотя NiFi позиционируется как ETL-инструмент (extract transform load), позволяющий внутри себя осуществить необходимые преобразования над поступающими данными, ничто не мешает нам использовать его также для ELT-процесса (extract load transform).
🌕 HyperDX：快速解決生產問題
➤ 簡化生產問題排查流程的開源解決方案
✤ https://github.com/hyperdxio/hyperdx
HyperDX 是一個開源的可觀測性平臺，旨在幫助工程師快速診斷和解決生產環境中的問題。它整合了會話重播、日誌、指標、追蹤和錯誤資料，並以 ClickHouse 和 OpenTelemetry 為基礎。HyperDX 提供直觀的搜尋和視覺化功能，能有效分析異常趨勢並設定警報，並支援多種部署方式和應用程式儀器化。 透過簡化生產數據分析流程，HyperDX 旨在降低使用門檻，使得所有工程師都能輕鬆利用生產遙測資料快速解決問題。
+ 「這個平臺整合了這麼多功能，而且是開源的，真是太棒了！對於小型團隊來說，可以省下很多成本。」
+ 「我一直苦於生產環境問題難以追蹤，HyperDX 看起來可以有效解決這個痛點，希望能盡快試用看看。」
#開源觀察平臺 #可觀測性 #ClickHouse #OpenTelemetry
ClickStack – open-source Datadog alternative by ClickHouse and HyperDX
https://clickhouse.com/use-cases/observability
#HackerNews #ClickStack #ClickHouse #HyperDX #open-source #Datadog #alternative #observability
#Coroot is excited to partner with #Glassflow to share how you can optimize data streaming, storage, and observability using a fully-#FOSS stack (including tools like GlassFlow, #Kafka, #Clickhouse and Coroot!): https://t.ly/oVAOL
#SRE #DevOps #tech #datapipeline #Python #Apache #linux #observability
Как-то я пропустил, что в Clickhouse добавили веб-морду. Теперь не нужно будет кому-то объяснять как пользоваться консолью, пусть "нативно" портит базу. :)
Если кому интересно, но не знал: http://localhost:8123/play
I've been following the #ClickHouse open source project, its amazing speed benchmarks and its adoption in the #observability domain.
Check out this month's OpenObservability Talks episode for a deep dive
https://medium.com/p/2004160b2f5e/
Как мы храним 20000+ метрик и миллиарды комбинаций разрезов в одной таблице
Привет! Меня зовут Влад Божьев, я старший разработчик юнита АБ-тестирования Авито . Один из наших ключевых инструментов – M42, сервис для визуализации метрик. Он позволяет быстро проверять гипотезы, анализировать отклонения и оценивать инициативы. В этой статье мы с вами погружаемся в самое сердце M42 и разбираем, как же там хранятся отчеты по метрикам. Это не просто рассказ, это почти детективная история о том, как мы искали оптимальное решение. В нашем семантическом слое данных больше 20 000 метрик, и есть десятки разрезов для каждой из них. Под катом рассказываю, как мы храним терабайты данных и автоматизируем добавление новых разрезов в отчёт M42.
https://habr.com/ru/companies/avito/articles/913694/
#M42 #bigdata #clickhouse #python #data_analysis #data_engineering #data_structures #storage #adhocанализ #adhoc
Массивы вместо self-join: как писать быстрые запросы в ClickHouse
Привет, Хабр! Я — Максим Шитилов, продуктовый аналитик в каршеринг-сервисе Ситидрайв. Каждый день мы обрабатываем большие объёмы данных, и ClickHouse — один из наших ключевых инструментов. Если вы когда-либо пытались связать события с временными интервалами или рассчитать метрику за определённое окно после события, то наверняка сталкивались с типичной конструкцией на self-join. Вроде бы работает, но запрос становится громоздким, ресурсоёмким и плохо масштабируется. В этой статье я расскажу, как решать такие задачи проще и эффективнее — с помощью массивов, arrayFilter и arrayMap. Покажу, как отказаться от self-join’ов без потери точности, ускорить обработку и упростить код. Примеры — из реальных бизнес-кейсов: телеметрия, аренды, GMV и события, которые нужно связать между собой по времени. Так как схожих решений на просторах интернета я не нашёл, предлагаю назвать этот подход “Array Join Pattern”. Если метод окажется полезным для сообщества, то такой паттерн легко будет найти другим аналитикам и девам.
https://habr.com/ru/companies/citydrive/articles/913866/
#sql #ClickHouse #телеметрия #каршеринг #массивы #каршеринговый_сервис
От таблицы в Excel до собственного инструмента: как мы строили в VK Cloud решение для работы с внешними партнерами
Обмен данными между компаниями-партнерами при реализации совместных проектов — стандартная практика. Но часто есть сценарии, которые требуют особого подхода — например, из-за необходимости подстраивать формат отображения данных под специфику работы с информацией на стороне партнера. Более специфической такая задача становится, если готовых решений под такие запросы нет. С подобной ситуацией сталкивались и мы в VK. Меня зовут Елена Климанова. Я ведущий дата-аналитик в компании VK. В этой статье расскажу, как и почему мы прошли путь от использования excel-файлов при работе с внешними партнерами-вендорами до создания собственного продукта.
https://habr.com/ru/companies/vk/articles/911960/
#vk_cloud #анализ_данных #хранение_данных #BI #clickhouse #airflow #mytracker #redash
