Как мы заменили сотни Join’ов на один РТ-процессинг с 1kk RPS

Как связаны скидки, пользовательские пути и огромные массивы данных в Яндекс Рекламе? Привет, Хабр! Меня зовут Максим Стаценко, я работаю с базами данных и яростно в них копаюсь с 2010 года, а в Big Data — с 2016. Сейчас работаю в Яндексе в DWH поиска и рекламы. Мы работаем с ОЧЕНЬ большими данными. Каждый день миллионы пользователей видят рекламу Яндекса, а наши системы обрабатывают огромные объёмы данных. Чтобы реклама работала эффективно, нам нужно в каждый момент времени иметь максимально полную информацию об истории жизни рекламного объявления, а значит нужно каким-то образом передавать данные от одного события к другому внутри рекламной воронки. Расскажу, как мы решали эту проблему.

https://habr.com/ru/companies/oleg-bunin/articles/884560/

#ytsaurus #mapreduce #olap #oltp #антифрод #распределенные_системы #оптимизация #обработка_данных #хранилища_данных

OLAP-системы: многомерная модель данных и её применение. Правила Кодда: библия для разработчиков реляционных баз данных

Для анализа и обработки больших объёмов данных применяются специальные системы — OLAP (Online Analytical Processing). Мы разберём основные принципы их работы, преимущества и примеры использования. Определение OLAP-систем OLAP-системы — это инструменты для анализа данных, которые позволяют быстро и эффективно находить ответы на сложные вопросы. Они находят применение в разных сферах, таких как финансы, производство, розничная торговля и другие. Пример использования OLAP-технологии «В компании, занимающейся продажей цифровых товаров и программного обеспечения, многомерный куб помогает анализировать данные».

https://habr.com/ru/articles/909618/

#olap #olapкубы #данные #данные_в_виртуальной_среде #база_данных #реляционные_субд #реляционные_базы_данных #реляционные_бд #реляционная_база_данных #реляционная_модель_данных

Wow - https://PGConf.DE (Die Deutsche PostgreSQL Konferenz 2025) had an excellent turnout of 347 attendees, the largest ever for PostgreSQL Conference Germany! Our team were proud bronze sponsors for the event, and we're very much looking forward to the 2026 edition of the conference. Till then 🐘

See the wrap-up for the conference: https://www.postgresql.eu/events/pgconfde2025/news/conference-wrap-up-169/

#berlin #germany #tech #techevent #postgresql #postgres #data #datascience #metrics #timeseries #geospatial #analytics #olap #oltp

Почему сложно разработать OLAP-базу данных, если у тебя уже есть OLTP

Это адаптированная для Хабра расшифровка доклада Алексея Дмитриева, директора аналитической платформы YDB DWH, которую создаёт команда Yandex Cloud, — компонента нашей гибридной базы данных YDB для обработки аналитических нагрузок. Когда проект только начинался, у нас было много наработок, которые мы успешно переиспользовали в других проектах. Но оказалось, что OLAP‑нагрузка так сильно отличается от OLTP, что за три года пришлось практически написать по ещё одной реализации многих частей системы. Под катом история о том, почему на рынке так мало гибридных баз данных класса Hybrid Transactional and Analytical Processing (HTAP) и какие сложности стоят на пути их разработки.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/898716/

#ydb #htap #olap #oltp

Почему сложно разработать OLAP-базу данных, если у тебя уже есть OLTP

Это адаптированная для Хабра расшифровка доклада Алексея Дмитриева, директора аналитической платформы YDB DWH, которую создаёт команда Yandex Cloud, — компонента нашей гибридной базы данных YDB для обработки аналитических нагрузок. Когда проект только начинался, у нас было много наработок, которые мы успешно переиспользовали в других проектах. Но оказалось, что OLAP‑нагрузка так сильно отличается от OLTP, что за три года пришлось практически написать по ещё одной реализации многих частей системы. Под катом история о том, почему на рынке так мало гибридных баз данных класса Hybrid Transactional and Analytical Processing (HTAP) и какие сложности стоят на пути их разработки.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/898716/

#ydb #htap #olap #oltp

Hacienda critica proyecto que Chaves convocó para sesiones extraordinarias del Congreso

Esta iniciativa, presentada por Nueva República, crearía una duplicación de funciones, con el agravante de que quitaría ₡1.600 millones anuales a Conape.
La entrada Hacienda critica proyecto que Chaves convocó para sesiones extraordinarias del Congreso aparece prime [...]

#C+T #Chaves #Conape #Conare #Hacienda #MEIC #NoguiAcosta #NuevaRepública #OLAP #País #Universidades #ÚltimaHora

https://semanariouniversidad.com/pais/hacienda-critica-proyecto-que-chaves-convoco-para-sesiones-extraordinarias-del-congreso/

Модели данных в BI-платформах: физика против логики

Сегодня поговорим о том, как устроены модели данных в BI-платформах. Рассмотрим два основных типа моделей данных, которые используются в BI: физическую и логическую. Когда стоит вопрос о выборе BI-платформы, реализация модели данных является одним из ключевых критериев, на который мы обращаем внимание в первую очередь. Важно понимать, как работает модель данных в конкретной BI-системе, так как функционал модели во-многом определяет возможности платформы по работе с данными в целом. Это также поможет выбрать подходящий способ работы с данными в зависимости от задач бизнеса и технических ограничений платформы. Обсудим преимущества каждой модели данных, а также ограничения и способы их частичного обхода.

https://habr.com/ru/companies/axenix/articles/860094/

#bi #olap #моделирование #модели_данных #business_intelligence #biплатформа #superset #power_bi

Environmental #LinkedData published by the Australian Bureau of Meteorology: #Web30 #OpenGov #Gov30 #SemanticWeb #OLAP

1. The 1½ tier architecture pioneered by MotherDuck DB that allows you to join the database in the cloud with the DuckDB #OLAP database running inside the browser as a WebAssembly and show you reports directly in the browser.

ClickHouse is a great option for an analytical (OLAP) columnar database - planning to move your workloads from #PostgreSQL to #ClickHouse for such a purpose? This article summarizes some great data modeling tips you could use along the way...

https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips

#database #olap #analytics #dba #datamanagement

Dumping a #clickhouse db into a file, is just a no brainer for clickhouse and SUPER FAST

1.13 million rows/s., 197.57 MB/s.

I just ran

select * from mytable into outfile 'dump.sql' FORMAT SQLInsert

#db #speed #olap

Introducing pg_duckdb: an #OpenSource project (MIT licensed) that will bring #DuckDB to #PostgreSQL - backed by #DuckDB, #Microsoft, #HydraDatabase, #NeonDatabase, and #MotherDuck. Seems like it'll be a powerful new tool being added to #Postgres' bountiful ecosystem of #extensions.

https://www.theregister.com/2024/08/20/postgresql_duckdb_extension/

#technews #analytics #olap #database

Как организовать анализ большого объема данных в реальном времени

С ростом сложности ИТ-систем и задач аналитики изменяются требования и к возможностям инструментов. Для многих сценариев приоритетными становятся решения, которые могут работать как с историческими данными, так и с теми, которые обновляются в реальном времени. То есть аналитикам все чаще нужен инструмент, работающий на стыке возможностей транзакционных и аналитических (OLAP и OLTP) систем. Меня зовут Николай Карлов. Я директор инновационных проектов в VK Tech. В этой статье я расскажу, что такое HTAP-системы, какие преимущества они предоставляют, и познакомлю с нашей колоночной СУБД Tarantool Column Store, которая реализует HTAP-обработку. Статья подготовлена по мотивам вебинара «Анализируем данные в Real-time». Его вы можете посмотреть здесь .

https://habr.com/ru/companies/vk/articles/832584/

#tarantool #архитектура #отказоустойчивость #olap #oltp #tarantool_column_store

Всё что нужно знать про DuckDB

В статье рассказано, как вам может помочь утка при работе с данными, с OLAP-нагрузкой и как она может плавать в вашем Data Lake. Вы узнаете всё самое важное про DuckDB и сможете попрактиковаться в работе с DuckDB.

https://habr.com/ru/articles/829502/

#duckdb #postgresql #data_engineering #data #db #olap #аналитика_данных #аналитика #анализ_данных #data_lake

Дом, милый дом: нюансы работы с ClickHouse. Часть 2, репликация

Всем привет, меня зовут Пётр. В первой части этого цикла статей мы взглянули на некоторые базовые концепции ClickHouse. В этой же статье продолжим изучать тонкости работы с этой колоночной базой данных и подробно рассмотрим такой аспект как репликация. А ещё разберёмся с сервисами координации Zookeeper и ClickHouse Keeper. Давайте разбираться!

https://habr.com/ru/companies/nixys/articles/826850/

#clickhouse #database_design #replication #cluster #olap #devops #mastermaster #sql #nosq #zookeeper

「 #シングルバイナリ でローカル実行可能、高速な #OLAP 用オープンソースDB「 #DuckDB 1.0」正式リリース」： Publickey

https://www.publickey1.jp/blog/24/olapdbduckdb_10.html

#prattohome #Publickey

シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース
https://www.publickey1.jp/blog/24/olapdbduckdb_10.html

#publickey1 #RDB #データベース #OLAP

Messing about with #ApacheArrow recently. And ended up discovering #glaredb. A #rust embedded db, in the style of #duckdb. 😎

Though I can't say much on it yet, as I haven't yet fully grasped you wouldn't use duckdb instead. 😅

Still. Very much liking competition in this new age #OLAP space. 😄

https://glaredb.com/

Как быстро собрать кубик для простых задач: играемся с TinyOLAP

Привет, Хабр. Сегодняшняя статья будет интересна тем, кто хочет собрать простой OLAP‑куб для анализа данных, чтобы понять, как он устроен и работает. Экспериментировать будем с помощью TinyOLAP, одного из немногих OpenSource движков на Python.

https://habr.com/ru/companies/slsoft/articles/803605/

#olapкубы #olap #TinyOLAP #polymatica

Фреймворк DBGridChart и OLAP-приложение Экспресс_обработка.exe для ведения баз данных и анализа данных

В статье рассматриваются назначение, основные особенности и возможности Фреймворка “DBGridChart” и OLAP – приложения “ Экспресс_обработка.exe” (разработчик – Плещев В.В ., http://vipuskniki.usue.ru/Docum.html - DLL , исходные тексты, описание и демонстрационные примеры). Фреймворк ориентирован на автоматизацию разработки программ на C# по формированию входных табличных и ленточных документов для ведения баз данных c СУБД SQL Server, PostgeSQL, MySQL, Access в режиме непостоянного соединения ADO .NET и немедленного (без промежуточного накопления изменений) добавления, удаления или изменения записей с соблюдением целостности базы данных, а также для формирования заранее нерегламентированных аналитических таблиц и диаграмм для анализа данных, по унифицированной технологии (с использованием управляющих элементов dataGridView и Chart в C# ) с много функциональным, унифицированным, адаптивным и комфортным для пользователей готовым интерфейсом. OLAP -приложение “ Экспресс_обработка.exe” позволяет: вынести описания запросов Select из исходных текстов программ в отдельный текстовый файл, что исключает необходимость в разработке оригинальных программ для ведения баз данных с различными СУБД и формирования аналитических таблиц и диаграмм. Для формирования запросов разработан специальный визуальный конструктор. Информация о таблицах, запросах Select и их полях берется автоматически конструктором из базы данных. Не выходя из приложения, пользователь может оперативно визуальным конструктором запросов формировать, сохранять и использовать запросы для анализа данных и ведения базы данных. Само приложение реализовано средствами Фреймворка “DBGridChart”.

https://habr.com/ru/articles/806777/

#access #sqlserver #postgresql #mysql #framework #olap #charts #datagridview