Считаем ресурсы под PostgreSQL

Не так давно на моей текущей работе впервые за весь мой немногочисленный 4-летний опыт бэкендера понадобилось для нового микросервиса рассчитывать ресурсы под PostgreSQL для данного сервиса. Раньше для меня данная тема было чем-то, чем занимаются DevOps/DBA и никогда прежде не задумывался и не исследовал информацию о том, как качественно рассчитать необходимые ресурсы, чтобы бизнесу не пришлось переплачивать за очень дорогие железки лишние деньги, чтобы потом оказалось, что от купленных мощностей в реальности используется 20-40% (опыт на нескольких работах показывает, что такое случается ну очень часто). Q: Для кого эта статья? A: Да в целом для любых технических специалистов, которые так или иначе взаимодействуют с технической поддержкой PostgreSQL и которым впервые нужно для новой БД (например, под микросервис) и сформулировать задачу для DevOps команды на поднятие СУБД для вашего сервиса. Q: «Зачем мне это? Ну прикину я на глаз, что здесь нужно 50ГБ диска, 64ГБ RAM и нормально поедет» A: Очень часто в условиях микросервисной архитектуры используется парадигма database per service и в таком случае нельзя просто запросить максимально мощную виртуальную машину. Ресурсы стоят много денег, инфраструктура должна масштабироваться, а значит необходимо уметь определять, какой именно мощности ВМ требуется и какие параметры PostgreSQL следует задать на старте. В статье вы получите пошаговый расчёт диска, RAM, CPU и базовые рекомендации по конфигу PostgreSQL, а также в подарок готовый промпт для ИИ, если захотите делегировать все расчёты нейромозгу. Ну давай считать

https://habr.com/ru/articles/995722/

#PostgreSQL #расчёт_ресурсов #sizing_базы_данных #OLTP #OLAP #shared_buffers #max_connections #connection_pool #PGTune #database_per_service

“Heeey, I’m using that!” 😅

Ants Aasma digs into OLTP lock contention in PostgreSQL—why it happens, how isolation levels, latency, and concurrency control affect it, and how to fix it without breaking correctness.

#PostgreSQL #P2D2 #OLTP #Performance

Benchmarking lead Jeb Miller, who recently joined MariaDB Foundation after over two decades at MySQL, on "Why sysbench‑tpcc results on outdated hardware should not be presented as a valid OLTP vendor comparison" https://mariadb.org/why-sysbench%E2%80%91tpcc-results-on-outdated-hardware-should-not-be-presented-as-a-valid-oltp-vendor-comparison/ #mariadb #opensource #database #mysql #percona #tpcc #oltp

Ah, the classic tale of #OLTP vs #OLAP, now with an extra layer of buzzword soufflé 🥱. Apparently, it's groundbreaking news that OLAP loves big batches, and they cannot lie 🤷‍♂️. But fear not, dear reader, #MooseStack is here to save the day, because setting up #Redpanda #streaming buffers is everyone's idea of a good time 🙄.
https://www.fiveonefour.com/blog/optimizing-writes-to-olap-using-buffers #buzzwords #HackerNews #ngated

Headline: Technological Dinosaurs or Social Dinosaurs?

Me: Grant Fritchey shares many of the opinions I do with regard to OLTP & relational data/databases and the general indifference towards them (thanks in part to ORMs and the cloud).

https://www.sqlservercentral.com/editorials/technological-dinosaurs-or-social-dinosaurs

#SQL
#OLTP
#RDBMS

Что для OLTP хорошо, то для OLAP — смерть: ликбез и выбор серверов

Вот скажите мне, хабравчане, в чём сила? Разве в деньгах? Вот и финдиректор говорит, что в деньгах. А я вот думаю, что сила в данных: у кого данные, тот и сильней! Техгиганты, вроде Google (Alphabet), Meta (признана экстремистской в России) и Яндекса, получают огромную прибыль с монетизации пользовательских данных; менее очевидные Spotify, OZON и т.п. тоже неплохо зарабатывают на данных и рекламе. Банки каждую секунду проводят сотни тысяч транзакций, небольшие интернет-магазины собирают кучу телеметрии, а социальные сети крутят бесконечные алгоритмические фиды, чтобы вы смотрели свою персональную ленту с котиками и мемами. Каждый клик, каждое движение мышкой, каждый свайп или тап по экрану — это запись в базе данных. И да, серверы давно умеют с этим всем работать. И вот есть у бизнеса база данных, зачем тогда изобретать ложку для супа отдельные подходы для работы с данными в ней? Выбираешь что-то оптимальное/лучшее — и радуешься жизни. А вот зачем. Для транзакций в реальном времени нужна одна система — OLTP (Online Transaction Processing) , а для аналитики другая — OLAP (Online Analytical Processing) . OLTP похож на Соника — он всегда в движении, стремительно мчится вперёд, реагирует на каждое препятствие и собирает колечки. А OLTP — отрабатывает каждую транзакцию быстро и предсказуемо. OLAP же напоминает Кирби — он втягивает в себя всё, что попадётся — горы предметов, врагов, целые миры. А OLAP поглощает массивы данных — миллионы и миллиарды строк, чтобы потом переварить их и превратить в осмысленный отчёт. Дропдаун

https://habr.com/ru/companies/servermall/articles/948686/

#oltp #oltpсистемы #olap #olapкубы #htap #серверы #базы_данных #аналитика_данных #itинфраструктура #субд

Row based vs Columnar Storage | Data Engineering Core Concept
https://youtu.be/hYe7yoZXXtU

#DataStorage #olap #oltp #theDataChannel

Как YDB изолирует OLTP и OLAP

Привет, Хабр! Меня зовут Олег Доронин, и мы с командой делаем СУБД Яндекса, которая называется YDB. Каждый транзакционный запрос к базе данных обычно работает с небольшим набором строк и быстро отрабатывает за единицы или десятки миллисекунд, но таких запросов каждую секунду поступает огромное количество. А вот аналитические запросы обычно выполняются не так часто, но каждый из них может требовать обработки вплоть до всех строк в одной или нескольких таблицах. Такие запросы могут выполняться секунды, минуты, или даже часы в зависимости от объёмов данных и сложности запрошенных вычислений. Чтобы эти два принципиально разных паттерна нагрузки не мешали друг другу, гибридным базам данных важно изолировать транзакционную нагрузку от аналитической. Под катом я расскажу, как мы сделали в YDB компоненты для управления смешанной нагрузкой, которые изолируют миллионы RPS от аналитики, и как менеджер смешанной нагрузки устроен внутри.

https://habr.com/ru/companies/yandex/articles/935506/

#workload_manager #ydb #sql #highload #oltp #olap #htap

Как YDB изолирует OLTP и OLAP

Привет, Хабр! Меня зовут Олег Доронин, и мы с командой делаем СУБД Яндекса, которая называется YDB. Каждый транзакционный запрос к базе данных обычно работает с небольшим набором строк и быстро отрабатывает за единицы или десятки миллисекунд, но таких запросов каждую секунду поступает огромное количество. А вот аналитические запросы обычно выполняются не так часто, но каждый из них может требовать обработки вплоть до всех строк в одной или нескольких таблицах. Такие запросы могут выполняться секунды, минуты, или даже часы в зависимости от объёмов данных и сложности запрошенных вычислений. Чтобы эти два принципиально разных паттерна нагрузки не мешали друг другу, гибридным базам данных важно изолировать транзакционную нагрузку от аналитической. Под катом я расскажу, как мы сделали в YDB компоненты для управления смешанной нагрузкой, которые изолируют миллионы RPS от аналитики, и как менеджер смешанной нагрузки устроен внутри.

https://habr.com/ru/companies/yandex/articles/935506/

#workload_manager #ydb #sql #highload #oltp #olap #htap

🌘 兩種尺寸適用大多數情況：PostgreSQL 與 Clickhouse
➤ 關聯式資料庫的韌性與 OLAP 的崛起
✤ https://about.gitlab.com/blog/two-sizes-fit-most-postgresql-and-clickhouse/
這篇文章探討了為何關聯式資料庫並未如預期般衰退，特別是 PostgreSQL 的持續演進。同時，作者也介紹了專為線上分析處理 (OLAP) 設計的 Clickhouse，強調了其在處理大規模分析工作負載上的卓越效能，並指出這兩種資料庫能夠滿足絕大多數的應用需求，打破了「一種尺寸適用所有」的迷思。
+ 很有趣的文章，過去一直以為關聯式資料庫已經過時了，這篇文章讓我對 PostgreSQL 有了新的認識。
+ Clickhouse 的效能確實令人驚豔，對於需要即時分析的應用來說，是個非常好的選擇。
#資料庫 #效能 #系統架構 #OLTP #OLAP

🧙‍♂️ One does not simply build reports on OLTP data…

This week on The Drill Down with Ahmad & James, our special guest
Kristyna Ferris will be presenting a session titled "The Fellowship of the Star Schema: Transforming OLTP Data for Power BI"

🛠️ This session is packed with:
- Clear distinctions between OLTP & OLAP
- Tips for building Power BI-ready models
- A sprinkle of Slowly Changing Dimension magic

💡Whether you’re a data wizard 🧙, business hobbit 🧝‍♀️, or SQL ranger 🏹 — this is your quest.

🗓️ Join us LIVE on LinkedIn | Wednesday, July 2nd @ 2PM Central
https://lnkd.in/eWh4SsBb

#TheDrillDown #MicrosoftFabric #PowerBI #DataEngineering #DataTransformation #DataAnalytics #BusinessIntelligence #StarSchema #OLTP #KristynaFerris

Что такое OLTP: просто о сложном

Часто начинающие разработчики сталкиваются с проблемой непонимания принципов работы устоявшихся решений или технологий. А старшие товарищи простыми словами не могут объяснить, как им кажется «простых истин». Это произошло и с OLTP, так что я решил простыми словами объяснить принципы работы важнейшей для современной экономики технологии. Что же такое OLTP?

https://habr.com/ru/articles/922528/

#oltp #базы_данных #транзакции #Online_Transaction_Processing #оперативная_обработка_транзакций

Как мы заменили сотни Join’ов на один РТ-процессинг с 1kk RPS

Как связаны скидки, пользовательские пути и огромные массивы данных в Яндекс Рекламе? Привет, Хабр! Меня зовут Максим Стаценко, я работаю с базами данных и яростно в них копаюсь с 2010 года, а в Big Data — с 2016. Сейчас работаю в Яндексе в DWH поиска и рекламы. Мы работаем с ОЧЕНЬ большими данными. Каждый день миллионы пользователей видят рекламу Яндекса, а наши системы обрабатывают огромные объёмы данных. Чтобы реклама работала эффективно, нам нужно в каждый момент времени иметь максимально полную информацию об истории жизни рекламного объявления, а значит нужно каким-то образом передавать данные от одного события к другому внутри рекламной воронки. Расскажу, как мы решали эту проблему.

https://habr.com/ru/companies/oleg-bunin/articles/884560/

#ytsaurus #mapreduce #olap #oltp #антифрод #распределенные_системы #оптимизация #обработка_данных #хранилища_данных

I've been following the #ClickHouse open source project, its amazing speed benchmarks and its adoption in the #observability domain.

Check out this month's OpenObservability Talks episode for a deep dive
https://medium.com/p/2004160b2f5e/

#database #analytics #OLTP #opensource

Wow - https://PGConf.DE (Die Deutsche PostgreSQL Konferenz 2025) had an excellent turnout of 347 attendees, the largest ever for PostgreSQL Conference Germany! Our team were proud bronze sponsors for the event, and we're very much looking forward to the 2026 edition of the conference. Till then 🐘

See the wrap-up for the conference: https://www.postgresql.eu/events/pgconfde2025/news/conference-wrap-up-169/

#berlin #germany #tech #techevent #postgresql #postgres #data #datascience #metrics #timeseries #geospatial #analytics #olap #oltp

Денежные переводы в SQL

Переводим деньги в SQL В этом посте я покажу распространённые стратегии обработки переводов между счетами, сосредоточив внимание на согласованности данных, уровнях изоляции и компромиссах. Мы будем использовать упрощённые SQL и Java фрагменты с комментариями.

https://habr.com/ru/articles/908198/

#sql #acid #oltp #isolation #isolation_levels #isolation_level

https://blog.gslin.org/archives/2025/05/08/12389/postgresql-18-%e7%9a%84-async-i-o/

PostgreSQL 18 的 async i/o

#async #database #i/o #input #io #io_uring #linux #oltp #output #performance #pg #pgsql #postgresql #rdbms #read #speed #stream

Почему сложно разработать OLAP-базу данных, если у тебя уже есть OLTP

Это адаптированная для Хабра расшифровка доклада Алексея Дмитриева, директора аналитической платформы YDB DWH, которую создаёт команда Yandex Cloud, — компонента нашей гибридной базы данных YDB для обработки аналитических нагрузок. Когда проект только начинался, у нас было много наработок, которые мы успешно переиспользовали в других проектах. Но оказалось, что OLAP‑нагрузка так сильно отличается от OLTP, что за три года пришлось практически написать по ещё одной реализации многих частей системы. Под катом история о том, почему на рынке так мало гибридных баз данных класса Hybrid Transactional and Analytical Processing (HTAP) и какие сложности стоят на пути их разработки.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/898716/

#ydb #htap #olap #oltp

Почему сложно разработать OLAP-базу данных, если у тебя уже есть OLTP

Это адаптированная для Хабра расшифровка доклада Алексея Дмитриева, директора аналитической платформы YDB DWH, которую создаёт команда Yandex Cloud, — компонента нашей гибридной базы данных YDB для обработки аналитических нагрузок. Когда проект только начинался, у нас было много наработок, которые мы успешно переиспользовали в других проектах. Но оказалось, что OLAP‑нагрузка так сильно отличается от OLTP, что за три года пришлось практически написать по ещё одной реализации многих частей системы. Под катом история о том, почему на рынке так мало гибридных баз данных класса Hybrid Transactional and Analytical Processing (HTAP) и какие сложности стоят на пути их разработки.

https://habr.com/ru/companies/yandex_cloud_and_infra/articles/898716/

#ydb #htap #olap #oltp

Prof. Stonebraker spelling out the real #DBMS challenges: . #NoSQL #NewSQL #CoRelational #BigData #LinkedData #OLTP