6 лайфхаков при внедрении СУБД: учимся на чужих граблях

Привет, Хабр! Меня зовут Кирилл Тарасов, я — инженер данных в K2Tех. Наша команда Big Data & Bi работает с 2006 года, мы активно занимаемся Greenplum, Arenadata Hadoop/Streaming и внедряем собственные наработки, такие как ELT Framework. Также с 2012 года мы создаём аналитические системы и хранилища данных, и за это время моя команда столкнулась с самыми разными ситуациями, которые вызывали различные проблемы для реальной продуктивной эксплуатации СУБД. Некоторые из них были связаны с настройками баз данных, другие — с компонентами защиты, а третьи были настолько необычными, что их причиной оказалось исключительно странное и редкое поведение бизнес-логики, с которым разработчики хранилищ данных почти не сталкиваются. В этой статье вы найдете шесть кейсов, которые могут встретиться на любом проекте. Они помогут избежать попадания «ложки дегтя» в ваше хранилище.

https://habr.com/ru/companies/k2tech/articles/970874/

#субд #arenadata #работа_с_данными #хранилища_данных #миграция_данных

StarVault + Postgres Pro: тестирование связки для безопасного управления секретами

Управление секретами — одна из наиболее критичных задач в корпоративной ИТ-инфраструктуре. От того, насколько надежно и централизованно хранятся ключи API, пароли, токены и сертификаты, зависит не только безопасность сервисов, но и устойчивость всего бизнеса. С ростом популярности отечественных решений особое внимание уделяется возможности интеграции с российскими СУБД. В этом материале команда «Онланты» делится опытом тестирования StarVault — системы управления секретами — в связке с Postgres Pro в лабораторных условиях. Цель эксперимента — проверить, насколько Postgres Pro подходит для использования в качестве внешнего хранилища StarVault, оценить производительность и устойчивость конфигурации, а также проработать сценарии аварийного восстановления.

https://habr.com/ru/companies/lanit/articles/965756/

#ланит #онланта #хранение_данных #субд #тестирование #управление_секретами

БД без боли: моя шпаргалка для собесов в Java. Часть 3

Всем привет! Я Senior Java Developer в банке, и за эти годы мне довелось пройти немало собеседований. Где-то было спокойно, где-то — как в допросной, с каверзными вопросами, странными задачами и вечным «а почему так, а не иначе?». В процессе я собрал целую коллекцию тем, которые всплывают снова и снова, особенно когда дело касается баз данных. Сегодня хочу поделиться этим опытом и разобрать вопросы, которые чаще всего задают именно по SQL-базам .

https://habr.com/ru/articles/968532/

#postgresql #java #sql #реляционные_бд #субд #собеседование #собеседование_вопросы #собеседование_в_it #kotlin #базы_данных

Мигрируем с Oracle на Postgres-like СУБД: наш опыт перевода процессов розничного кредитования на рельсы СУБД Pangolin

Привет, Хабр! Меня зовут Валерий Пташкин, я руководитель направления в трайбе «Потребительское Кредитование» в Сбере. Статью я подготовил вместе с моими коллегами — Кириллом Макаровым и Евгением Беляевым. Наш продукт отвечает за хранение клиентских заявок на потребительские кредиты, заявок кредитного потенциала, автокредитов, ипотечного кредитования и так далее. И в этом году мы перевели работу нашего модуля хранения с Oracle на

https://habr.com/ru/companies/sberbank/articles/967240/

#сбер #сбертех #postgres #pangolin #субд #базы_данных

Как работают федеративные системы: рассказываем на примере YDB

YDB — отказоустойчивая геораспределённая СУБД класса Distributed SQL. Она появилась в недрах Яндекса более десяти лет назад и прошла длительный путь от узкоспециализированного хранилища, применявшегося в поисковом движке, до полновесной СУБД общего назначения. Открытие исходного кода YDB в 2022 году стало одной из наиболее ярких опенсорс-инициатив Яндекса. В центре внимания разработчиков YDB долгое время была обработка транзакционной нагрузки, однако в последние годы активно развивается и аналитическое направление. Одна из востребованных аналитических функций — возможность исполнения федеративных SQL-запросов, адресованных к внешним источникам данных. Меня зовут Виталий Исаев, я занимаюсь развитием федеративных возможностей базы данных YDB. В этой статье я расскажу об основных проблемах, возникающих при разработке федеративных систем, и о путях их решения в YDB, а также уделю особое внимание слою коннекторов — компонентов системы, организующих её взаимодействие с внешними источниками данных.

https://habr.com/ru/companies/ydb/articles/962152/

#федеративные_системы #реляционные_субд #субд #ydb

Substrait — lingua franca для баз данных

Substrait — это промежуточный формат (IR) для обмена планами запросов между системами. Он снимает боль диалектов SQL, позволяет делать pushdown в разные бэкенды и избавляет от повторного парсинга/оптимизации федеративных системах и позволяет относительно безболезненно заменять один бэкенд другим. Ниже - зачем он нужен, как устроен и кто поддерживает. Узнать про Substrait

https://habr.com/ru/companies/cedrusdata/articles/964800/

#Substrait #федеративные_запросы #универсальный_IR #СУБД #pushdown #оптимизация #SQL #data_lakehouse #data_lake #trino

Сравнительный анализ эффективности планировщиков СУБД при выполнении различных запросов

Когда мы пишем запрос, СУБД делает гораздо больше, чем просто ищет данные. Она оценивает десятки сценариев выполнения, сравнивает стоимость операций и выбирает оптимальный путь к результату. От этого выбора зависит, будет ли запрос выполняться секунду или минуту. Почему одни системы находят лучший план, а другие выстраивают менее эффективный алгоритм? Попробуем разобраться, как планировщики СУБД принимают решения и что определяет их эффективность.

https://habr.com/ru/articles/963472/

#sql #postgresql #mysql #sqlite #базы_данных #субд #оптимизатор_запросов #планировщик_запросов #database

Российские СУБД в 2025: кто займет нишу Oracle в enterprise-сегменте

Привет, Хабр! Я Роман Севрук, менеджер по развитию решений СУБД в К2Тех. Мы своего рода детективы на технологическом рынке — выслеживаем и разбираем каждое новое решение в сегменте российских баз данных. В этой статье рассмотрим новую подборку баз данных с разными технологическими подходами, которые формируют ландшафт локальной экосистемы российских СУБД. Объясним:

https://habr.com/ru/companies/k2tech/articles/962084/

#субд #обзор_субд #postgresql #ydb #tarantool_db #oracle #open_source

[Перевод] ClickHouse vs StarRocks: сравнение выбора MPP‑баз данных для всех сценариев

Сравнение ClickHouse и StarRocks: архитектура и функциональность, типы join и модели данных (широкая таблица vs звезда), конкурентность, частые обновления (Primary Key, Merge‑on‑Read), администрирование и онлайн‑масштабирование. Приводим результаты бенчмарков SSB и TPC‑H, а также тесты загрузки (GitHub dataset). Все тестовые данные и конфигурации актуальны на 2022 год. Если вам интересно, воспроизведите эксперименты по актуальным инструкциям проектов и поделитесь результатами и замечаниями — это поможет уточнить выводы и обновить сравнение.

https://habr.com/ru/articles/958616/

#clickhouse #starrocks #olap #субд #tpch #ssbench #join #mpp

Эволюция архитектуры баз данных

Система управления базами данных — крайне сложный программный продукт, и рассказ о его архитектуре потянет на целый увесистый том. А поскольку заголовок обещает нам не просто «архитектуру», а даже «эволюцию архитектуры», сегодня остановимся на одном из компонентов, ключевом с точки зрения производительности, — системе хранения данных. А заодно посмотрим, каково место самых современных систем на рынке и почему оно такое. Привет, Хабр! Я Владимир Комаров — программист, администратор, архитектор данных и инфраструктуры, преподаватель и автор. В этой статье по мотивам моего доклада на Highload++ мы посмотрим, как развивались системы управления базами данных: с чего всё начиналось, как система хранения данных СУБД эволюционировала, и в каком состоянии эта область находится сейчас. А заодно узнаем, существует ли идеальная СУБД, и если нет, то как приблизиться к идеалу.

https://habr.com/ru/companies/oleg-bunin/articles/950454/

#СУБД #архитектура #история_it #базы_данных

Рекомендации по обеспечению безопасности системного окружения веб-приложения

Всем привет! Опыт защиты высоконагруженных сервисов, в том числе на базе 1С-Битрикс показывает, насколько критичным с точки зрения обеспечения безопасности веб-приложения является настройка его системного окружения. Защита такого приложения - это не только включение подсистем защиты и своевременные обновления, а комплексный подход, охватывающий все слои ИТ-инфраструктуры. Недостаток в любой ее точке может свести на нет все усилия разработчиков по написанию безопасного кода и привести к серьезным последствиям: от утечки конфиденциальных данных до деградации связанных бизнес-процессов с финансовыми и репутационными потерями. Данный чек-лист будет полезен при формировании внутренних правил безопасного конфигурирования компонентов системного окружения классических веб-приложений, включая продукты 1С-Битрикс. Очевидно, что все предлагаемые рекомендации, реализованные в конкретных настройках, должны быть гармонизированы с эксплуатационной документацией вендоров и протестированы в вашем ИТ-ландшафте.

https://habr.com/ru/companies/bitrix/articles/957592/

#системное_окружение #информационная_безопасность #1сбитрикс #операционная_система #субд #сетевое_оборудование #вебсервер

Динамическое маскирование в СУБД: принципы, сценарии и реализация

Привет, Хабр! На связи Артемий Новожилов, архитектор систем ИБ и автор ТГ-канала Data Security и Дмитрий Ларин, руководитель продуктового направления по защите баз данных, группа компаний «Гарда». С нами вы могли познакомиться по таким статьям как маскирование и Apache Kafka . И сегодня мы хотим продолжить тему маскирования данных. Современные компании обрабатывают огромные объемы конфиденциальных данных: персональные данные (как сотрудников, так и партнеров и клиентов), информацию о клиентах и их заказах, финансовые и бухгалтерские сведения, данные, относящиеся к коммерческой тайне и интеллектуальной собственности, а также технические настройки и доступы. В связи с этим возникают повышенные риски утечки данных, сложности с соблюдением требований законодательства (например, ФЗ-152 и GDPR), угроза инсайдерских атак, а для тестов или аналитики приходится создавать отдельные копии баз данных (БД). Один из эффективных способов защиты данных – динамическое маскирование (Dynamic Data Masking, DDM). Узнать все о динамическом маскировании

https://habr.com/ru/companies/garda/articles/954932/

#маскирование #гарда_маскирование #базы_данных #субд

Что для OLTP хорошо, то для OLAP — смерть: ликбез и выбор серверов

Вот скажите мне, хабравчане, в чём сила? Разве в деньгах? Вот и финдиректор говорит, что в деньгах. А я вот думаю, что сила в данных: у кого данные, тот и сильней! Техгиганты, вроде Google (Alphabet), Meta (признана экстремистской в России) и Яндекса, получают огромную прибыль с монетизации пользовательских данных; менее очевидные Spotify, OZON и т.п. тоже неплохо зарабатывают на данных и рекламе. Банки каждую секунду проводят сотни тысяч транзакций, небольшие интернет-магазины собирают кучу телеметрии, а социальные сети крутят бесконечные алгоритмические фиды, чтобы вы смотрели свою персональную ленту с котиками и мемами. Каждый клик, каждое движение мышкой, каждый свайп или тап по экрану — это запись в базе данных. И да, серверы давно умеют с этим всем работать. И вот есть у бизнеса база данных, зачем тогда изобретать ложку для супа отдельные подходы для работы с данными в ней? Выбираешь что-то оптимальное/лучшее — и радуешься жизни. А вот зачем. Для транзакций в реальном времени нужна одна система — OLTP (Online Transaction Processing) , а для аналитики другая — OLAP (Online Analytical Processing) . OLTP похож на Соника — он всегда в движении, стремительно мчится вперёд, реагирует на каждое препятствие и собирает колечки. А OLTP — отрабатывает каждую транзакцию быстро и предсказуемо. OLAP же напоминает Кирби — он втягивает в себя всё, что попадётся — горы предметов, врагов, целые миры. А OLAP поглощает массивы данных — миллионы и миллиарды строк, чтобы потом переварить их и превратить в осмысленный отчёт. Дропдаун

https://habr.com/ru/companies/servermall/articles/948686/

#oltp #oltpсистемы #olap #olapкубы #htap #серверы #базы_данных #аналитика_данных #itинфраструктура #субд

Очередной бенчмарк VictoriaMetrics против Prometheus

Дело в том, что в какой-то момент, выбирая между Викторией и Прометеусом, я прочитал несколько статей на Хабре. В них речь шла о плюсах Виктории — о том, что она лучше сжимает и хранит данные. Тогда я поверил, однако во время эксплуатации у меня возник ряд вопросов, и я решил провести собственное исследование.

https://habr.com/ru/companies/cinimex/articles/943772/

#cinimex #блог_компании_синимекс #субд #prometheus #базы_данных #хранение_данных #devops #victoriametrics #мониторинг #логирование

Регулярные выражения в PostgreSQL

Регулярные выражения (или regex ) — это особые текстовые строки, используемые для описания поискового шаблона. В PostgreSQL regex становится незаменимым инструментом, особенно при работе с большими объёмами неструктурированных строковых данных. Возможно, у кого‑то есть вопрос: «А для чего нам регулярные выражения в БД?» И мы вам ответим: Регулярные выражения (regex) позволяют описать сложные текстовые шаблоны компактно и гибко.

https://habr.com/ru/articles/946274/

#регулярные_выражения #работа_с_postgresql #postgresql #субд #для_начинающих #для_новичков #posix

От многопоточности в ОС до аспектно-ориентированного программирования: избранное у нас на DIY-площадке

Мы в

https://habr.com/ru/companies/beeline_cloud/articles/942446/

#beeline_cloud #devsecops #программирование #субд #информационная_безопасность

SQL vs NoSQL: Выбор подходящей базы данных для вашего проекта

Одним из самых фундаментальных и критически важных решений при создании современного приложения является выбор технологии для хранения данных.

#DST #DSTGlobal #ДСТ #ДСТГлобал #DSTplatform #ДСТПлатформ #базаданных #SQL #NoSQL #РСУБД #СУБД #PostgreSQL #Redis #MongoDB #JSON #BJSON #WordPress #Drupal #DLE #BigData #Oracle #Database #Microsoft #SQLServer #ACID #Cassandra #Elasticsearch #Apache #Lucene

Источник: https://dstglobal.ru/club/1101-sql-vs-nosql-vybor-podhodjaschei-bazy-dannyh-dlja-vashego-proekta

ClickHouse не тормозит, но теряет данные. Часть 3 — материализованные представления

ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных

https://habr.com/ru/articles/937196/

#clickhouse #база_данных #nosql #потеря_данных #acid #субд #аналитика

Мы пилили DBaaS

Привет, Хабр! Наверняка каждый разработчик или администратор сталкивался с ситуацией, когда для проверки гипотезы или нового функционала срочно нужна «чистая» база данных. Приходится либо искать свободный сервер, либо разворачивать всё локально, тратя время на установку и настройку. А если таких тестовых баз нужны десятки для команды или разных команд? У наших клиентов мы видели целый зоопарк из PostgreSQL разных версий и конфигураций, поддержка которых превращалась в головную боль. Именно эту проблему — создание «одноразовых» и легковесных баз по одному клику — мы и решили. Меня зовут Сергей Гонцов, я занимаюсь развитием СУБД, основанной на PostgreSQL, которая совсем недавно перешла «под крыло» Arenadata и называется теперь Arenadata Prosperity (ADP) . В этой статье расскажу нашу историю, как мы готовили свой DBaaS-сервис . DBaaS по клику

https://habr.com/ru/companies/arenadata/articles/936374/

#postgresql #kubernetes #docker #dbaas #kind #облачная_инфраструктура #контейнеризация #субд #базыданных

Удобный софт для работы с файлами SQLite

Все мы любим SQLite. Это идеальный движок БД, компактная библиотека размером менее 1 МБ , быстрая , автономная и неубиваемая . Более того, это в принципе удобный способ хранения информации , поскольку СУБД выигрывает у файловой системы по скорости доступа, сжатию , функциональности полнотекстового поиска и т. д. Например, она вдвое быстрее файловой системы Ext4 под Linux. SQLite — самая популярная в мире СУБД . Как рассказывалось в статье «Безумные и забавные факты о SQLite» , в мире активно используется более триллиона (!) БД SQLite, это невероятное число. Просто она встроена во все смартфоны, браузеры, операционные системы и бесчисленное число других приложений.

https://habr.com/ru/companies/ruvds/articles/924338/

#ruvds_статьи #SQLite #SQLiteStudio #Trilogy #СУБД #dbeaver #DbVisualizer