Когда база данных становится открытой книгой

Базы данных превращаются в «открытую книгу», когда конфиденциальная информация из них становится доступна злоумышленникам или широкой публике из-за утечек. К сожалению, 2024-2025 годы принесли множество таких утечек – в самых разных отраслях. Согласно данным Роскомнадзора, только в России за 2024 год было зафиксировано 135 утечек баз данных, затронувших более 710 млн записей о россиянах. Лидерами по количеству утечек стали торговый сектор и государственные организации. В мире тенденция схожая: глобально число утечек и скомпрометированных записей бьёт рекорды. В этой статье будут разобраны недавние громкие кейсы утечек по секторам (энергетика, госсектор, e-commerce и др.), проанализируем технические причины: от открытых портов NoSQL и слитых резервных копий до уязвимых CI/CD-пайплайнов, а также практические рекомендации, как не допустить, чтобы ваша база данных стала общедоступной библиотекой. Мы в Security Vision также рассматриваем эти задачи как ключевые в разработке решений нового поколения, в том числе в области автоматизации защиты баз данных и безопасной разработки.

https://habr.com/ru/companies/securityvison/articles/959320/

#база_данных #утечки

Самая быстрая БД на Диком Западе

Всем привет! Пополняю интернеты “еще одной” статейкой с бенчмарками популярных СУБД. Захотелось выяснить, каков оверхед на протокол, работу с сетью и клиентскими соединениями в самом простом кейсе - когда таблица либо совсем пуста, либо данных так мало, что все они в памяти. Бенчмарк на Rust. Я попросил написать его Chat-GPT, и он отлично справился. Исходник здесь - https://github.com/geneopenminder/rust-db-bench Сравнивал с официальными scylla-bench и redis-bench - результаты схожи. Для теста я специально использовал слабую железку - Orange Pi 3b. Это китайский аналог малинки. Захотелось узнать, на что она способна.

https://habr.com/ru/articles/948386/

#бенчмарк #база_данных #rust #postgresql #mongodb #cassandra #scylladb #redis

Визуализация обмена с 1С: синхронизация заказов, остатков и контрагентов для e-commerce

Привет! Это Илья, руководитель проектов в Webest. Расскажу о том, как мы построили обмен между интернет-магазином и 1С. Реализовали двусторонний обмен через очереди, ввели приоритеты для разных типов данных и сделали прозрачный мониторинг в админке Orchid.

https://habr.com/ru/articles/945736/

#Интернетмагазин #обмен_очередями #визуализация_обмена_остатками #orchid #база_данных

Глобальные индексы для секций в Postgres Pro: глобальная уникальность без костылей

Когда фильтра по ключу секционирования нет, локальные индексы превращаются в марафон по секциям. Новый gbtree держит единый каталог ключей и прыгает к строке по PK; покажем алгоритм, реальные цифры и ограничения (PK обязателен, ON CONFLICT не работает) — и где это решает боль в CRM/биллинге.

https://habr.com/ru/companies/postgrespro/articles/941008/

#gbtree #база_данных #postgersql #глобальные_индексы #секционирование #секционирование_таблиц #postgres_pro

Генерация тестовых данных на Python: руководство по библиотеке Faker

Привет, Хабр! Думаю, многие сталкивались с необходимостью генерации тысячи пользователей. Вручную - не вариант, слишком долго. В данной статье разберу библиотеку Faker. Это генератор реалистичных тестовых данных, который превращает заполнение базы и создание демо-контента из рутины в дело пары строк кода. В статье продемонстрирую, как генерировать тысячи правдоподобных записей на русском, заполнять БД и создавать собственные типы данных для ваших проектов.

https://habr.com/ru/articles/940056/

#Python #Faker #генерация_данных #тестирование #автоматизация #скрипт #библиотека_python #библиотека #база_данных #бд

Как мы оптимизировали сбор данных для отчёта маркетологов и придумали новую Google Analytics

В этой статье — история о том, как мы вместе с командой Аналитики цифровых продуктов работали над одной небольшой фичей и в процессе создали собственную альтернативу известной платформе для сбора статистики пользователей сайтов. Пару слов о нашей команде и о том, чем мы занимаемся. У нас 6 инженеров данных и 5 аналитиков — вместе мы помогаем продуктовым командам (тем, кто развивает сайты и приложения) создавать дашборды и отчёты. Они нужны для того, чтобы коллеги видели, как их изменения влияют на бизнес-метрики и поведение пользователей. Вторая часть нашей работы — поддержка маркетологов. Мы помогаем им анализировать эффективность продвижения Спортмастера и других наших брендов: где увеличивать бюджеты, где сокращать и как быстро оценивать результат. В общем, мы те, кто превращает данные в понятные решения. Как появилась задача Наши пользователи — маркетологи — каждую неделю сталкивались с одной проблемой. По вторникам у них проходят планёрки с руководством, где они разбирают результаты прошлой недели: что сработало, что можно улучшить. Им критично важно к этому времени уже иметь готовый отчёт, чтобы успеть проанализировать данные и принять решения по рекламе. Однако наш продукт выдавал отчёты только к 16:00. Кому-то хватает часа на подготовку, кому-то трёх, но пользователи жаловались: они просто не успевают осмыслить данные и сформулировать выводы. Коллеги обратились к нам с запросом: перенести формирование отчетов на 12:00, чтобы оставалось больше времени на анализ. И мы стали думать, как это сделать своими силами без увеличения команды.

https://habr.com/ru/companies/sportmaster_lab/articles/939296/

#база_данных #отчётность #хранение_данных #аналитика #аналитика_данных #сбор_данных #дашборды

Shardman. Краткое пособие архитектора

Миф о волшебном параметре fast=true жив и здоров, но в распределённых СУБД появляется ещё один — distributed=true. Ни тот, ни другой не спасут, если не пересобрать схему, ключи шардирования, последовательности, запросы и процесс миграции. Мы трезво проходим по всем углам: от выбора ключей и colocated-таблиц до CDC, топологий и ограничений внешних ключей; показываем, где действительно ускорится, а где станет дороже — и что с этим делать.

https://habr.com/ru/companies/postgrespro/articles/939396/

#шардирование #шардинг #postgresql #база_данных #postgres_pro #shardman #postgres_pro_shardman

Postgres Pro TDE — безопасность и производительность

TDE бывает разным: от шифрования на уровне TAM до полного кодирования всего кластера и меток tablespace. Мы сравниваем Percona, Cybertec/EDB, Pangolin/Fujitsu и показываем, где теряется производительность и надёжность, а где появляется гибкость. Дополнительно замдиректора департамента разработки продуктов Василий Бернштейн и старший инженер по ИБ Владимир Абрамов расскажут о том, как в Postgres Pro Enterprise реализована ротация ключей без полного переписывания таблиц и почему выбран AES‑GCM.

https://habr.com/ru/companies/postgrespro/articles/937246/

#postgres_pro_tde #tde #шифрование_данных #шифрование_информации #защита_информации #защита_данных #защита_персональных_данных #база_данных

ClickHouse не тормозит, но теряет данные. Часть 3 — материализованные представления

ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных

https://habr.com/ru/articles/937196/

#clickhouse #база_данных #nosql #потеря_данных #acid #субд #аналитика

ClickHouse не тормозит, но теряет данные. Часть 2 — от буферных таблиц к Kafka Engine

ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных

https://habr.com/ru/articles/934320/

#clickhouse #kafka #база_данных #buffer #потеря_данных #acid #транзакционность #батчинг #стриминг_данных

ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация

ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных

https://habr.com/ru/articles/932502/

#clickhouse #субд #дедупликация #потеря_данных #аналитика #дубли #база_данных

Секционируй и властвуй: делимся нетайными знаниями о секционировании в Postgres Pro

В арсенале Postgres Pro есть мощное, но порой недооцененное оружие — декларативное секционирование. Оно только звучит сложно, а на деле позволяет элегантно «нарезать» гигантские таблицы, превращая их из неповоротливых монстров в управляемые и быстрые структуры. Делимся нетайными знаниями, которые помогут оптимизировать запросы и упростить жизнь.

https://habr.com/ru/companies/postgrespro/articles/911492/

#postgresql #postgres #секционирование #патрицирование #база_данных #postgres_pro #базы_данных #базы_данных_для_высоких_нагрузок

OLAP-системы: многомерная модель данных и её применение. Правила Кодда: библия для разработчиков реляционных баз данных

Для анализа и обработки больших объёмов данных применяются специальные системы — OLAP (Online Analytical Processing). Мы разберём основные принципы их работы, преимущества и примеры использования. Определение OLAP-систем OLAP-системы — это инструменты для анализа данных, которые позволяют быстро и эффективно находить ответы на сложные вопросы. Они находят применение в разных сферах, таких как финансы, производство, розничная торговля и другие. Пример использования OLAP-технологии «В компании, занимающейся продажей цифровых товаров и программного обеспечения, многомерный куб помогает анализировать данные».

https://habr.com/ru/articles/909618/

#olap #olapкубы #данные #данные_в_виртуальной_среде #база_данных #реляционные_субд #реляционные_базы_данных #реляционные_бд #реляционная_база_данных #реляционная_модель_данных

[Перевод] 5 главных критериев выбора инструмента для мониторинга баз данных

Эволюция цифровых технологий требует постоянного внимания к контролю за состоянием баз данных. Современные корпорации активно используют обширные информационные инфраструктуры, полагаясь на эффективную эксплуатацию и защиту своей информационной архитектуры. Выбор правильного инструмента мониторинга играет важную роль в снижении рисков и повышении устойчивости к внешним угрозам. Далее представлен перевод статьи “5 things to look for in a database monitoring tool” , который подготовил специалист «Автомакон» специально для русскоязычной аудитории. Исходная публикация посвящена ключевым критериям подбора оптимального инструмента для мониторинга баз данных крупными организациями, столкнувшимися с необходимостью обработки больших объёмов данных и увеличения сложности информационных систем.

https://habr.com/ru/articles/906874/

#база_данных

Оптимальная настройка Postgres Pro в один клик с pgpro_tune

Представьте знакомую ситуацию: утро понедельника, задачи сыпятся одна за другой. Перед вами задача срочно развернуть новый сервис на базе Postgres Pro. Или, возможно, в эти выходные вы обновили железо своего сервера базы данных, увеличили количество CPU и объём RAM. Расскажем, как быстро привести СУБД в состояние, оптимально подходящее новому оборудованию и текущим нагрузкам.

https://habr.com/ru/companies/postgrespro/articles/904462/

#настройка #оптимизация #база_данных #postgresql #postgres_pro #postgres_pro_enterprise #postgres_pro_standard

Что, если бы Аль Капоне управлял мафией как IT-компанией?

Управлять мафией и развивать IT-бизнес — во многом схожие задачи. И там, и там нужно быстро меняться, искать новые подходы и выигрывать конкуренцию. Только в IT для этого есть инструменты, которых не было у Капоне. Попробуем переписать историю чикагского гангстера с помощью технологий и хорошего менеджмента. Спасти Капоне

https://habr.com/ru/companies/minerva_media/articles/879120/

#управление_проектами #управление_командой #управление_персоналом #управление_продуктом #менеджмент #база_знаний #база_данных #ошибки_управления #ошибки_в_бизнесе #технологии

Словари в Python: обзор и как пользоваться

Словарь ( dictionary или dict ) — это неупорядоченная (в отличие от списка) структура данных в языке программирования Python, которая имеет вид «ключ — значение». Говоря проще, любой словарь напоминает записную книжку без определенного порядка, где каждый номер (значение) соотнесен с конкретным именем (ключ).

https://habr.com/ru/companies/timeweb/articles/854382/

#timeweb_статьи #pithon #dictionary #словарь #программирование #база_данных #функции #dict

Не тимбилдингом единым: как наладили коммуникации в команде с помощью базы знаний

Объем задач растет, как снежный ком, а разработчики и аналитики переводят друг на друга стрелки, потому что никто не понимает, что от них хотят. Обстановка обостряется до предела и грозит превратиться в поле битвы. Такая ситуация произошла несколько лет назад, когда работать по старой схеме стало невозможно. Всем привет! На связи мы, Мария и Яна из самой драйвовой IT-команды «БАРС Груп». В этой статье расскажем, как создавали инструмент эффективного взаимодействия в IT-команде — базу знаний постановок задач, которые реализует проектная команда. По порядку разберем, почему мы решили создать шаблон, как разрабатывали и как доводили до ума после внедрения и, конечно, о результатах.

https://habr.com/ru/articles/809463/

#база_знаний #база_данных

Как на стоимость брендов влияет утечка информации?

Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое другое). Подобные материалы интересны хакерам и иным злоумышленникам: правильно обработав эту информацию, всегда возможно, используя инструменты социальной инженерии, получить доступ к деньгам клиента.

https://habr.com/ru/companies/onlinepatent/articles/802029/

#база_данных #бренд #персональные_данные

Дом, милый дом: нюансы работы с ClickHouse. Часть 1

Всем привет, меня зовут Пётр, я инженер компании Nixys. На современных проектах используется огромное разнообразие баз данных: реляционные, ключ-значение, документоориентированные. Особое место среди них занимают колоночные базы данных, ярким представителем которых является ClickHouse . Это мощный инструмент, который способен обрабатывать миллиарды строк в секунду при минимальном времени ответа. Однако, для максимальной эффективности ClickHouse необходимо понимать ряд фундаментальных моментов для того, чтобы использовать его по назначению. В этой серии статей мы разберем особенности работы ClickHouse, которые помогут в выжимании максимума из этой базы. И сегодня начнём с фундаментальных теоретических моментов, чтобы составить максимально полное общее впечатление, которое поможет нам в дальнейшем.

https://habr.com/ru/companies/nixys/articles/801029/

#clickhouse #columnoriented #nosq #база_данных #olap #opensource #субд #колонки #cap_теорема