Почему без брокера пакетов NTA/NDR не видит все угрозы в сети

Последние громкие кибератаки показали: для безопасности корпоративной инфраструктуры требуется комплексный подход. Всё большую роль играют системы поведенческого анализа трафика, такие как NTA/NDR, которые позволяют выявлять обход средств защиты периметра и угрозы в сети на ранних стадиях. В статье разбираем, почему эффективность NTA/NDR напрямую зависит от качества данных на входе и почему брокер сетевых пакетов с нужным функционалом становится ключевым фактором успешного внедрения.

https://habr.com/ru/companies/dsol/articles/972516/

#брокер_сетевых_пакетов #pt_nad #nta #сетевая_безопасность #оптимизация_сетевого_трафика #агрегация #дедупликация #буферизация #защита_от_всплесков_трафика

Как насчет улучшить хранение резервных копий, BRO?

Привет, Хабр! Я Михаил Косцов, руковожу практикой вычислительной инфраструктуры и систем резервного копирования в К2Тех. Сегодня сделаю обзор и поделюсь с вами результатами теста еще одного интересного российского решения. Это программная система хранения резервных копий BRO с мощной дедупликацией для быстрого бэкапа и восстановления из него. Мы давно знали о разработке этой платформы, и уговорили вендора предоставить нам возможность «погонять» ее на реальном железе еще до официального релиза. Под катом — проверка производительности в реальных условиях, анализ уже реализованных и перспективных фичей, история с устранением багов, а также разбор аспектов настройки новинки для работы с популярными средствами РК.

https://habr.com/ru/companies/k2tech/articles/950894/

#хранение_данных #резервное_копирование #хранение_резервных_копий #BRO #дедупликация #бэкап #Backup_Recovery_OnTime #тестирование_по

Реализация Outbox паттерна в разных языках программирования

Привет, Хабр! Сегодня мы рассмотрим реализацию Outbox паттерна в разных ЯП. Цель простая: одним атомарным действием обновлять бизнес-данные и фиксировать факт события, а затем надежно доставлять его в брокер. Разберем общую схему, конкуренцию воркеров, ретраи, дедупликацию, метрики и покажу, как это собрать на C#, Java, Go, Python и Node.js.

https://habr.com/ru/companies/otus/articles/942122/

#Outboox #дедупликация #идемпотентность #атомарная_транзакция #ретраи #kafka #распределенные_системы

Реальная безопасность корпоративной сети — роль брокеров сетевых пакетов в анализе угроз

Последние громкие кибератаки показали: привычные средства защиты больше не гарантируют безопасность корпоративных сетей. Сегодня критично важно иметь полную видимость происходящего внутри инфраструктуры, пока действия злоумышленников не привели к серьёзному ущербу для бизнеса. Брокеры сетевых пакетов помогают решить эту задачу: они собирают трафик со всех сегментов сети, очищают его от лишнего и направляют в системы анализа. В статье разбираем, как они работают и почему без них современные средства сетевой аналитики рискуют оставаться слепыми и перегруженными данными.

https://habr.com/ru/companies/dsol/articles/935072/

#брокер_сетевых_пакетов #сетевой_мониторинг #Оптимизация_сетевого_трафика #Дедупликация #TAP_ответвитель #span #зеркалирование #NTA #PT_NAD #Kaspersky_KATA

ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация

ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных

https://habr.com/ru/articles/932502/

#clickhouse #субд #дедупликация #потеря_данных #аналитика #дубли #база_данных

Более 4 000 ГБ за 11 минут: тестируем три сценария резервного копирования с Кибер Бэкап и TATLIN.BACKUP

В формуле идеального решения для резервного копирования данных enterprise-класса много переменных. Одна из ключевых — производительность решения, включая скорость копирования, нагрузку на сеть и потребление вычислительных ресурсов хранилища и источника данных. Инженеры компаний YADRO и Киберпротект протестировали совместную работу системы резервного копирования Кибер Бэкап и системы хранения данных TATLIN.BACKUP в трех сценариях сохранения резервных копий виртуальных машин: с inline-дедупликацией, по протоколу NFS и агентом Tboost на узле хранения. Поделимся результатами тестирования совместимого решения, а заодно предметно поговорим об организации правильной архитектуры с учетом особенностей конкретной инфраструктуры.

https://habr.com/ru/companies/yadro/articles/899074/

#схд #дедупликация #тестирование #срк #резервное_копирование #виртуальные_машины #vmware

Как создать дедуплицирующую файловую систему с нуля? Опыт TATLIN.BACKUP

Как сделать высоконагруженную систему хранения данных в сжатые сроки? Чтобы она не падала через день, не теряла данные и не поглощала ресурсы, как Гулливер провизию в амбаре лилипутов. А еще нужно реализовать дедупликацию и заложить будущий функционал на этапе создания архитектуры. Неплохо бы и стоимость хранения гигабайта снизить до минимума, а скорость передачи данных наоборот, увеличить до второй космической. Меня зовут Ростислав, я эксперт по разработке ПО отдела систем обработки данных в YADRO. Расскажу о вкладе нашей команды в разработку TATLIN.BACKUP: как мы с нуля создали дедуплицирующую файловую систему, а также какие вызовы преодолели за два года разработки и 200 тысяч строк кода.

https://habr.com/ru/companies/yadro/articles/895058/

#дедупликация #rust #СХД #FUSE #nfs #smb #срк

От дедупликации до air gap: как повысить производительность и безопасность бэкапов

В этой статье я поделюсь практическим опытом оптимизации производительности и защищенности систем резервного копирования (СРК). Многие наши клиенты задумываются о том, как построить архитектуру корпоративных бэкапов и при этом оптимизировать затраты. Мы рассмотрим архитектурные особенности системы, поговорим о тонкостях настройки дедупликации, обсудим безопасность резервных копий и проанализируем актуальные решения на российском рынке. Материал основан на реальном опыте внедрений и будет полезен как техническим специалистам, так и руководителям ИТ-подразделений. Особое внимание уделим балансу между производительностью, надежностью и стоимостью владения — трем китам, на которых держится эффективная система резервного копирования. Разберем типичные ошибки, с которыми мы сталкиваемся при проектировании систем, и покажем, как их избежать.

https://habr.com/ru/companies/k2tech/articles/888480/

#бэкапы #резервное_копирование #архитектура_бэкапа #харденинг #дедупликация #кибербэкап #безопасность #защита_итинфраструктуры #хранение_данных

Дедупликация данных в Windows 10 и Windows 11 средствами Microsoft

Сегодня я кратко расскажу вам как включить дедупликацию данных в клиентских ОС - Windows 10 и Windows 11, добавив функционал из Windows Server, причем не какие-то сторонние бинарники, а оригинальные, подписанные файлы Microsoft, которые к тому же будут обновляться через Windows Update. В этой статье не будет описания дедупликации данных, - разве что совсем кратко что это такое, и не будет сравнения решений разных вендоров. Я дам ниже ссылки на достойные, на мой взгляд, статьи других авторов и готов буду отвечать на вопросы, если их зададут ниже в виде комментария или в ПМ. Начать знакомство рекомендую с базовой теории Введение в дедупликацию данных / Хабр (habr.com) от компании Veeam, затем почитать о том, что такое дедупликация Microsoft - Обзор и настройка средств дедупликации в Windows Server 2012 / Хабр (habr.com) - статья моего бывшего коллеги по Microsoft Георгия говорит о том, как настраивается дедупликация NTFS в Windows Server 2012. В последующих изданиях Windows Server 2012R2, 2016, 2019, 2022 и 2025 функционал развивался, появилась поддержка ReFS, стало возможно (неочевидным способом) дедуплицировать системный том, расширились компоненты управления, - но для конечного пользователя все остается там же. Установили одним кликом, включили для диска, забыли. В заключение подготовительной информации - тем кого действительно интересует кроссплатформенные решения и их сравнения, предложу ознакомиться со статьей Илии Карина - Dedup Windows vs Linux, MS снова “удивит”? / Хабр (habr.com) - его не должны заподозрить в рекламе Microsoft, его сравнение подходов, и результат меня самого удивил. У меня на такую большую исследовательскую работу сил и возможностей нет, - почитайте. И имейте в виду, что если вы используете последний Windows 11, то и компоненты дедупликации в нем будут последние, от Windows Server 2025, то есть с еще более впечатляющим результатом.

https://habr.com/ru/articles/822117/

#дедупликация #deduplication #dedup #tweak

Как провести unit-тестирование Flink-операторов: TestHarness

Привет всем, на связи снова Александр Бобряков, техлид в команде МТС Аналитики. Продолжаем цикл статей про фреймворк Apache Flink. Напомню, в предыдущих частях я рассказывал про построение пайплайна Kafka-to-Kafka с промежуточным разделением потока и дедупликацией событий. Также в предыдущей статье я рассказал, как можно динамически определить выходной Kafka-топик для каждого отправляемого события. Начиная с этой статьи начнём разбирать, как тестировать всё наше приложение Flink + Spring. Многие описанные подходы вполне применимы и в любом другом обычном Spring-приложении, поэтому, надеюсь, вы найдёте для себя что-то новое. В данной статье мы рассмотрим, как протестировать stateless- и stateful-операторы Flink с помощью абстракций TestHarness.

https://habr.com/ru/companies/ru_mts/articles/801693/

#java #big_data #data_engineering #распределенные_системы #дедупликация #apache_flink

Как работает дедупликация данных в потоке Kafka-to-Kafka?

Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей. В предыдущей части «Как использовать Spring в качестве фреймворка для Flink-приложений» я рассказывал, как реализовать минимальное Flink-приложение с использованием фреймворка Spring. Мы запустили первую Flink-задачу в поднятом в docker-compose кластере, а также проверили корректность результата по соответствующим логам. В этой статье решим реальную бизнес-задачу дедупликации данных в пайплайне Kafka-to-Kafka.

https://habr.com/ru/companies/ru_mts/articles/786012/

#java #bigdata #распределенные_системы #data_engineering #дедупликация