Зачем Switch построила ЦОД в пустыне, а IBM — в бывшей рудной шахте: 10 необычных локаций дата-центров

Спрос на услуги дата-центров растёт. По прогнозам , к 2030 году мировой рынок ЦОДов достигнет $409,1 млрд. Это обусловлено тем, что всё больше компаний переводят операции в облаках, работают с ИИ, большими данными и требуют от инфраструктуры скорости, надёжности и энергоэффективности. Именно поэтому дата-центры появляются не только в привычных индустриальных зонах, но и в самых неожиданных местах — от подземных шахт до дна океана. Рассмотрим необычные локации и попытаемся выяснить, почему компании выбрали такие базы для серверов.

https://habr.com/ru/companies/ruvds/articles/903240/

#цод #данные #датацентры #облака #серверы #GPU #IT #инфраструктура #ruvds_статьи

Делиться информацией = расти вместе. 4 шага для построения хранилища данных — фундамента базы знаний

Этот текст — эссенция практического опыта креативного специалиста, который помогает бизнесу находить технические решения в области построения базы знаний. Решил поделиться своими заметками об архитектуре хранилища данных ( DWH ) и написать, почему важно хранить корпоративные данные в едином хранилище, как преодолеть внутренние барьеры (вроде страха критики и синдрома самозванца) для начала обмена знаниями и какими техническими и организационными решениями можно сделать этот процесс удобным и полезным. В статье — живой опыт, конкретные советы и немного вдохновения для тех, кто только начинает делиться знаниями внутри команды.

https://habr.com/ru/articles/901544/

#данные #база #знания #навыки #хранилище #обмен_опытом #обмен_знаниями #mvp #базы_данных

Что такое конвейер данных? И почему вы должны это знать

Конвейер данных ( Data Pipeline) - это последовательность шагов для обработки данных. Если данные еще не присутствуют в платформе данных, они поступают в начале конвейера. Затем конвейер обрабатывает данные через ряд этапов, где выход каждого этапа становится входом следующего. Этот процесс продолжается до тех пор, пока конвейер не будет завершен. В некоторых случаях независимые этапы могут выполняться одновременно.

https://habr.com/ru/articles/900640/

#конвейер #данные #пайтон #бэкенд #программирование

Как превратить данные в деньги?

Привет! Все мы слышали, что сегодня данные - это новая нефть. Но вот вопрос: а как мне их использовать? Ты видишь цифры, графики, метрики, а прибыль всё равно стоит на месте. Я когда-то думал, что данные — это просто отчеты для начальства. Пока не понял: данные — это истории . Истории о том, как ваши пользователи радуются, злятся, теряются или готовы платить. И если их «услышать», они принесут реальные деньги. Давайте разберемся, как это сделать — без магии, только логика и немного цифр.

https://habr.com/ru/articles/898054/

#Аналитика #войти_в_it #Деньги #Данные #Собеседования #Продуктовая_аналитика #повышение #как_войти_в_it #Как_стать_аналитиком #Всё_про_данные

Алгоритмы поиска аномалий HBOS и ECOD

Специалистам по машинному обучению часто приходится заниматься поиском аномалий в данных, однако в русскоязычном интернете этой задаче посвящено очень мало материалов. В частности, нет хороших разборов различных алгоритмов поиска аномалий, где были бы описаны их плюсы и минусы. В этой статье частично исправим этот недочет и разберем алгоритмы HBOS и ECOD , а также обсудим особенности их реализации в популярной библиотеке PyOD.

https://habr.com/ru/companies/garda/articles/895148/

#данные #машинное_обучение #алгоритмы #ECOD #HBOS #PyOD #бинарная_классификация #синтетические_данные #информационная_безопасность

Мониторинг инфраструктуры: как избежать простых и неправильных решений

Мониторинг – это не только сбор информации о состоянии, а помощник для всех. И именно поэтому он такой разный. Ведь чтобы помочь пользователям, разработчикам, провайдерам, мониторингу приходится решать очень разные задачи на разных уровнях. Например, пользователям важно, чтобы сервис был доступен именно в тот момент, когда он им потребуется. Провайдеру – чтобы ресурсы работали максимально эффективно. На первый взгляд кажется, что главное для мониторинга – это выбрать ключевые метрики, учесть особенности инфраструктуры и настроить сбор данных, триггеры и алерты. Несомненно, это очень важно для инструмента наблюдения. Но всё же главное в мониторинге — сделать его источником информации для развития и оптимизации. Привет, Хабр! Я — Андрей Камардин, SRE-инженер одной из российских облачных компаний, старший преподаватель в МАИ и эксперт Skillbox по DevOps. Веду канал « Записки про IT ». Для закрытого комьюнити Skillbox IT Experts рассказал, как мы настраивали мониторинг инфраструктуры для принятия решений.

https://habr.com/ru/articles/893142/

#логирование #мониторинг #инфраструктура #devops #grafana #облачные_хранилища #метрики #данные #облачная_инфраструктура #облачное_хранилище

Игра в имитацию: используем Python для генерации синтетических данных для ML и не только

Ручной сбор данных — это всегда боль. Он съедает время, деньги и нервы, особенно в таких областях, как медицина или финансы, где затраты могут быть космическими, а юридические барьеры — непреодолимыми. По прогнозу Gartner, к 2030 году синтетические данные полностью затмят реальные данные в моделях ИИ.Почему? Потому что это работает. Что такое синтетические данные? Это искусственно созданные наборы данных, которые имитируют реальные данные, но не основаны на реальных событиях или людях. Они генерируются с помощью алгоритмов и математических моделей, которые воспроизводят статистические свойства, паттерны и взаимосвязи, присущие реальным данным. По сути, это цифровые двойники реальности, где мы можем контролировать каждый параметр: от распределений до корреляций и аномалий.

https://habr.com/ru/articles/888830/

#python #машинное_обучение #machine_learning #данные #генерация_данных #синтетические_данные #data_science #наука_о_данных #программирование #нейронные_сети

Эти штрафы навсегда отобьют желание вести бизнес: что должен успеть предприниматель до 30 мая, чтобы уменьшить риски

Уже поняли про что речь? Верно, про утечку. Если быть точнее, про утечку персональных данных из компании . Лет 10 назад это понятие не вызывало откровенно негативных чувств. С недавних пор оно неразрывно с тревогой и печалью, а буквально через полтора месяца уже будет навевать гнев и нести опустошение: не только эмоциональное, но и финансовое, ибо новые штрафы за утечку персональных данных вырастут до астрономических значений. Какие штрафы и за что будет выписывать РКН

https://habr.com/ru/articles/891754/

#роскомнадзор #ркн #штрафы #данные #данные_пользователей #персональные_данные #штраф #утечка_данных #уведомление_ркн #уведомление_роскомнадзор

Апи для получения местоположения всего транспорта в СПб:
https://transport.orgp.spb.ru/Portal/transport/internalapi/gtfs

Прочитал тут:
https://habr.com/ru/companies/timeweb/articles/889116/
#апи #данные #геолокация

Tata Technologies подверглась атаке – утечка 1,4 ТБ данных https://zamin.uz/ru/tekhnologii/146228-tata-technologies-podverglas-atake-utechka-14-tb-dannyh.html #кибербезопасность #хакеры #данные

Бизнес-сериал: формируем BI-систему в строительстве почти в прямом эфире. Часть III

Привет, Хабр! Продолжаем серию статей о создании BI-системы в компании Sminex. Сегодня поговорим об автоматизации и оптимизации работы инженеров данных и BI-разработчиков. Работа с данными всегда требует поиска баланса между удобством, скоростью и качеством. В этой статье мы сосредоточимся на удобстве .

https://habr.com/ru/companies/sminex_developer/articles/888920/

#powerbi #данные #dwh #anchor_model

Как превратить сырые данные в аналитический отчет

Делюсь опытом и готовыми решениями по сбору и структурированию сырых данных, превращая их в полезный инструмент для аналитиков.

https://habr.com/ru/articles/888436/

#парсер_сайтов #данные #обработка_данных #хранение_данных #apache_superset #парсинг #mongodb

Яндекс 360 для бизнеса: как единая платформа спасает от цифрового хаоса

«Ребята, так больше нельзя! Пора переходить на что-то, не зависящее от внешних обстоятельств и всегда доступное», — подобные речи я, как сотрудник компании-интегратора, слышу постоянно. Кто-то переехал уже несколько раз, кто-то сидит на VPN, постепенно перебирая неблокируемые протоколы, однако многие ищут и находят отечественные альтернативные платформы. Меня зовут Рустам Еникеев, я работаю системным администратором в интеграторе, переводящем бизнес на онлайн-офис. Проекты, с которыми я чаще всего работаю, — небольшие и средние компании численностью от 50 до 250 человек. И сегодня хочу рассказать о проверенном на практике решении для переезда. Далее

https://habr.com/ru/companies/business_migration/articles/888192/

#миграция #хранение_данных #почта #трекер #jira #данные #хранилища_данных #яндекс

Вашей компании нужен этот сотрудник: объясняю, почему в 2025 нельзя не назначить ответственного за работу с ПД

Не разбрасывайте по офису флешки с персональными данными сотрудников и клиентов, обновляйте политику конфиденциальности и пользуйтесь российскими серверами. Сегодня копилочку ваших знаний о работе с ПД пополнят еще несколько важных мыслей. Речь пойдет не о бездушных серверах и устройствах, а о людях – тех, кто должен работать с информацией. Узнать, кто вправе работать с ПД в 2025 г.

https://habr.com/ru/articles/884466/

#ркн #роскомнадзор #данные #данные_пользователей #данные_в_компании #базы_данных #персональные_данные #сервер #штрафы #проверка

Confluent Kafka: любовь и ненависть в .NET, часть 1

Всем привет! Сегодня расскажу про Confluent Kafka. Ее любят, ненавидят, но мало кто остается равнодушным. О себе Меня зовут Алена, я ведущий разработчик, занимаюсь развитием референсной архитектуры в компании билайн. К основным областям профессиональных интересов можно отнести проблемы распределенных систем, event sourcing и DDD. В двух словах о Kafka Kafka - это распределенная платформа для обработки потоков данных, которая используется для построения высоконагруженных решений и обработки данных в реальном времени. По сути, это система, которая может очень быстро и эффективно передавать ваши события. Kafka может работать как на одной машине, так и на нескольких, образующих между собой кластер и повышающих общую эффективность системы. Событием в Kafka может быть любой тип данных, для Kafka это всего лишь последовательность байт. На картинке представлены сущности, которые участвуют в процессе работы с точки зрения архитектуры.

https://habr.com/ru/companies/beeline_tech/articles/880424/

#net #билайн #kafka #данные #высокая_производительность

Дорожная карта миграции большого хранилища данных

Недавно решали на работе задачу миграции хранилища данных. Оно у нас одно из крупнейших в отрасли, по крайней мере, в нашей стране. Оказалось, что даже на этапе планирования всё не так просто, как кажется. Делюсь проблемами, их решениями и получившейся дорожной картой. Привет, Хабр! Меня зовут Татьяна Сеземина. Я — директор портфеля проектов Т1 ИИ и руковожу проектами разработки и миграции больших хранилищ данных, сейчас мои проекты касаются отраслей ритейла и логистики. Каждый проект миграции длится от года до нескольких лет. Одна из моих команд столкнулась с необходимостью детального планирования длительной многолетней миграции хранилища, вплоть до каждого объекта. Расскажу, почему так произошло и как такую проблему решать.

https://habr.com/ru/companies/oleg-bunin/articles/876306/

#Миграция #импортозамещение #планирование #хранилище_данных #данные #управление_командой #управление_проектами #управление_проектами_и_командой #планирование_проектов #планирование_времени

Озеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышло

Привет, Хабр! Меня зовут Михаил Килинский, я — Senior Developer в проекте Data Warehouse «Лаборатории Касперского». Наша команда строит хранилища данных и разрабатывает ETL- и ELT-процессы, мы пишем на Python, SQL и C# (.NET), а весь код находится в монорепозитории . Гибкие методологии построения хранилищ данных — очень популярный тренд. Причина — возрастающая сложность корпоративных моделей данных и необходимость интеграции большого числа разнородных источников, которые включают в себя не только традиционные СУБД и плоские файлы, но и различные real-time-брокеры сообщений, внешние API и базы данных NoSQL. В этой статье хочу рассказать, как мы изначально хранили данные, почему решили внедрить методологии Data Lake и Data Vault и к чему это привело. Кроме того, покажу, как мы изобрели свой велосипед разработали свой фреймворк по автоматизации работы с помощью модели Data Vault.

https://habr.com/ru/articles/876834/

#dwh #data_warehouse #data_lake #хранилище_данных #корпоративное_хранилище_данных #архитектура_данных #базы_данных #данные #data #data_engineering

Аварии как опыт. Особенности репликации материализованных представлений в ClickHouse

Однажды поздним воскресным вечером ничто не предвещало неприятностей, пока не поступило сообщение о проблемах с репликацией в продуктовом кластере ClickHouse. В статье поделились опытом восстановления сервиса после сбоя и разобрали репликацию материализованных представлений.

https://habr.com/ru/companies/flant/articles/875510/

#clickhouse #репликация #репликация_данных #materialized_view #материализованные_представления #кластер #повреждения_данных #данные

Инновационная Столица-2024: единый центр BI для всего ТК, социология будущего, оптимизация работы контролеров

Привет! Я Ося разработчик. Сегодня я продолжу делиться проектами и решениями, представленными на нашем ярком мероприятии Инновационная Столица-2024. Единый центр BI для всего Транспортного комплекса Алина, руководитель отдела визуализации данных ИЦ, представила преимущества использования дашбордов для упрощения отчетности и принятия решений. Спикер отметила, что на сегодняшний день многие организации сталкиваются с трудностями при сборе отчетов из различных подразделений. Она выделила операционные сложности процессов, такие как разнообразие форматов отчетности, ошибки, фальсификации данных и длительное время, необходимое для подготовки информации. Все это приводит к путанице и замедляет процесс принятия решений. В качестве решения Алина рассказала о проекте перехода к автоматизированной отчетности, который позволит значительно упростить и ускорить обработку данных, - создание единого центра сбора и обработки данных на базе Инновационного центра, а также центра BI для всего Транспортного комплекса. Технические особенности проекта презентовала ее коллега Александра, руководитель отдела системной аналитики.

https://habr.com/ru/articles/874448/

#данные #big_data #big_data_analytics #BI #itкомпании #инновации #инновации_в_it #инновации_в_технологиях #безопасный_транспорт #разработка