#%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85

2025-10-09

ClickHouse — must-have для аналитика

Большие данные не равняются долгим ожиданиям! Эту простую истину мне раскрыл такой инструмент как ClickHouse, и жизнь заиграла новыми миллисекундами. Если коротко, то это мощная аналитическая база данных, которая умеет проглатывать миллионы строк за секунды и возвращать результат, пока вы не успели сосчитать до трёх: с ClickHouse запросы, агрегации и графики работают в режиме настоящего времени. Расскажу, почему этот инструмент стал для меня настоящей находкой. Статья будет полезна разработчикам, инженерам данных и аналитикам, которые ищут эффективные инструменты для обработки больших объёмов данных.

habr.com/ru/companies/nlmk/art

#clickhouse #аналитика_данных #дашборды #bigdata #база_даных #высокая_производительность #колоночные_субд #отчетность

2025-10-08

Интерактивные карты областей в BI-системе 1С: Аналитика

В этой статье хочу поделиться опытом разработки интерактивных карт областей в "1С:Аналитика" для одного из крупных заказчиков в здравоохранении. Задача стояла визуализировать медицинскую статистику не просто точками на карте, а целыми районами, чтобы руководство могло одним взглядом оценить ситуацию в регионе. "Карты областей" - можно использовать не только для географических карт, но и для схем цехов, планов этажей и любых других векторных макетов.

habr.com/ru/articles/954514/

#bi #визуализация #визуализация_данных #аналитика #аналитика_данных #

2025-09-25

Что для OLTP хорошо, то для OLAP — смерть: ликбез и выбор серверов

Вот скажите мне, хабравчане, в чём сила? Разве в деньгах? Вот и финдиректор говорит, что в деньгах. А я вот думаю, что сила в данных: у кого данные, тот и сильней! Техгиганты, вроде Google (Alphabet), Meta (признана экстремистской в России) и Яндекса, получают огромную прибыль с монетизации пользовательских данных; менее очевидные Spotify, OZON и т.п. тоже неплохо зарабатывают на данных и рекламе. Банки каждую секунду проводят сотни тысяч транзакций, небольшие интернет-магазины собирают кучу телеметрии, а социальные сети крутят бесконечные алгоритмические фиды, чтобы вы смотрели свою персональную ленту с котиками и мемами. Каждый клик, каждое движение мышкой, каждый свайп или тап по экрану — это запись в базе данных. И да, серверы давно умеют с этим всем работать. И вот есть у бизнеса база данных, зачем тогда изобретать ложку для супа отдельные подходы для работы с данными в ней? Выбираешь что-то оптимальное/лучшее — и радуешься жизни. А вот зачем. Для транзакций в реальном времени нужна одна система — OLTP (Online Transaction Processing) , а для аналитики другая — OLAP (Online Analytical Processing) . OLTP похож на Соника — он всегда в движении, стремительно мчится вперёд, реагирует на каждое препятствие и собирает колечки. А OLTP — отрабатывает каждую транзакцию быстро и предсказуемо. OLAP же напоминает Кирби — он втягивает в себя всё, что попадётся — горы предметов, врагов, целые миры. А OLAP поглощает массивы данных — миллионы и миллиарды строк, чтобы потом переварить их и превратить в осмысленный отчёт. Дропдаун

habr.com/ru/companies/serverma

#oltp #oltpсистемы #olap #olapкубы #htap #серверы #базы_данных #аналитика_данных #itинфраструктура #субд

2025-09-05

От Excel до ИИ: зачем бизнесу переходить на Smart Analytics

Вы когда-нибудь открывали папку «Архив_2017», чтобы среди файлов вроде «отчет_финал_второй_финал.xls» найти нечто, от чего зависит судьба проекта? А бывало в вашей компании такое, когда директора спорили на совещаниях: «Интуиция подсказывает — этот клиент уйдёт» — «А у нас цифры говорят, что останется»?

habr.com/ru/companies/teamly/a

#аналитика_данных #bigdata #база_знаний #умный_поиск #teamly

2025-09-03

Что думают технические лидеры и инженеры о будущем с AI: репортаж с IT-конференции GoCloud Tech 2025

Всем привет! С вами Дима Юдин — технический лидер по развитию искусственного интеллекта, а сегодня еще и ведущий трека про AI&ML. Прямо сейчас проходит наша вторая технологическая конференция — Узнать больше

habr.com/ru/companies/cloud_ru

#ai #искуственный_интеллект #llm #ml #машинное_обучение #нейронки #aiпомощники #работа_с_данными #аналитика_данных #gocloud_tech

2025-09-02

40 млн GitHub-репозиториев: открытый датасет метаданных для анализа и обучения

Я собрал датасет метаданных по ~ 40 млн публичных репозиториев GitHub. Внутри — звёзды, форки, лицензии, язык, описание, размер, дата создания и д р. Схема по смыслу максимально совместима с GH Archive/GitHub API. Лицензия — MIT . Ниже — как скачать, что внутри и идеи использования. Датасет: ibragim-bad/github-repos-metadata-40M

habr.com/ru/articles/942930/

#github #dataset #датасет #анализ_данных #аналитика_данных

2025-08-31

Продолжение. Год спустя. «Конец августа 2024. YouTube после замедления, про Rutube, Дзен и VK видео»

Уже по своей традиции, раз в год пишу про YouTube/Rutube. Что изменилось у меня за год, и нашел ли я альтернативу YouTube. Ниже изложена субъективная точка зрения, с которой не обязательно соглашаться.

habr.com/ru/articles/940482/

#youtube #rutube #vk_video #telegram #дзен #видео #аналитика #аналитика_данных #аналитика_соцмедиа

2025-08-27

Автоматизация аналитических процессов с помощью GitHub Actions: практический гайд

Привет, Хабр! Хочу поделиться своей историей того, как я пришла к GitHub Actions в попытках автоматизировать сбор аналитики для личного использования. Статья будет полезна аналитикам, которые хотят автоматизировать сбор и анализ данных для своих небольших пет‑проектов.

habr.com/ru/articles/941444/

#аналитика #аналитика_данных #автоматизация #api #request #петпроект #джун

2025-08-27

Математика и софтскилы: какие навыки нужны начинающему дата-сайентисту

Хабр, привет! Меня зовут Вячеслав Демин, я больше четырёх лет работаю в сфере Data Science. Сейчас руковожу направлением аналитики данных в Сбере и преподаю на курсе

habr.com/ru/companies/yandex_p

#data_science #анализ_данных #аналитика_данных #дата_сайенс

2025-08-25

Построение потока данных в облаке с использованием serverless сервисов

Привет! У бизнеса на практике часто встречается задача построить полноценную аналитику, используя данных из excel, csv файлов. Разнообразие подходов к заполнению и образованию таких файлов может быть разное:

habr.com/ru/articles/939936/

#serverless #базы_данных #python #облако #аналитика_данных #инжиниринг_данных #etlпайплайн #потоки_данных #dwh

2025-08-22

Как мы оптимизировали сбор данных для отчёта маркетологов и придумали новую Google Analytics

В этой статье — история о том, как мы вместе с командой Аналитики цифровых продуктов работали над одной небольшой фичей и в процессе создали собственную альтернативу известной платформе для сбора статистики пользователей сайтов. Пару слов о нашей команде и о том, чем мы занимаемся. У нас 6 инженеров данных и 5 аналитиков — вместе мы помогаем продуктовым командам (тем, кто развивает сайты и приложения) создавать дашборды и отчёты. Они нужны для того, чтобы коллеги видели, как их изменения влияют на бизнес-метрики и поведение пользователей. Вторая часть нашей работы — поддержка маркетологов. Мы помогаем им анализировать эффективность продвижения Спортмастера и других наших брендов: где увеличивать бюджеты, где сокращать и как быстро оценивать результат. В общем, мы те, кто превращает данные в понятные решения. Как появилась задача Наши пользователи — маркетологи — каждую неделю сталкивались с одной проблемой. По вторникам у них проходят планёрки с руководством, где они разбирают результаты прошлой недели: что сработало, что можно улучшить. Им критично важно к этому времени уже иметь готовый отчёт, чтобы успеть проанализировать данные и принять решения по рекламе. Однако наш продукт выдавал отчёты только к 16:00. Кому-то хватает часа на подготовку, кому-то трёх, но пользователи жаловались: они просто не успевают осмыслить данные и сформулировать выводы. Коллеги обратились к нам с запросом: перенести формирование отчетов на 12:00, чтобы оставалось больше времени на анализ. И мы стали думать, как это сделать своими силами без увеличения команды.

habr.com/ru/companies/sportmas

#база_данных #отчётность #хранение_данных #аналитика #аналитика_данных #сбор_данных #дашборды

2025-08-07

Автоматизация коммуникаций: омниканальный подход на платформе BPMSoft

Современный бизнес использует несколько каналов связи для общения с целевой аудиторией. Компания выстраивает эффективное взаимодействие с клиентами через единое пространство общения и продаж. Такой подход обеспечивает омниканальная коммуникация, которая помогает удерживать внимание клиента, повышать его лояльность и выстраивать долгосрочные отношения. Эта стратегия создает целостный пользовательский опыт путем синхронизации всех взаимодействий с клиентом и интеграции бизнес-каналов в одну систему. В статье расскажем, что означает омниканальность, какие преимущества она дает компании. Поэтапно разберем, как провести автоматизацию коммуникаций с помощью

habr.com/ru/companies/bpmsoft/

#crmсистемы #crmтехнологии #омниканальность #омниканальная_аналитика #омниканальный_маркетинг #омниканальная_платформа #омниканальные_crm #работа_с_клиентами #аналитика #аналитика_данных

2025-08-04

Чат-боты и LLM в клиентском сервисе ЮMoney: от быстрой обработки запросов до LLM-прогнозирования оценок CSI

Рассказываем, как искусственный интеллект помогает нам оперативнее помогать пользователям и предсказывает, чего им не хватает в общении с нашей службой поддержки.

habr.com/ru/companies/yoomoney

#искусственный_интеллект #чатбот #машинное_обучение #клиентский_сервис #fintech #аналитика_данных #llm #csi

2025-08-01

Больше, чем аналитика: как Process Mining помогает ритейлу экономить и повышать выручку

Процессная аналитика (Process Mining) — это методология сбора и анализа информации о бизнес-процессах. Она помогает составить реальную схему процессов, разобраться в их работе и найти узкие места, требующие вашего внимания. Также процессная аналитика помогает выявлять «нетипичные» пути прохождения и прогнозировать работу бизнес-процессов. Мы рассмотрим подробнее эту методологию и особенности её применения. А также на нескольких примерах из практики М.Видео-Эльдорадо и Т1 покажем, чем процессная аналитика может быть полезна в компании.

habr.com/ru/companies/mvideo/a

#мвидео #эльдорадо #аналитика #аналитика_данных #аналитика_проекта #аналитика_трафика #аналитика_рынка #аналитика_приложений #аналитика_рынка_труда #аналитика_мобильных_приложений

2025-07-25

Как ИИ-продукты FanRuan трансформируют бизнес-аналитику: инструменты и возможности

Всем привет! Сегодня только ленивый не пишет про искусственный интеллект. Это и понятно: тема не просто популярна, применение ИИ-технологий в различных индустриях стало настоящим трендом современности. Искусственный интеллект меняет подход и к бизнес-аналитике, делая её быстрее, точнее и доступнее. FanRuan активно внедряет ИИ в свои продукты, создавая решения нового поколения, что подтверждается действиями: FanRuan занял 6 место в престижном рейтинге "Top 100 Chinese AI Companies 2025" , опубликованном авторитетным ресурсом EqualOcean и Университетом Цинхуа. Это признание - результат постоянной работы над тем, чтобы сделать искусственный интеллект реальным помощником в бизнес-аналитике. FanRuan активно развивает AI-аналитику (ABI) в FineBI, инструменты позволяют бизнесу в режиме реального времени анализировать данные, находить скрытые закономерности и принимать решения на основе инсайтов, сгенерированных ИИ. Но за этой историей стоит целая экосистема ИИ-продуктов FanRuan, о которой мы, команда Business Intelligence GlowByte, расскажем подробнее.

habr.com/ru/companies/glowbyte

#bi #ai #fanruan #finebi #tableau #powerbi #dashboard #дашборд #dataviz #аналитика_данных

2025-07-24

Как мы разработали гибкий пайплайн для прогноза временных рядов любых метрик

Практически каждый ML‑разработчик сталкивался с прогнозированием временных рядов, ведь окружающие нас сущности и метрики зачастую зависят от времени. Меня зовут Александр Елизаров, я работаю в группе аналитики ключевых показателей в бизнес‑группе Поиска и рекламных технологий. В течение нескольких лет нам приходилось прогнозировать большое количество временных рядов разных доменных областей: от поисковой доли Яндекса до DAU определённых сервисов. Чтобы успешно справляться с этой задачей, мы вместе с коллегами разработали собственный прогнозный фреймворк. В этой статье я расскажу, как создать универсальный и гибкий пайплайн для прогнозирования. Под катом рассмотрим: — правильно выстроенную иерархию данных; — методы консистентного предсказания абсолютных и относительных метрик; — частые проблемы моделей и то, как мы их фиксили; — а также все важные этапы, о которых нельзя забывать, когда работаешь с временными рядами.

habr.com/ru/companies/yandex/a

#machine_learning #яндекс #временные_ряды #машинное_обучение #аналитика_данных #анализ_данных

2025-07-23

[Перевод] 15 лучших библиотек для визуализации данных, о которых должен знать каждый разработчик

Визуализация данных — это не просто способ представить информацию, а настоящий инструмент для открытия новых инсайтов и улучшения принятия решений. В этой статье мы собрали 15 библиотек для визуализации данных, которые стали стандартом в своих областях. Здесь вы найдете как решения для быстрых графиков, так и мощные фреймворки, подходящие для сложных и масштабных задач. Каждая библиотека имеет свои особенности, и в статье мы подробно рассмотрим, какие из них лучше всего подойдут для вашего следующего проекта. Если вы хотите поднять свои визуализации на новый уровень — читайте, разберемся, какие инструменты действительно заслуживают внимания.

habr.com/ru/companies/otus/art

#data_warehouse #хранилища_данных #sql #Аналитика_данных #ETL #OLAP #Data_Engineering #Data_Mining

2025-07-16

Как захватить Вселенную за AGE

В этой статье мы формулируем ключевой мотив внеземной экспансии и устанавливаем «дедлайн» — 450 лет до критического нарастания рисков. Чтобы оценивать такие масштабные проекты, нам нужны универсальные метрики — мы вводим три главных ресурса (массу, энергию и знания), измеряемые показателями nTQ, nEQ и HW. В следующих материалах этой серии мы обобщённо пройдём по этапам колонизации: от выбора места и архитектуры модулей до систем жизнеобеспечения и управления автономными базами; затем предложим дополнительные темы для углублённого разбора каждого шага.

habr.com/ru/articles/928366/

#Космос #аналитика_данных #энергетика #технологии_будущего

2025-07-15

8 способов проверить, что нейросеть уверенно вам врёт

Он подделывает ссылки, выдумывает цифры и меняет мнение в зависимости от контекста беседы. Но есть 8 простых способов поймать цифрового лжеца за руку.

habr.com/ru/articles/927974/

#ии #ии_и_машинное_обучение #нейросети #chatgpt #проверка_данных #проверка #научнопопулярное #аналитика #аналитика_данных

2025-07-15

Что происходит? Анализируем поведение модели и разбираем причины деградации её предсказаний

Сегодня просто написать хорошую модель уже недостаточно: важно постоянно следить за её предсказаниями, так как поведение клиентов меняется со временем, и модель может терять в их качестве. Чтобы эффективно отслеживать её работу, нужна система мониторинга, которая определяет методы и частоту проверок, критерии отклонений. Построение целой системы часто пугает ML-команды объёмом работ — так модели остаются и вовсе без мониторинга. Одна из наших моделей, которая предсказывает отток клиентов, начала выдавать странные результаты. Стоит отметить, что она на тот момент уже не использовалась, поскольку была разработана новая, но старая оставалась как индикатор оттока с устаревшей методологией. Мы решили разобраться в странном поведении и понять, какие признаки нужно добавить в мониторинг, чтобы не упускать важные детали из виду.

habr.com/ru/companies/tochka/a

#модель #деградация #ml #аналитика_данных

Client Info

Server: https://mastodon.social
Version: 2025.07
Repository: https://github.com/cyevgeniy/lmst