Сравнение LLM по навыку анализа бизнес-процессов

Всё чаще аналитики бизнес-процессов используют LLM для поиска неэффективностей. Звучит логично: большие языковые модели умеют искать паттерны, а Process Mining как раз об этом. Но на практике результаты пляшут так, что становится понятно: не все LLM одинаково полезны для операционной аналитики. Решил разработать методологию тестирования LLM на предмет релевантности использования для задач анализа процессов. Было подготовлено три теста, имитирующих реальные сценарии анализа: Тест 1. Сырой лог событий. Сгенерировал журнал в классическом формате: id экземпляра процесса, название этапа, временная метка завершения. Всего 20,5 тысяч записей, 1,6 тысячи экземпляров процесса. Внутри спрятал 200 типовых аномалий: зацикливания, bottle neck, избыточные этапы и т.д. Модель получала таблицу «как есть» - без подсказок и форматирования. Оценка: +1 балл за верно найденный кейс, -0,25 за ложное срабатывание. Итог рассчитывался как процент от максимально возможных 200 баллов. Если модель трижды молчала или выдавала «всё идеально» или какую-то ерунду, то стравился ноль. Тест 2. Регламент с шумом. Текстовый документ с описанием процесса: этапы, роли, условия переходов. Но также там было добавлено и много "воды" слабо относящейся к самому процессу. К этом тексте "регламенте" было спрятано 100 неэффективностей. Та же система баллов, рассчитывалась доля найденых кейсов, за галлюцинирование штрафы по минус 0,25 балла за каждую галлюцинацию. Тест 3. Визуальная схема. PNG с диаграммой BPMN: 20 блоков, около сотни переходов. На схеме было 20 логических ошибок: циклы без условия выхода, неиспользуемые шлюзы, избыточные маршруты, повисшие этапы и т.д.. Проверял, система оценки таже +1 балл за найденный кейс, -0,25 балла за глюс, и считался процент от всех спрятаных проблем. Финальный скор считался с весами: 80% - анализ лога(таблица с журналом событий) , 10% - текст-"регламент", 10% - картинка с BPMN. Результаты немного опечалили, что в целом было предсказуемо.

https://habr.com/ru/articles/996394/

#LLM #process_mining #бизнеспроцессы #бизнесанализ #claude_opus_46 #искусственный_интеллект #ml #ai

Почему юридические сервисы без data-подхода не масштабируются

Почему юридические сервисы без data-подхода не масштабируются Юридические процессы долгое время держались на людях. Опыт, внимательность, профессиональная интуиция — этого достаточно, пока объём работы умеренный. Но при росте масштаба возникает закономерность, о которой редко говорят: эффективность не растёт линейно с числом сотрудников. Она начинает снижаться.

https://habr.com/ru/articles/995326/

#process_mining #eventdriven #архитектура_процессов #dataподход #масштабирование #юридический_процесс #backend #аналитика_данных

Как мы посмотрели на юридический процесс как на поток данных

Пока дел немного, юридический процесс кажется управляемым: статусы, отчёты, дедлайны. Когда дел становится десятки тысяч, выясняется, что статусы не показывают процесс, а KPI не помогают управлять. В статье — как мы перешли от статусов к событийной модели и что это дало.

https://habr.com/ru/articles/992666/

#process_mining #eventbased_подход #аналитика_процессов #журнал_событий #управление_процессами #KPI #масштабирование #datadriven_решения

Как мы встроили ИИ в Process Mining: децентрализация, одна кнопка инсайтов и путь к агентам

Привет! Я — Андрей Шалягин, руководитель Офиса цифровизации в Альфа-Банке. Наша команда помогает различным подразделениям внедрять технологии и решения, направленные на выявление и оптимизацию рутины, повышение производительности и цифровизацию операций. В Альфе множество сквозных процессов и точек взаимодействия между системами и людьми. BI-инструменты хорошо справляются с агрегацией данных и построением отчетности, но они редко отвечают на вопрос: как на самом деле протекает процесс, где он замедляется и почему возникают отклонения. Чтобы получить объективную картину мы применяем Process mining — технологию, которая позволяет построить модель реального исполнения бизнес-процесса на основе логов событий. В банке развернута платформа Proceset от команды Инфомаксимум. Но просто увидеть, как устроен процесс — недостаточно. Важно быстро находить возможности для улучшения и запускать изменения. Поэтому мы встроили искусственный интеллект непосредственно в аналитическую платформу. Теперь ИИ не просто помогает с рутиной, а сам предлагает гипотезы, находит узкие места и позволяет аналитикам быстрее принимать решения. Ниже расскажу, как мы это сделали, с какими вызовами столкнулись и куда движемся дальше.

https://habr.com/ru/companies/alfa/articles/966570/

#Анализ_процессов #Process_mining #AI

Процессная аналитика — «рентген» для цифровых процессов в компании

В одном из американских сериалов про полицию я услышал фразу, которую старший следователь говорит новичку в отделе: «Послушай, самое страшное в том, что ты даже не знаешь, чего не знаешь». Кажется, что эта фраза идеально подходит для описания современного бизнеса.

https://habr.com/ru/articles/941890/

#аналитика #процессная_аналитика #process_mining

Больше, чем аналитика: как Process Mining помогает ритейлу экономить и повышать выручку

Процессная аналитика (Process Mining) — это методология сбора и анализа информации о бизнес‑процессах. Она помогает составить реальную схему процессов, разобраться в их работе и найти узкие места, требующие вашего внимания. Также процессная аналитика помогает выявлять «нетипичные» пути прохождения и прогнозировать работу бизнес‑процессов. Мы рассмотрим подробнее эту методологию и особенности её применения. А также на нескольких примерах из практики М.Видео‑Эльдорадо и Т1 покажем, чем процессная аналитика может быть полезна в компании.

https://habr.com/ru/companies/T1Holding/articles/932588/

#process_mining

[Перевод] Мониторинг и управление воркфлоу между взаимодействующими микросервисами

Как получить прозрачность в бизнес-процессах, если архитектура строится на микросервисах и событийных потоках? В своей статье Бернд Рюкер, сооснователь Camunda, делится практическими подходами к отслеживанию и управлению процессами в распределённых системах. Он объясняет, как переход от простого мониторинга событий к полноценной оркестрации помогает лучше понимать происходящее, своевременно реагировать на инциденты и сохранять контроль над сложными бизнес-операциями. В статье разбираются плюсы и минусы различных подходов — от Elastic-подобного мониторинга до использования движков рабочих процессов, а также рассматривается важность баланса между оркестрацией и хореографией.

https://habr.com/ru/articles/926542/

#microservices #orchestration #choreography #workflow #bpmn #process_mining #kafka #camunda #data_lake

Что в чёрной коробочке? Выясняем самостоятельно, не привлекая внимания коллег

Всем привет, меня зовут Миша, и я разрабатываю платформу Яндекс Еды. Первые компоненты были написаны почти 10 лет назад (когда Еда ещё была стартапом Foodfox), и у нас накопилось много кода, который просто хорошо работает, а иногда даже «работает — не трогай». Но в процессе развития и устоявшиеся части системы нужно трогать, про что мои коллеги уже писали — как мы повышали версию PHP , пилили монолит и снимали нагрузку с БД . Наконец настал черёд рассказать про процессинг заказов доставки еды из кафе и ресторанов (а также продуктов из магазинов и многого другого). За годы эволюционного развития он значительно разросся, что стало заметно затруднять дальнейшее развитие — например, изменения, связанные с выходом на новые рынки, — а также влиять на надёжность. Поэтому мы решили вынести процессинг заказа в отдельный специализированный сервис. Чтобы определить, что выносить, а что оставлять, нужно было составить исчерпывающий и актуальный список процессов, которые происходят с заказом. И здесь мы столкнулись с вызовом: это знание распределено по многим людям и документам, поскольку на протяжении долгого времени в процессинг заказов вносили изменения многие команды. И перед нами встал вопрос — как собрать нужную информацию о системе с заметной долей легаси быстро, да так, чтобы информация была актуальна?

https://habr.com/ru/companies/yandex/articles/921122/

#process_mining #анализ_данных #tidyverse #триз #рефакторинг #duckdb #архитектура_по #яндекс_еда #монолит

Цифровая гемба отделения, аномалии и Visual Mining

В офисах банка есть «Кракен» — стандартное место для обслуживания клиентов, большой угловой стол, который занимает много места. Оказалось, что он используется гораздо реже стандартных маленьких столиков, за которыми клиенты обслуживаются чаще. Это неожиданное открытие появилось после того, как мы протестировали технологию Visual Mining в одном из офисов. Под катом расскажем о Visual Mining для построения цифровой карты и сбора бизнес-метрик, и некоторых других неожиданных открытиях. Подробностей технологии будет не так много, мы расскажем больше о процессах.

https://habr.com/ru/companies/alfa/articles/801957/

#видоеаналитика #тепловая_карта #visual_mining #process_mining #data_mining #проекты #стартапы #стартапы;_финансирование;_инвесторы

A Study Into the Practice of Reporting Software Engineering Experiments
(2021) : Kate Revoredo and Djordje Djurica and Jan Mendling
DOI: https://doi.org/10.1007/s10664-021-10007-3
#literature_review #methodology #process_mining #software_engineering
#my_bibtex