Bash-скрипт на максималках: как работает менеджер задач для управления 300 скриптами
В Rusprofile наш домен – регтех, мы помогаем компаниям оценивать надежность контрагентов. Каждый день сотни скриптов качают данные из официальных открытых источников, парсят и строят кеши. В какой-то момент суммарное время работы скриптов стало неподобающим – задача заканчивалась, условно, к обеду следующего дня, в то время, когда нам нужно было к утру. Эта статья – о том, как “проклятье масштаба” оказалось алгоритмической задачей; решение – получилось благодаря принципам обхода ориентированных графов; а запаса прочности решения хватило, чтобы с момента появления на протяжении лет не требовалось дополнительных ресурсов и каких-либо доработок. Надеемся, эта история будет интересна тем, кому близки темы работы с зоопарком скриптов, управления связанными задачами, алгоритмических решений инженерных проблем, а также всем, кому любопытно, как различные сервисы устроены под капотом и какие особенности есть в регтех. Будут технические детали, теория графов и немного рефлексии.
https://habr.com/ru/companies/rusprofile/articles/950428/
#bash #php #regtech #фетчер #кэшер #парсер