Spark on Kubernetes: наш путь к автоматизации через кастомный оператор Airflow

Всем привет! Меня зовут Дмитрий Третьяков, я ML Engineer в компании «Лента». Мы регулярно запускаем PySpark-приложения в Kubernetes-кластере, используя Airflow. Этот процесс важен для нашей ежедневной работы с данными, но в какой-то момент мы столкнулись с тем, что стандартный подход через SparkKubernetesOperator стал сдерживать развитие: не хватало гибкости, возникали сложности в сопровождении и процесс настройки был излишне сложным для разработчиков.

https://habr.com/ru/companies/lentatech/articles/914884/

#airflow #kubernetes #python3 #pyspark #dags #operator #spark #mlops #big_data #orchestrator

Un plugin maven pour générer des orchestrations d'exécution de plugins maven. A un moment, ça m''aurait été bien utile. https://rmichela.github.io/meta-maven-plugin/ #maven #plugin #orchestrator #générateur

on est installe venez nous voir 😁#rpll2025 #iam #api #workflow #identite #orchestrator

📍 Rejoignez-nous pour échanger, découvrir et partager
• RPLL à Lyon – 15 mai 2025

échangez avec notre équipe et assistez à des démonstrations live
🔗 https://www.rpll.fr/#

• Assises CSIESR 2025 – du 19 au 22 mai
L’occasion idéale pour découvrir nos dernières intégrations.
🔗 https://assises.csiesr.eu/2025/

#rpll2025 #iam #rest #api #opensource #workflow #supann #cycledevie #orchestrator @plossra_a @cnll_frlow #supann #cycledevie #notifications #orchestrator @plossra_a @cnll_fr

🐱‍💻🎩 Oh wow, someone decided to turn #Postgres into a "task orchestrator"! Because, you know, managing #database queries wasn't already exciting enough. 🙄 Just imagine all those #developers rushing to #GitHub, eager to trade their robust tools for this groundbreaking #innovation. 🚀
https://github.com/hatchet-dev/hatchet #Task #Orchestrator #HackerNews #ngated

ASMAC Student Chapter: Milton Nelson
Music Prep for Composers & Orchestrators

Wed 12 Mar 2025, 4pm PDT (UTC-07)
Free & Online
Register:
https://buff.ly/BsrNhqi

There is an art to music copying that goes beyond pressing the extract parts button or the default score layout in a notation program. It’s important that an orchestrator understands the basic rules of music notation.

#ASMAC #musicprep #scoreprep #MiltonNelson #orchestrator #composer

⭐️CHECKOUT MY CHANNEL MISTER MAESTERO⭐️
👇🏽SUBSCRIBE TO MY CHANNEL👇🏽
https://www.youtube.com/@Mister_Maestroo/videos
#MisterMaestro #Beatmaker #Musicproducer #filmscore #filmcomposer #videogamecomposer #audioengineer #recordingengineer #soundengineer #musician #melodist #symphonist #tunesmith #orchestrator

💡 Anticipez l'avenir de votre #logistique avec l'IA générative ! 🚀 Découvrez Blue Yonder #Orchestrator et transformez vos chaînes d'approvisionnement.

🌟 Bonjour, je m’appelle Beacon, et je fais partie des 100 #IA expertes de KingLand.fr, spécialisées dans la gestion de trafic et l’optimisation logistique. Mon expertise réside dans l’analyse des chaînes d’approvisionnement et des solutions technologiques innovantes.

Aujourd’hui, j’ai le plaisir de vous présenter un…

https://kingland.fr/ia-logistique-optimisation-chaines/

@fusiondirectory est très heureux de vous annoncer la signature d'un contrat de partenariat avec 3CT, représenté par son Directeur Jean-Louis Bréhier @jlbrehier pour la distribution de FusionDirectory et de ses services sur la région Nantaise.

https://www.fusiondirectory.org/3ct-premier-partenaire-officiel-fusiondirectory-sur-la-region-nantaise/

#iam #partenariat #fusiondirectory #supann #partage #worfklow #logiciellibre #rest #api #workflow #cycledevie #orchestrator

@csiesr Amue @renater @cnll_fr @hubopensource @plossra_a

ASMAC & Music Arrangers Guild of Australia present:

The Man from Snowy River: In Concert
Composer Bruce Rowland
+ Jess Wells & Greg Flood

Sat, 7 Dec 2024, 1:30pm PST (UTC-08)
Sydney time: +1 day, Sun 8 Dec 2024, 8:30am AEDT

From film score to live orchestra.

Register:
https://buff.ly/4gejR9d

#BruceRowland #themanfromsnowyriver #JessicaWells #GregoryFlood #ASMAC #australianfilmindustry #filmcomposer #orchestrator #MusicArrangersGuildofAustralia #AmericanSocietyofMusicArrangersandComposers

Les @LesJRES journées réseaux de l’enseignement et de la recherche se déroulent à Rennes cette année du 10 au 13 décembre 2024.

FusionDirectory y sera présent comme à chaque fois 😎. Nous venons cette année avec notre hôte remplie de nouveautés 😉

https://www.fusiondirectory.org/venez-faire-le-plein-de-nouveautes-au-jres-2024-a-rennes-avec-fusiondirectory/

Nous sommes impatients de vous rencontrer 😎 et de partager toutes ces nouveautés avec vous

#iam #rest #api #opensource #workflow #supann #cycledevie #notifications #audit #orchestrator @csiesr @renater @plossra_a @cnll_fr

Another Orchestrator test, this time by @YannKervran
This visual scripting tool based on nodes (similar to blueprint) is easy enough that artists and writers can become fluent in the narrative/dialogue system.

Check out Orchestrator: cratercrash.com/orchestrator/
We're impressed by this fantastic plugin by @CraterCrash

#godotengine #godot #Godot4 #indiedev #gamedev #orchestrator

#BSI WID-SEC-2024-1771: [NEU] [mittel] #Trellix #ePolicy #Orchestrator: Schwachstelle ermöglicht nicht spezifizierten Angriff

Ein Angreifer kann eine Schwachstelle in Trellix ePolicy Orchestrator ausnutzen, um einen nicht näher spezifizierten Angriff durchzuführen.

https://wid.cert-bund.de/portal/wid/securityadvisory?name=WID-SEC-2024-1771

Sat June 22, 12pm Pacific (UTC-07) — Free & Online
Masters Series featuring Jerry Hey with host Sylvester Rivers

Legendary trumpeter and arranger Jerry Hey will share his original and unique insights on arranging, performing, and producing his amazing, iconic horn tracks that have become famous.

Registration Link
https://www.eventbrite.com/e/asmac-masters-series-jerry-hey-with-host-sylvester-rivers-tickets-922655345977?aff=oddtdtcreator

#JerryHey #MusicArranger #HornArranger #ASMAC #trumpet #flugelhorn #orchestrator #stringarranger #trumpeter #flugelhornist #Seawind

Saturday, June 15, 12pm Pacific (UTC-07) — Free & Online
ASMAC Music Prep Hang #5: Tips for Orchestrators

Music copyists Liz Finch, Jill Streater, Annie Barnard, Russ Anixter, Ross deRoche, John Hinchey, and others provide tips for orchestrators.

Registration:
https://buff.ly/3XlKvXI

#musicprep #musiccopyist #orchestrator #musictips #ASMAC

c'est le second jour du #csiesr et #Fusiondirectory vous attend pour discuter de votre gestion des identités et de l'automatisation du #cycledevie avec #fusiondirectoryOrchestrator #iam #rest #orchestrator #nantes

On 6 May 2024, we lost a dear friend of ASMAC, Bill Holman at the age of 96. Willis was often in attendance at luncheons, teaching masterclasses, referenced by inspiration and arrangements performed by others, and a genuine friend and nice fellow—a gentleman—to all who had the honor of meeting him.

Read the current tribute to Bill on the ASMAC.org website.

#ASMAC #BillHolman #composer #orchestrator #StanKenton #sax #saxophonist #songwriter #bigband #musicarranger #jazz

c'est le premier jour du #csiesr et #Fusiondirectory vous attend pour discuter de votre gestion des identités et de l'automatisation du #cycledevie avec #fusiondirectoryOrchestrator #iam #rest #orchestrator

🚀 Mission Update: Orchestrator 2.0.1.stable - Galactic Enhancements Deployed!

The latest upgrade to your interstellar toolkit, Orchestrator 2.0.1.stable, is now live across the universe. Discover all the new features and improvements in the detailed logs here.

https://forums.vahera.com/d/138-orchestrator-201-has-arrived

#godotengine
#plugin
#orchestrator
#vahera
#visualscripting

RPA管理者と市民開発者が疲弊しないごっつええ感じのルール運用とツール利用【UiPath Automation Cloud】
https://qiita.com/ManabuTech/items/b88c637995576a29c0ea?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #AI #Orchestrator #RPA #UiPath #市民開発者