Heb jij je wel eens afgevraagd welke activiteiten er dagelijks in jouw Databricks workspaces worden uitgevoerd? Wil je de kosten en prestaties van iedere Databricks cluster en job monitoren? Wil je verbeteringen aanbrengen en mogelijk kosten besparen op Databricks workflows? Zo ja, dan is dit artikel wellicht interessant voor jou!
In dit artikel stellen we Overwatch aan je voor, een monitoring tool ontwikkeld door Databricks Labs, die bedoeld is om klanten te helpen dieper inzicht te krijgen in de activiteiten in Databricks.
Hoe werkt Overwatch?
Overwatch verzamelt diagnostische gegevens door middel van Event Hub delivery via Azure Diagnostic Logging. Ondertussen verzamelt en bewaart het compute logs direct in een Storage Account (in een Azure omgeving). Vervolgens leest een Overwatch job in Databricks workspace de gegevens van EventHub en Storage account, en creëert een database van de verzamelde data. De database wordt opgezet volgens de brons-zilver-goud architectuur, en een user-faced database wordt boven op de goudlaag gebouwd.
Gebruikers kunnen vervolgens query’s uitvoeren vanuit deze database met opgeschoonde gegevens om analyses uit te voeren. Het implementatieproces van Overwatch is hier te vinden op hun officiële website. Noemenswaardig is dat Overwatch ook een flexibele structuur biedt voor de inzet in meerdere werkruimten. Gebruikers kunnen ervoor kiezen om Overwatch in te zetten voor meerdere workspaces met één Databricks job of met afzonderlijke jobs. De door verschillende jobs verzamelde informatie is toegankelijk vanuit één centrale database, dus het is niet nodig om meerdere databases voor verschillende workspaces te beheren (tenzij je dat wilt).
Wat kunnen we doen met Overwatch?
De door Overwatch gegenereerde informatie kan worden gebruikt om de kosten, het gebruik, de efficiëntie en de werkbelasting binnen de werkruimten te bepalen en te rechtvaardigen. Deze informatie gebruiken we voor verbeteringen en betere beslissingen.
Hier zijn enkele metrics die we als voorbeeld kunnen nemen:
- Dagelijkse kosten
Met Overwatch kunnen we de dagelijkse kosten van alle clusters/jobs in de workspaces monitoren en een overzicht krijgen van de totale uitgaven aan Databricks. Het is ook mogelijk om de totale DBU/compute/driver/worker kosten en deze kosten van jobs afzonderlijk te controleren. De volgende grafiek is een voorbeeld van de dagelijkse kosten van alle clusters in de workspaces.
- Kosten per job/cluster
Wij kunnen de kosten per job/cluster berekenen met behulp van data die door Overwatch zijn verzameld. Met deze informatie begrijpen we welke jobs/clusters het duurst zijn en richten we ons meer op het verbeteren ervan. De volgende grafiek toont een voorbeeld van de 20 duurste jobs in de workspaces.
- Job prestaties
Om de prestaties van jobs te controleren, kunnen we met behulp van metrics de mislukte tijd en looptijd van jobs berekenen. Op basis van de vereisten kunnen we beslissen of het nodig is de jobs die bovenaan de lijst staan te onderzoeken. De volgende grafiek toont een voorbeeld van jobs die het vaakst zijn mislukt.
- Configuratie van clusters
We kunnen Overwatch ook gebruiken om de configuratie van clusters/jobs in één keer uit te voeren, wat nuttig zal zijn voor het collectief beheren van de clusters/jobs. De volgende tabel toont bijvoorbeeld de Databricks Runtime version van elke cluster. Het maakt duidelijk welke clusters nog steeds verouderde DBR gebruiken.
- Andere statistieken
Het is mogelijk om met Overwatch andere analyses op maat uit te voeren, zoals gebruikersactiviteiten, notebook activiteiten, query geschiedenis in Databricks SQL-werkruimte en spark-activiteiten voor diepere analyses.
Overwatch biedt groot potentieel bij monitoring van Databricks
Al met al opent Overwatch de zwarte doos van de onderliggende activiteiten binnen Databricks workspaces. Door meer te weten te komen over wat er gebeurt binnen jobs, clusters en andere activiteiten, kunnen gebruikers meer mogelijkheden benutten om de prestaties van hun workflow te verbeteren en mogelijk kosten te besparen. Devoteam kan een deskundige visie geven over hoe Overwatch jouw organisatie kan helpen bij de implementatie ervan. Als je geïnteresseerd bent, neem dan contact met ons op!