De uitdaging
De overheidsinstantie in kwestie krijgt veel informatie binnen van honderden verschillende bronnen. Ze wilden dit op één centraal systeem opslaan. Om een centraal logging platform op te zetten, waarin infrastructuur logging, applicatieve logging en authenticatie logging centraal opgeslagen konden worden, besloten ze in 2018 om met Elastic te starten.
De oplossingen
Behoeften duidelijk gesteld
Om ervoor te zorgen dat de grote hoeveelheid binnenkomende log bronnen gestructureerd en consistent worden verwerkt, was het belangrijk om duidelijk de behoeften te definiëren met betrekking tot het type logs en deze af te stemmen op het Elastic Common Schema (ECS). Het ECS is een gemeenschappelijk gegevensmodel dat is ontworpen om log gegevens van verschillende bronnen op een uniforme manier vast te leggen. Hierdoor kunnen de logs efficiënter worden geanalyseerd en kunnen de inzichten die uit de logs worden verkregen sneller geïnterpreteerd en toegepast worden. Dit resulteert in een gestroomlijnde verwerking van de logs en een snellere en nauwkeurigere reactie op eventuele problemen of trends die in de logs worden waargenomen.
Grip op de omgeving
Naarmate het platform groeit, moet rekening gehouden worden met de benodigde resources. De overheidsinstantie heeft alles in eigen beheer in verschillende datacenters. Elasticsearch maakt gebruik van het principe van data tiers, namelijk hot-warm-cold. Dit betekent dat er verschillende resources criteria voor elke tier gelden.
Voor de hot-tier worden de krachtigste resources gebruikt met minder opslagruimte, terwijl minder krachtige resources (minder duur) worden gebruikt voor de warm-tier, maar met meer opslagcapaciteit. Dit patroon gaat verder voor de cold- en frozen-tiers.
Met een dergelijke omvang van het hardware platform, is het belangrijk om grip te houden op de kosten. Daarnaast wil men controle hebben over de licentiekosten, wat afhankelijk is van het gekozen abonnement.
Automation
Grote omgevingen, zoals bij deze overheidsinstantie, zijn handmatig niet te onderhouden. Vandaar ontstond de behoefte aan een oplossing om dit te automatiseren. Middels een gestructureerde en gestandaardiseerde manier, kunnen alle resources en variabelen worden gepland, zodat die op eenduidige en herbruikbare wijze gebruikt kunnen worden.
Aangezien de organisatie te weinig over de nodige expertise beschikte op het gebied van Elastic, werden experts van Devoteam ingeschakeld om te helpen. Onze experts hebben de installatie en configuratie van Elastic geautomatiseerd en vereenvoudigd met behulp van Ansible en Terraform.
Kennis en expertise
Naast Elastic als basis technologie, leveren we ook kennis van andere technologieën, zoals Kafka, Docker en Logstash. Dit was nodig om de logging van de bronsystemen naar het Elastic platform te brengen.
De voordelen
Door de inzet van Devoteam’s kennis van Elastic, zijn er meerdere voordelen voor de overheidsinstantie, waaronder:
- Alle logs worden nu op één centrale plek opgeslagen.
- De omgeving die Devoteam mede heeft helpen bouwen is beheersbaar geworden. Door de grootte wordt het complex, maar het is nog steeds beheersbaar.
- De klant kan nu alle data die wordt opgeslagen ook doorzoeken op één centrale plek.
- De klant kan naast logs doorzoeken, ook dashboards ontwikkelen en de data visualiseren.
- Ook zijn de DevOps teams in staat om applicatie logs en technische logs te monitoren.