Workshop Big Data & Elastic

Posted on 22 mei 2019 in Heartbeat Sessies | 0 comments

(Big) Data, wie heeft het er tegenwoordig niet over? Donderdag 22 mei zijn er weer verkiezingen en je kunt er donder op zeggen dat we hier weer platgegooid worden met allemaal staatjes, tabellen, taartdiagrammen en andere overzichten. Allemaal real time informatie die verwerkt wordt door geavanceerde ‘zoek’ machines en daarna getoond kan worden via een fancy dashboards en overzichten.

Eén van die fantastische oplossingen begon ooit als zoek algoritme voor recepten, maar is ondertussen uitgegroeid tot een marktleider op dit gebied. Elasticsearch. Samen met Logstash en Kibana vormt dit het hart van de zogenaamde ELKstack. Als je geïnteresseerd bent in hun verhaal kijk eens op www.elastic.co.

We begonnen met het klaarzetten van onze elastic search omgeving via de door Jeroen aangeleverde Docker container op te starten. Daarna brachten we de container met Kibana in de lucht en konden we aan de slag. Onze basis was nu klaar. Inloggen via Chrome op de localhost bracht ons bij Kibana, waar ons cluster netjes draaide:

 Jeroen had een template gemaakt welke we konden inladen in de console in het Dev Tools menu van Kibana. Dit ter voorbereiding om de brandstof data uiteindelijk te kunnen gaan inladen in logstash.

Na het laden van deze data kwam het hands on deel van de crash course. Het gebruiken van onze data om een piechart te maken om een overzicht te geven van het aantal kentekens per medewerker. 

Met onze brandstof gegevens als data konden de meest waanzinnige gegevens boven water gehaald worden. Hoe leuk is het om te kijken wie van je collega’s het zuinigst dan wel het meest verbruikt. Het tonen van de gemiddelde brandstofprijzen over het jaar heen leverde na een split op type brandstof ook een mooie grafiek op.

Tijdens een van de Heartbeat sessies van Inquisitive kwam BQA collega Jeroen Mertens een training geven over de ELK stack. Het ging hier met name om het, op verschillende detailniveaus, tonen van onze brandstof data in Kibana. Mooie bijvangst was dat Jeroen ook nog eens alles in Docker containers had klaargezet voor de deelnemers, dus kregen we een klein stukje Docker er voor niets bij. Docker, onthoudt die naam! 

Dit was natuurlijk onze eigen brandstof data, waar we mee konden stoeien. Maar in verschillende opdrachten het ik de ELKstack gebruikt als performance tester, om resource gebruik van servers te analyseren met Beats. Ook is het nuttig om gedrag en gebruik van services over een bepaalde periode in productie te analyseren en dit als input voor een loadmodel gebruiken om zo een realistische load te genereren. Daarnaast kun je dan de output van de performance test weer in Kibana zichtbaar maken en zo mooie grafieken samenvoegen over load vs. resource gebruik bijvoorbeeld. 

Voor mij als performance tester, maar ook voor de andere collega testers is het een zeer waardevolle workshop geweest. Mijn advies aan iedereen die iets met data doet, ga je verdiepen in Elastic of soortgelijke oplossingen, want je kunt er zeker je voordeel mee doen.

Leave a Reply

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *