[Retour d’événement] Elastic On !

 Déroulement de la conférence Elastic :

♦ Présentation de la roadmap Elastic par Shay
♦ Diverses présentations techniques autour des améliorations et des nouvelles fonctionnalités de la stack Elastic version 6.1.1
♦ Retour d’expérience de quelques clients : Renault Digital (équipe formée par 80% des consultants JEMS Group) intitulée Elasticsearch au coeur du projet Data Lake de Renault, et d’autres clients comme Amadeus.
♦ Présentations techniques (démonstrateurs) de l’ingestion des logs avec la stack Elastic, visualisation des données avec kibana et machine learning avec x-pack.
♦ Stand des différents partenaires
♦ Stand « AMA » avec les experts et architectes d’Elastic.

 Participation de JEMS group :

♦ Nous sommes sponsors de l’événement ElasticOnTour 2018 qui a lieu à Paris le 30/01/2018.
♦ Nous avons tenu un stand où nous avons parlé de notre savoir et savoir-faire dans le domaine Big Data, et nous avons présenté une démo qui montre un exemple de projet concret, au profit d’un client du domaine bancaire, de la mise en place de la stack Elastic : Logstash, Elasticsearch et Kibana pour la gestion des tickets et la prédiction des anomalies avec les technologies de machine learning.

Stand démo :
Nous avons présenté un cas d’usage relatif à la gestion des tickets et à la prédiction des anomalies. Nous avons fait une démonstration autour de l’utilisation de la stack Elastic, à savoir Logstash pour l’ingestion des logs applicatifs dans notre cas, Elasticsearch comme moteur d’indexation et de recherche des logs et Kibana comme outil de dashboarding. Grâce au package x-pack, d’autres fonctionnalités sont disponibles dans Kibana comme l’alerting, le monitoring et le machine learning.

Durant la démo, nous avons montré quelques graphes dans le Dashboard de Kibana qui permet d’avoir des métriques pour la gestion des tickets ainsi qu’une vision globale des anomalies décrites dans les tickets.
En plus, nous avons montré des diagrammes décrivant des statistiques des données en temps réel, grâce à l’utilisation de Timelion dans Kibana.
Afin de prédire les anomalies qui auront lieu, nous avons mis en place un « job » de machine learning qui s’appuie sur la base d’index des tickets ainsi qu’un algorithme de prédiction. La prédiction des anomalies permet de réduire les coûts de maintenance ainsi que d’anticiper les incidents pour mieux les gérer.
Ci-après quelques imprime-écrans de la démo :

  • Kibana dashboard

  • Timelion

Exemple 1

En vert, nous observons la variation de soumission des tickets dans le temps. Nous avons fixé la fenêtre d’affichage à 1w (une semaine) pour ne pas condenser le graphique avec des points très rapprochés. Nous avons ensuite ajouté 2 graphes qui nous permettent de visualiser la droite de régression linéaire (en bleu) et le graphe de la moyenne glissante (en jaune) avec une fenêtre de 10 points). Finalement, tout l’intérêt du graphe se manifeste avec les barres en rouge: Elles nous permettent d’isoler les pics de soumission de tickets en comparant le graphe vert avec le graphe de moyenne glissante (en jaune). Ainsi tous les points en dessus de la droite jaune vont être automatiquement sélectionnés (voir la quatrième requête).

Exemple 2 :

Sur cet exemple, nous avons voulu mettre en avant les tickets résolus. Ainsi, nous avons comparé le rythme de soumission de tous les tickets (en rouge) à celui des tickets résolus (en vert). Cet exemple nous montre la possibilité de mettre en place des graphes en fixant la valeur de l’un des champs des documents (‘IN_statut:Resolu’).  En plus, nous avons mis en place une comparaison entre les tickets résolus, clos ouverts et nouveaux.

  • Machine Learning

Exemple 1

Le job apprend de manière non supervisée et décide d’une plage dite « normale » concernant les tickets en entrée. Chaque fois que le nombre de tickets est supérieur ou inférieur à cette plage, il enregistre un cas d’anomalie.

L’image est divisée en deux parties. La première partie est un graphique qui montre les données réelles dans les lignes bleu foncé et la zone bleue ombrée qui l’entoure, ce qui représente la plage de valeurs attendue. Lorsque le nombre de tickets arrivant à un moment est en dehors de cette plage, une anomalie est détectée. Nous pouvons également sélectionner une phase temporelle pour laquelle le résultat sera zoomé. La deuxième partie du résultat est un tableau ci-dessous, qui montre les détails de l’analyse sur chaque anomalie correspondant à une période de temps sélectionnée.

Partager :
Partager sur Twitter
Partager sur LinkedIn
Partager par email