Splunk: de la “machine data” à la “business intelligence”
L’époque est aux objets connectés, la presse s’en est emparée et cela sera sans doute une des technologies de transition qui modifiera considérablement les entreprises et la vie de chacun d’entre nous.
Derrière ces objets connectés se cache des termes moins glamour comme « machine data » ou données machines.
Les données machines comme le nom l’indique sont les données crées par des machines. Cela inclut naturellement les objets connectés mais plus globalement toute machine ou équipement qui génère de l’information. Le mécanisme n’est pas nouveau mais s’amplifie avec la multiplication d’objets communicants.
La petite vidéo ci-dessous illustre bien le phénomène et permet de se rendre compte de cette création permanente de données.
.
De la gestion opérationnelle de l’IT au Big Data
Avant même de parler de big data on s’intéressait déjà à l’exploitation des données générées par les équipements informatiques pour s’informer sur leur fonctionnement (typiquement les logs ou journaux).
Collecter les informations d‘un équipement et les corréler avec d’autres sont déjà l’objectif des directions informatiques pour détecter des défaillances ou des intrusions, prévenir des pannes ou bien encore analyser des tendances.
Collecter, indexer, analyser sont les principes de bases qui régissent l’exploitation des données machines.
Pourtant le risque est grand de superposer ou de juxtaposer des solutions logicielles différentes selon les types de données à traiter. Une solution logicielle pour traiter la gestion opérationnelle de l’IT, une suite logicielle pour répondre aux besoins métiers. Accroitre la complexité de l’IT une fois encore…
Pourquoi ne pas capitaliser sur une même et unique solution qui pourrait répondre à une majorité de besoins ?
Splunk : La valorisation des données machines appliquée à la business intelligence.
Suite à l’annonce de l’app UCS pour Splunk, j’ai été amené à rencontrer la société Splunk et j’ai été frappé par la simplicité de l’approche.
Splunk s’est imposé au fil des années comme le leader de la collecte et l’indexation de tout type de données en temps réel. Les domaines d’action sont l’analyse des incidents, la sécurité, la surveillance, le rapport de conformité.
La valorisation des données machines peut être appliquée au domaine de la business intelligence (suivre l’intérêt des utilisateurs pour tel produit en fonction de leur localisation ou suite à une campagne de pub, par exemple, simplement à partir des logs de serveurs web).
Au de-là des produits il faut néanmoins dans ce type d’approche disposer de connaissance métiers et de de connaissance des structures de données pour être capable d’exploiter et de corréler les informations de manière pertinente.
Splunk utilise la notion « d’app », c’est-à-dire des modules développés par Splunk, des partenaires ou des clients pour apporter des fonctions supplémentaires (tableau de bord, recherche spécifique, alerte, interprétation de log etc..)..
Ce qui me parait particulièrement intéressant avec cette solution c’est qu’avec une seule plateforme et une seule interface il semble possible d’adresser la majorité des besoins sans développement spécifique. Pour des besoins de reporting évolués on pourra alors utiliser des technologies de développements web (javascript par exemple).
400 apps sont déjà disponibles, gratuites pour une très large majorité. Splunk se veut une plateforme ouverte et dispose d’une forte communauté de développeurs pour enrichir l’offre.
Splunk et Cisco : des « apps » , une interface avec CIAC et une solution bigdata
1- Des apps Splunk pour les équipements Cisco
Plusieurs « apps » sont déjà disponibles pour permettre à Splunk d’avoir accès facilement à des informations liées aux équipements Cisco que ce soit les serveurs UCS ou des équipements de sécurité
- Splunk for Cisco Identity Services Engine add-on
- Splunk for Cisco Security Suite[MD1]
- Splunk for SourceFire
- Splunk for Cisco Nexus (scripts only, posted to Git Hub)[MD2]
- Splunk for Cisco IOS
2- Utiliser Splunk à partir de Cisco Intelligent Automation for Cloud
Avec CIAC, un utilisateur métier, sans connaissance préalable de Splunk peut :
- Créer un moniteur pour analyser un fichier ou un répertoire
- Déterminer la fenêtre de temps pertinent pour l’indexation
- Démarrer, arrêter et effacer un moniteur
- Récupérer les informations voulues (sommaire, résultats, index, multi-index , etc.)
plus d’informations sur CIAC avec Splunk voir la partie Splunk API
3- Utiliser des serveurs UCS avec Splunk pour mettre en place une solution de BigData
La simplicité d’évolution des serveurs UCS alliés à la simplicité de Splunk offre une plateforme matérielle et logicielle facile ‘utilisation et capable ‘évoluer en fonction de besoins e l’IT et des métiers
…
