Automatiser les workloads du Big Data
LeMagIT du 7 novembre titrait « Près d’une entreprise française sur cinq pilote un projet Big Data »
Nous sommes encore loin de l’effervescence suscitée par le BigData outre Altlantique mais on voit apparaitre de plus en plus de maquettes pour valider des cas d’utilisation. Ces validations précèdent l’étude des infrastructures qui vont supporter le déploiement en production.
Parmi les nombreux sujets qui touchent au Big Data il y en a un, trop peu souvent évoqué, qui concerne l’automatisation des workloads. Un aspect du big data que l’on peut traiter avec Cisco Tidal Enterprise Scheduler (TES), une solution de bout en bout qui intègre des adpateurs pour Hadoop Sqoop et les outils Hive .
Cisco Tidal Enterprise Scheduler agit comme une couche de gestion qui automatise et controle les flux de données entre la couche d’infrastructure matérielle et la couche de data movment de Hadoop, d’ERP, de services web et d’autres structures fournissant de données.
Le contrôle du flot de données entre l’infrastructure et les applications simplifie la gestion des processus et intègre l’environnement Hadoop dans un ensemble plus vaste des processus de l’entreprise.
L’intégration est gérée par l’intermédiaire d’APIs disponibles pour un grand nombre d’applications et de bases de données incluant Oracle, Informatica, IBM, Microsoft, et SAP. Chaque interface a été développée et testée pour travailler de manière transparente avec chaque application.
En combinant la gestion de donnée de sociétés tierces avec la solution d’automatisation de workload on peut minimiser les risques lors de du passage d’un environnement Hadoop en phase de test à un environnement réel d’entreprise.
10 cas d’utilisation identifié pour les besoins Big Data de Cisco
Cisco utilise TES pour ses propres besoins de Big Data et a identifié pas moins de 10 cas d’utilisation de TES pour de l’analytique Big Data.
Parmi ces cas d’usage en voici trois qui sont soient en Proof of Concept ou bien déjà en production.
- Coordonner les processus de bases de données, de datawarehouse et d’Hadoop dans le cas de datamining concernat les ventes.
- Monitorer les performances de l’application analytique Big Data
- Monitorer les processus HIVE
Facilité d’utilisation
Un des avantages important apporté par Cisco Tidal Enterprise Scheduler est sa facilité d’utilisation qui accélère de déploiement et qui par conséquent permet de créer de la valeur plus rapidement. Par exemple les développeurs n’ont plus besoin d’apprendre à utiliser Sqoop pour écrire un script d’import ou d’export de fichiers. Tidal Enterprise Scheduler fournit l’information nécessaire, comme une table, le format, les user names des administrateurs qui exécutent le job.
D’autres informations dans le document Cisco IT Automates Workloads for Big Data Analytics Environments
Tags:
