L’enjeu du Bigdata: gérer le flux d’information
De la capture des données au stockage, l’accès, l’analyse puis le reporting tout va dépendre de la capacité de transférer les données entre des fichiers, des applications, des bases de données et des solutions d’informatique décisionnelle.
Avec la croissance accélérée de données non structurées telles que la voix, le texte et la vidéo, les traitements de données traditionnels atteignent leurs limites. Analyser les flots de données générés sur des réseaux sociaux pour mesurer la satisfaction et l’humeur des clients est un exercice totalement différent que de produire des états de ventes avec une base de données SQL.
L’enjeu aujourd’hui est de capturer les informations non structurées et de les traiter rapidement pour répondre aux attentes des 
directions métiers. Les solutions de Bigdata sont complexes et font appel à de nombreux composants logiciels et materiels tout au long de chaine de transformation des donnees.
Cisco travaille sur ces différents aspects mais cette fois ci je voudrais m’arrêter sur l’aspect d’orchestration des workloads entre de multiples applications.
Cisco Tidal Enterprise Scheduler : Automatiser les flux de workloads
Cisco Tidal Enterprise Scheduler TES va justement fournir cette plateforme sur laquelle on va pouvoir gérer les solutions d’informatique décisionnelle et offrir une gestion granulaire d’applications bigdata comme Hadoop.
Avec la dernière version de Cisco Tidal Enterprise Scheduler (TES) 6.1 avec l’adaptateur pour Hadoop , les clients vont pouvoir réduire le coût de leurs données en automatisant les traitements de flux de données complexes qui supportent les applications BigData.
Qu’est-ce que TES ?
TES est une job scheduler d’entreprise facile d’emploi pour orchestrer les workloads antre différentes plateformes et différentes applications. L’orchestration est totalement automatisée y compris dans le cadre de traitements batch complexes. TES comporte une interface utilisateur graphique intuitive et peut gérer des centaines de milliers de tâches par jour.
On retrouve d’ailleurs les mêmes composants logiciels que dans la solution logicielle Cisco Intelligent Automation for Cloud CIAC.
Avec l’adaptateur Hadoop, Cisco TES donne un contrôle détaillé :
- du chargement des données et de la gestion de flux (Sqoop and Data Mover)
- du traitement des données au cœur de Hadoop (MapReduce)
- de la couche d’interface des données (Hive) qui permet les inputs des requêtes de données SQL-like et de commande d’analyse
k
L’adaptateur pour Hadoop donne la possibilité de définir, programmer et gérer les jobs Hadoop en tenant compte des différentes interdépendances.
Authors
