Optimisation d’un big data utilisant Hadoop chez Criteo avec les commutateurs Nexus
2 min read
Sans le savoir beaucoup d’entre vous utilisent les services de la société Criteo 
lorsqu’ils surfent sur Internet. En effet Criteo a construit son activité sur la capacité de prédire les publicités que les consommateurs aimeraient voir et cliquer dessus.
Pour y arriver Criteo utilise des algorithmes complexes dédiés aux médias en ligne. Sur près de 5000 sites webs dans 30 pays cette société va être capable de guider l’utilisateur en lui 
fournissant dès son arrivée sur un site une page qui lui est totalement personnalisée d’un point de vue publicité.
Vous pouvez imaginer que pour arriver à ce résultat il faut d’une part collecter énormément d’informations mais également pouvoir réagir extrêmement rapidement.
Le cas de Criteo est particulièrement intéressant car il cumule bon nombre de technologies innovantes dans des datacenters en Europe, aux Etats Unis et au Japon.
L’expérience de Criteo est décrite en détail dans ce document et je vous en recommande la lecture.
Un réseau adapté au besoin du Big Data avec les commutateurs Nexus.
Criteo dispose actuellement d’un des plus gros déploiements de Hadoop en Europe. En utilisant des commutateurs Nexus , le débit interne du cluster est passé de 40Gbps à 100Gbps.
Cette amélioration s’est ressentie sur l’ensemble du datacenter alors même que le trafic s’est accru sensiblement.Les applications temps réels de Criteo reçoivent 30 milliards de requêtes http par jour et le système Hadoop reçoit 20 Teraoctets de nouvelles informations toutes les 24 heures.
Les commutateurs Nexus permettent d’aider à alimenter le cluster Hadoop rapidement. Plus de 2 pétaoctets de données d’analyses sont utilisées par Criteo. Un chiffre qui devrait encore s’accroitre d’ici la fin de l’année.
Une scalabilité sans limite avec la fonction Fabric Path.
Les commutateurs Nexus ne se sont pas contentés d’améliorer la performance mais ont également facilité la scalabilité grâce à l’utilisation de la fonction FabricPath.
A présent ,avec FabricPath, il est réellement possible d’évoluer sans contrainte de manière horizontale (est-ouest) dans une configuration. Chaque nouveau serveur peut être placé n’importe où dans la configuration et il n’y a plus de limite au nombre de racks pouvant être installé. La tâche des administrateurs qui doivent faire face à un nombre grandissant de serveurs en est largement simplifiée.
Produits mis en œuvre :
- Fabric extender Nexus 2248TP-E
- Commutateur Nexus 5548
- Commutateur Nexus 7000 avec la function FabricPath
- Routeur d’agrégation de services ASR 9006
Authors
