Retour d’expérience de Criteo à la convention du CRIP : adapter le réseau à la croissance
1 min read
Deuxième jour de la convention du CRIP , c’était au tour de Criteo de 
témoigner.
Un retour d’expérience de Julien Simon particulièrement intéressant puisque Criteo a lancé un premier cluster Hadoop en juin 2011 et un deuxième cluster en avril 2013. Sans doute un des plus importants en Europe.
En quelques mots Criteo a construit son activité sur la capacité de prédire les publicités que les consommateurs aimeraient voir et cliquer dessus. Pour y arriver Criteo utilise des algorithmes complexes dédiés aux médias en ligne.
La conséquence ? 20 To de données additionnelles chaque jour et la nécessité de mettre en œuvre une architecture Hadoop pour la business intelligence et la production.
Cette forte croissance a créé quelques challenges sur les infrastructures informatiques de Criteo :
- Scalabilité Interne: augmenter le nombre de baies par site sans augmenter la complexité
- Scalabilité Externe: augmenter le nombre de sites en gardant une gestion globale faite par l’équipe parisienne
- Performance: l’affichage à la performance nécessite les latences réseau les plus faibles possibles
- Haute disponibilité: le métier de Criteo dépend du réseau. La production ne peut pas connaitre de coupures
- Ajout de nouvelles briques technologiques: Analyse des données utilisateur grâce à la technologie Hadoop
La refonte de l’architecture réseau des datacenters à base de commutateurs Nexus 7000 avec l’utilisation de Fabric Path a permis de répondre à ces challenges comme il est expliqué dans l’étude de cas disponible sur internet. Les datacenters de Criteo sont aujourd’hui réellement “scalables” et bénéficient d’une architecture plus simple et plus fiable , avec des performances compatibles avec le calcul intensif HPC.
Authors
