Par Jason Brvenik
Pourquoi un taux de détection de failles de 100 % est un indicateur biaisé ?
La lecture du dernier rapport de NSS Labs pour les systèmes de détection des failles nous a procuré une grande fierté. On y apprend que Cisco a obtenu un taux de détection de 100 %. Nous sommes ravis que nos produits soient si bien représentés et reconnus sur le marché. Nous sommes sincèrement convaincus qu’ils sont les meilleurs produits de sécurité actuels et les plus efficaces qui soient. Vous pouvez obtenir un exemplaire gratuit du rapport de NSS Labs en cliquant ici.
Les résultats
« L’appliance Cisco FirePOWER 8120 avec le système de prévention des intrusions nouvelle génération et la fonctionnalité Advanced Malware Protection (AMP) de Cisco obtient un taux de détection des failles de 100 %. Elle s’est montrée très efficace contre toutes les méthodes de contournement testées. Elle a également réussi tous les tests de stabilité et de fiabilité. »
Si le rapport de NSS Labs sur les systèmes de détection des failles ne vous est pas familier, son objectif est d’étudier la détection des attaques, en particulier celles qui contournent les méthodes classiques de détection et de protection comme les antivirus et les pare-feu, quel que soit le moyen utilisé. Voici la description complète du rapport 2016 d’analyse comparative des systèmes de détection par NSS Labs :
« La capacité d’un produit de sécurité à détecter et à signaler les infections de manière efficace et rapide est essentielle à la protection et au bon fonctionnement du réseau. L’infection et la propagation du malware doivent être signalées de façon rapide et précise pour donner aux administrateurs la possibilité de bloquer l’infection et de réduire son impact sur le réseau. Le délai de réponse est d’une importance critique pour stopper le malware et limiter les dégâts. C’est pourquoi les systèmes testés doivent être à même de détecter les programmes malveillants connus ou d’analyser les programmes inconnus et de les signaler dans les 24 heures suivant l’infection initiale et les premières instructions de type contrôle-commande (C&C). Si un système testé ne signale pas une attaque, une infection ou des instructions de type contrôle-commande dans le délai imparti, la détection ne lui est pas attribuée. »
Cela signifie que les produits Cisco ont détecté 100 % des attaques du test dans les 24 heures. C’est une preuve évidente de notre engagement à fournir des systèmes de sécurité vraiment efficaces à nos clients.
Notre défi : réduire le champ d’action des hackers
Malgré cette belle réussite de nos ingénieurs, le résultat reste contrasté. Cisco est fier de proposer des produits si performants. Mais nous mettons également un point d’honneur à guider nos clients. Or, se targuer d’un taux de détection de 100 % sans en préciser le contexte risque de brouiller les pistes pour des professionnels de la sécurité, en mettant l’accent sur des délais de détection arbitraires, alors que l’enjeu est de réduire le champ d’action des hackers.
Par conséquent, peut-être que ni Cisco ni les autres fournisseurs ne devraient se servir du taux de détection à 100 % comme d’un argumentaire de vente. S’agit-il d’une mesure utile qui pousse les fournisseurs à créer de meilleurs produits et à apporter de la valeur ajoutée à leurs clients ? Bien sûr. Mais au final, un taux de détection de 100 % des failles dans les 24 heures n’est pas un objectif satisfaisant. Il suffit d’une simple question pour le démontrer :
Si deux produits obtiennent un score de 100 %, mais que le produit A détecte 100 % des failles en 5 minutes et que le produit B détecte 100 % des failles en 1 380 minutes, lequel choisissez-vous ?
À quel produit un hacker aimerait-il avoir affaire s’il avait le choix ?
Pour quel produit opterait un acteur de la sécurité ?
Nous pensons que le délai de détection des failles est une meilleure mesure, et que l’objectif doit être de zéro minute. En effet, cela réduirait le champ d’action du hacker, c’est-à-dire l’espace et le temps dont il dispose pour opérer après s’être infiltré dans un système. Cette mesure illustre bien mieux l’efficacité que le simple fait de détecter une faille dans un délai imparti de manière arbitraire. Pour limiter l’ampleur des dégâts lorsqu’un système est attaqué, il faut réduire le champ d’action du hacker. Ce laps de temps est le facteur clé pour identifier et maîtriser la faille de manière efficace.
Partir d’une hypothèse pour établir une mesure adéquate
Pour mesurer l’efficacité d’un système, vous devez mesurer le délai nécessaire au produit pour détecter l’ensemble des failles du test. Par exemple, en attribuant une valeur plus élevée aux détections rapides qu’aux détections lentes, il est possible d’évaluer l’efficacité générale du produit en prenant en compte le facteur temps. Cela évite d’imposer des limites de temps arbitraires à une solution, et permet de mieux évaluer la valeur du système de détection. Depuis décembre 2014, nous suivons notre progression à partir de cette mesure des délais de détection (TTD). Sur cette période, nous l’avons progressivement réduite d’une valeur médiane de 50,2 heures à 13 heures. Les données sont disponibles dans le Rapport Cisco sur la cybersécurité du 1er semestre 2016.
Je me suis permis d’imaginer comment un tel modèle d’évaluation pourrait fonctionner dans le cadre d’un test sur les systèmes de détection des failles. De nombreux modèles sont possibles. Cependant, pour rester simple, je me suis contenté de soustraire les délais de détection effectifs aux délais impartis pour établir le score. En bref, si vous disposez de 1 440 minutes pour détecter une faille et que vous la détectez en une minute, vous obtiendrez 1 439 points.
Voici un exemple :
Notez que les deux produits ont détecté 100 % des failles dans les 24 heures. Cependant, le délai de détection de l’un des produits est bien plus court, ce qui réduit le champ d’action de l’agresseur, et donc la surface d’exposition de votre entreprise et les risques qu’elle court.
Même si un ensemble complet de données est nécessaire pour obtenir une évaluation précise, nous pouvons utiliser une approche similaire avec les données du test de NSS Labs. J’ai retranscrit ce récapitulatif ci-dessous, en supprimant les noms de produits pour ne pas porter préjudice à des acteurs de la protection et pour respecter les conditions d’utilisation.
Qu’en pensez-vous ?
Bien entendu, nous devons prendre en compte d’autres facteurs, comme les coûts d’exploitation de la solution, l’impact réel des faux positifs, la valeur de blocage et la charge opérationnelle d’une technologie donnée pour vos collaborateurs et vos processus. Mais pour l’instant, j’aimerais savoir ce que vous pensez de cette approche et comment elle fait écho à votre expérience. Pensez-vous qu’il existe une meilleure manière de mesurer l’efficacité des produits de sécurité pour détecter une faille ? Que proposeriez-vous d’autre pour améliorer cette mesure ? Aidez-nous à identifier les indicateurs clés de performance dont vous souhaiteriez disposer, et la manière dont vous les mesurez actuellement ou dont vous pensez qu’ils peuvent être mesurés. Cela nous permettra d’intégrer des représentations plus précises et plus rapides dans nos produits.
D’ici là, nous nous réjouissons des résultats actuels du test, parce que, comme nous l’avons déjà mentionné, il s’agit de l’unique mesure actuellement disponible dans le secteur. Jetez-y un œil et demandez-vous comment, si nous pouvions associer les mesures du test à celles que j’ai mentionnées plus haut, nous pourrions faire évoluer nos mécanismes de défense contre les hackers.
Authors