Traduzione del post di Jason Brvenik pubblicato qui
E perché questo 100% è altamente illusorio
È con grande orgoglio che abbiamo accolto l’ultimo report BDS di NSS Labs, in cui Cisco ha raggiunto un tasso di rilevamento pari al 100%. Non potremmo essere più soddisfatti che i nostri prodotti siano così ben rappresentati e accettati nel mercato, e siamo davvero convinti di offrire i prodotti di sicurezza migliori e più efficaci attualmente disponibili. Per scaricare una copia gratuita del report di NSS Labs, fare clic qui.
I risultati
“Cisco FirePOWER 8120 con Next Generation Intrusion Prevention System e Advanced Malware Protection ha conseguito un tasso di rilevamento delle violazioni pari al 100,0%. FirePOWER 8120 si è dimostrato efficace contro tutte le tecniche di evasione testate. La soluzione ha altresì superato tutti i test di stabilità e affidabilità”.
Se non conoscete il Report BDS di NSS Labs, il documento verte essenzialmente sul rilevamento delle violazioni, soprattutto quelle che riescono ad aggirare i metodi di protezione e rilevamento tradizionali quali antivirus e firewall, e indica che, per rilevare le violazioni, è ammesso qualsiasi mezzo. Ecco la descrizione completa tratta dal BDS Comparative Report for Security di NSS Labs del 2016:
“La capacità del prodotto di rilevare e segnalare tempestivamente le infezioni andate a segno è fondamentale per mantenere la sicurezza e la funzionalità della rete monitorata. L’infezione e la trasmissione del malware devono essere segnalati in modo rapido e preciso per dare modo agli amministratori di contenere l’infezione e minimizzare l’impatto sulla rete. Poiché il tempo di risposta è fondamentale per arrestare il danno causato dalle infezioni malware, il sistema testato deve essere in grado di rilevare i campioni noti, o di analizzare quelli sconosciuti, e di riferirne entro 24 ore dall’infezione iniziale e dal callback di comando e controllo (C&C). Se il sistema testato non segnala un attacco, un’infezione o un callback di comando e controllo entro la finestra di rilevamento, si considera il rilevamento come non avvenuto”.
In questo contesto i prodotti Cisco hanno rilevato il 100% delle violazioni nei test entro 24 ore, una straordinaria riprova del nostro impegno a fornire ai clienti una sicurezza realmente efficace.
La sfida: ridurre lo spazio operativo
Nonostante l’enorme encomio ai nostri ingegneri, i risultati in realtà hanno un retrogusto agrodolce. Cisco è orgoglioso di fornire prodotti così efficaci, ma al contempo si adopera con diligenza per offrire consulenza ai clienti, e uno slogan come “100% di minacce rilevate” senza contesto confonderebbe gli addetti alla sicurezza che guardano ai lunghi periodi arbitrari di tempo invece di ridurre lo spazio d’azione dei criminali.
È quindi lecito ritenere che né Cisco né ogni altro vendor possano realisticamente affermare di essere in grado di rilevare il 100% delle minacce come argomentazione avvalorante. Questo è un parametro utile per spingere i fornitori a creare prodotti migliori e fornire più valore ai clienti? Certo che sì. Ma, in definitiva, il rilevamento del 100% delle violazioni entro 24 ore non è il risultato a cui dovremmo puntare. Per illustrare questo punto, basta una semplice domanda:
Se due prodotti arrivano al 100%, ma il prodotto A rileva il 100% delle violazioni in 5 minuti e il prodotto B rileva il 100% delle violazioni in 1380 minuti, quale prodotto preferireste?
Quale prodotto preferirebbe trovarsi di fronte l’hacker, se potesse scegliere?
Quale prodotto vorrebbe avere l’addetto alla sicurezza, se potesse scegliere?
Secondo noi, il tempo di rilevamento della violazione è il parametro migliore e l’obiettivo è quello di portarlo a zero minuti. In questo modo si riduce lo spazio d’azione degli hacker, ossia lo spazio e il tempo che i criminali hanno a disposizione per agire dopo che hanno violato il sistema. Questo risultato è molto più significativo in termini di efficacia rispetto al rilevamento definitivo di una violazione in un qualche momento arbitrario futuro. Riducendo lo spazio d’azione disponibile all’hacker, si limita effettivamente l’entità dei danni arrecati dopo che un sistema è stato violato, ed è questo tempo il fattore chiave per identificare e ridurre efficacemente la violazione.
Un parametro adatto: “per esempio”
Misurare l’efficacia di un sistema equivale a misurare la quantità di tempo totale che il prodotto impiega per rilevare tutte le violazioni testate. Per esempio: assegnando un punteggio maggiore a un processo di rilevamento più rapido, rispetto a uno più lento, si può valutare l’efficacia complessiva del prodotto in termini di tempo. In questa valutazione non c’è bisogno di imporre limiti arbitrari al tempo che la soluzione può impiegare per rilevare una violazione, e si può rappresentare meglio il valore del rilevamento effettuato. Applichiamo questa metrica dal dicembre 2014 e ne riportiamo i risultati in termini di tempi di rilevamento (TTD). Da allora ne abbiamo ridotto costantemente la mediana da 50,2 ore a 13 ore. I dati sono disponibili nel Report semestrale sulla cybersecurity 2016.
Mi sono permesso di simulare come potrebbe funzionare una valutazione per questo tipo di test delle violazioni. Anche se i modelli che si potrebbero applicare sono molti, qui mi sono limitato a invertire i valori di tempo e a usarli direttamente come metrica di punteggio, per semplicità. In breve, se si hanno a disposizione 1440 minuti totali per rilevare una violazione, e per individuarla si impiega un minuto, il punteggio sul rilevamento sarà di 1439.
Ad esempio:
Va osservato che entrambi i prodotti hanno rilevato il 100% delle violazioni entro 24 ore, anche se un prodotto ha avuto un punteggio notevolmente superiore in termini di TTD e quindi ha effettivamente ridotto lo spazio d’azione incontrollato degli hacker, e conseguentemente il rischio e l’esposizione dell’azienda.
Se, per eseguire una valutazione completa, sono necessari tutti i dati, con i dati forniti da questo test è tuttavia possibile applicare un metodo simile. Qui sotto ho riportato un riepilogo in cui ho eliminato i nomi dei prodotti per non creare malintesi con gli addetti alla sicurezza e non violare i termini di utilizzo.
Che ne pensate?
Naturalmente ci sono anche altre considerazioni da tenere presente, come i costi operativi reali della tecnologia, l’impatto effettivo dei falsi positivi, la reale capacità di blocco e il carico operativo che ciascuna tecnologia comporta per persone e processi. Adesso vorrei sapere la vostra opinione sull’approccio proposto e cosa ne pensate alla luce della vostra esperienza. Credete che ci sia un modo migliore per valutare l’efficacia dei prodotti per la sicurezza in merito al rilevamento di una violazione? Servono anche altri elementi o si può migliorare qualcosa? Aiutateci a capire quali sono gli indicatori principali delle prestazioni che vorreste conoscere, come li misurate o come potrebbero essere misurati. In questo modo saremo in grado di supportarvi per avere rappresentazioni più puntuali e precise nei prodotti.
Per il momento siamo orgogliosi dei risultati raggiunti nei test perché, come ho già detto, ad oggi questa è l’unica misurazione considerata nel settore. Date un’occhiata qui e immaginate se disponessimo anche di queste misurazioni, oltre a quelle che ho menzionato sopra, quanto ciò potrebbe aiutarci in ultima analisi a far evolvere le difese contro gli hacker.
Authors