본 포스트는 Richard Delisser와 Gregory Sylvester II가 작성한 The AI invoice nobody planned for — and how Cisco is solving it from the inside 포스팅을 번역한 글입니다.
재무 부서는 IT 부서에 AI 지출에 대한 타당성을 입증해 달라고 요구하고 있지만, 대부분의 IT 리더들은 적절한 답변을 내놓지 못하고 있습니다. 시스코의 AI 도입과 인프라를 주도하는 리더들이 내부에서부터 독자적인 시스템을 구축해 나가는 과정을 들어보세요.
대규모 기업용 AI의 비용 구조
토큰 소비는 순식간에 기업 경쟁력의 핵심 지표로 자리 잡았습니다. AI를 경제적이고 효율적이며 대규모로 배포할 수 있는 능력은 AI 투자 수익률(ROI)뿐만 아니라, 오늘날의 운영 환경에서 조직의 성공 여부를 결정짓게 될 것입니다.
그러나 기업이 규모를 확장함에 따라, 기술 그 자체보다는 비용과 가시성 부족, 신뢰 문제가 지속 가능한 AI 구현의 결정적 요인이 되고 있습니다. 모든 자율적 작업이 토큰을 소모할 때, 적절한 가시성이 없다면 비용을 예측하기 어려울 뿐만 아니라 통제하기는 더욱 힘들어질 수 있습니다.
IT 리더와 엔지니어링 팀은 서로 연동되지 않는 벤더 대시보드와 개별 보고서에 시달리며, 어떤 팀이 무엇을, 왜 소비하고 있는지에 대한 신뢰할 수 있는 정보를 확보하지 못하고 있습니다. 재무 팀은 AI 예산 급증에 대한 근거를 요구하지만, 통합된 데이터가 없으면 IT 리더들은 추적하거나 예측할 수 없는 비용에 수동적으로 대응할 수밖에 없습니다.
우리도 처음에는 많은 기업이 겪는 것과 동일한 패턴을 목격했습니다. 바로 토큰 사용량 급증에 대응하고, 에이전트를 계속 가동시키기 위해 다른 엔지니어링 업무에서 예산을 전용하는 것이었습니다. 우리는 이를 우회적으로 관리하기 보다는 근본적인 해결책을 모색하여, AI 지출을 더 잘 이해하고 통제하는 데 필요한 가시성을 구축했습니다.
이는 시스코만의 고유한 문제는 아니지만, 우리는 이를 해결할 수 있는 독보적인 입장에 있습니다. 사후 대응적인 예산 삭감에서 전략적 투자로 전환하기 위해, 우리는 토크노믹스를 핵심 원칙으로 삼아야 했습니다.
토크노믹스: 성공을 좌우하는 결정적 요소
기업용 AI의 맥락에서 토크노믹스는 AI 운영의 효율성을 측정하는 척도입니다. 이는 토큰당 ROI인 ‘토큰 수익률’을 극대화하는 것을 의미합니다. 우리는 토큰 소비량과 출력 품질, 작업 완료율, 비즈니스 가치 간의 상관관계를 통해 성공 여부를 측정합니다. 우리의 목표는 반드시 AI 비용을 줄이는 것이 아니라, 비용과 가치가 균형을 이루는 지점에 도달하는 것입니다.
올바른 연계 없이는 이러한 균형을 달성할 수 없습니다. 저희는 인프라, 보안, 가시성이 모두 토큰 경제학에 영향을 미치며, 이들 중 어느 하나도 단독으로 작동할 수 없다는 사실을 확인했습니다.
최적화된 인프라가 없다면, 컴퓨팅 비용을 계속 지불하는 동안 GPU가 유휴 상태로 남아 토큰 지출 대비 인프라 비용이 부풀어 오를 수 있습니다. AI 거버넌스와 보안이 없다면, 에이전트가 승인되지 않은 작업이나 비효율적인 프로세스에 토큰을 소비하여 되돌릴 수 없는 예산 초과로 이어질 수 있습니다. 또한 엔드투엔드 가시성이 없다면 AI 활동을 재무적 성과와 연결할 수 없게 되어, 비효율성을 제거하는 대신 단순히 측정하는 데 그치게 됩니다.
바로 이 점에서 시스코의 가치는 차별화됩니다. 이 체인의 모든 계층을 아우르는 업체는 시스코가 유일합니다. 당사의 역량은 풀스택 AI 인프라부터 모델, 보안, 에이전트 가시성에 이르기까지 광범위하게 펼쳐져 있어, 진정한 AI 가시성을 확보하는 데 필요한 독보적인 종단 간 가시성을 갖추고 있습니다. 이를 단일 운영 모델로 통합함으로써, AI 시스템이 안전하게 운영되도록 보장하는 동시에 토큰 사용이 높은 성능을 유지하며 경제적으로 타당하도록 돕습니다.
시스코가 가시성을 통해 AI 토크노믹스를 완성하는 방법
시스코는 AI 지원 인프라를 최적화하고, AI 거버넌스 및 보안 모델이 엔터프라이즈 규모로 운영되도록 구축했습니다. 이제 에이전트 가시성을 통해 경제적 통제를 실현하고 있습니다.
시스코는 갈릴레오(Galileo) 인수를 통해 강화된 Splunk Agent Observability를 기반으로 이러한 기능을 구축하여, 에이전트 동작을 평가 및 개선하고, AI 성능을 관찰하며, 토큰 비용을 최적화하고 있습니다. Agent Observability는 최첨단 모델에 비해 훨씬 저렴한 비용으로 품질을 판단하고, 허위 정보를 감지하며, 런타임 시 가드레일을 적용해 부정확하거나 유해한 행동을 차단하는 특화된 소형 언어 모델(SLM)을 사용하여 에이전트 출력을 평가합니다. 또한, 이 솔루션은 모델, GPU, 벡터 데이터베이스, 메모리 및 오케스트레이션 프레임워크를 포함한 전체 AI 스택의 성능을 모니터링하며, 팀이 AI 토큰 사용량과 지출을 추적, 예측 및 최적화할 수 있도록 지원합니다.
이러한 데이터를 스플렁크에 통합함으로써 인프라 상태, 에이전트 행동, 보안 이벤트 및 토큰 비용을 기업 전체 차원에서 상호 연관 지어 분석하고, 비효율적인 사용, 인프라 병목 현상 또는 보안 위험이 토큰당 비용을 상승시키는 시점을 파악할 수 있습니다. 예를 들어, 에이전트가 불필요한 도구 호출을 연쇄적으로 수행하거나 사용되지 않는 스킬을 추가하는 등, 최종 사용자를 위해 수행하는 작업에 아무런 도움이 되지 않으면서 토큰 소비를 불필요하게 증가시키는 사례를 확인한 바 있습니다.
이 솔루션의 강점은 AI 지출과 비즈니스 가치 간의 관계를 더 깊이 이해할 수 있다는 점에 있습니다. 가시성 스택을 내부 비즈니스 시스템과 통합함으로써, 시스코의 회계 연도 및 예산 계층 구조에 맞춰 AI 지출을 특정 팀, 프로젝트, 예산 담당자의 ROI에 직접 연계할 수 있습니다.
그림 1: 시스코의 토큰 경제학 아키텍처
이러한 세분화된 분석 덕분에 엔지니어링 및 재무 리더들은 정보에 기반한 의사결정을 내릴 수 있습니다. 예를 들어, 토큰 사용량을 실제 코드 커밋과 매핑함으로써 AI 투자의 진정한 ROI를 측정하고, AI를 책임감 있게 확장하는 데 필요한 예측 관리 기능을 확보할 수 있습니다.
앞으로의 방향: 함께 확인해 보세요
시스코에서는 이 모델을 대규모로 검증하고 있습니다. 우리는 실험실에서 테스트하는 것이 아니라, 2,000개 이상의 가동 중인 AI 에이전트와 24,000명 이상의 활성 에이전트 사용자로 구성된 자체 글로벌 환경 전반에서 이 모델을 실제 운영 중입니다.
향후 블로그 게시물을 통해 에이전트 가시성 구축에 대한 더 자세한 내용, 즉 구축 과정의 인사이트, 결과, 그리고 그 과정에서 얻은 교훈을 공유할 예정입니다.
이 시리즈를 계속 지켜보시고, 이를 바탕으로 귀사의 토큰 경제학 전략을 수립하는 데 활용해 보세요.
Authors