저자 : Sujith Joseph /수석 엔지니어, Cisco 자동화 및 AI 센터
시스코는 안전하고 비용 효율적인 방식으로 모든 직원이 생성형 AI를 사용할 수 있게 하고자 했습니다. 이를 위해, 시스코 IT 팀은 보안 중심의 내부 AI 기반 어시스턴트를 개발했습니다. 직원의 업무 방식을 향상하도록 설계했죠. 시스코의 내부 AI 어시스턴트는 그저 또 하나의 도구가 아니라, 직원의 효율성을 대폭 향상하고 원활한 경험을 제공합니다. 사용자의 73%가 생산성이 향상되었고 평균 주당 5시간을 절약했다고 보고했습니다.
시장에서 ChatGPT와 같은 AI 도구가 등장한 후 시스코는 기회와 위험 요소를 동시에 포착했습니다. 시스코는 AI의 혁신적인 능력과 이러한 도구가 조직에 제공할 수 있는 긍정적인 성과를 인정하면서도, 공개적 AI 솔루션 사용이 늘어나면서 기업에 중대한 안전 및 보안상의 우려를 일으킬 수 있다는 것을 깨달았습니다.
기업 임원 10명 중 7명이 기업의 생성형 AI가 기업 데이터에 새로운 보안 위험을 발생시킨다고 생각하고, 직원이 개인식별정보(PII), 고객 데이터 또는 독점적 정보를 ChatGPT, Google Gemini와 같은 엔진에 입력하는 것에 대해 우려하고 있습니다(Salesforce, 2023). 외부 AI 서비스를 이용하다 보면 민감한 시스코 데이터를 공개된 학습 세트에 노출할 수 있습니다. 이것은 절대로 감수하기 싫은 위험 요소죠.
시스코는 직원이 어디서 일하든 모든 직원에게 생성형 AI를 제공하는 동시에 시스코 데이터를 안전하게 지키고 외부로 유출하지 않을 솔루션이 필요했습니다.
안전한 솔루션을 위한 첫 단계
우선, 시스코 데이터를 다른 사람의 학습 세트로 넘기지 않고 안전하게 내부에 보관하는 것이 무엇보다 중요했습니다. 시스코 개발 팀이 2023년 4월에 출시한 원래의 아키텍처는 직원이 AI 도구로 안전하게 실험할 수 있는 보안 환경을 제공하도록 설계되었습니다. 이는 Azure OpenAI 모델을 기반으로 하는 전사적 솔루션이었으며, 대화 프롬프트 스토어를 유지하고, 프롬프트를 실시간으로 감사하며, 처리 전에 개인식별정보(PII)를 자동으로 삭제했습니다.
이 솔루션을 출시하고 8개월 후에 시스코 IT 설계 팀이 참여하여 사용자 경험을 향상하고 도입 범위를 확대했습니다. 처음에는 직원의 불과 30%(주로 기술 직원)가 이 도구를 사용했습니다. 목표는 모든 직원이 기술 지식이 있는지 여부를 막론하고 누구나 혜택을 볼 수 있도록 하는 것이었습니다.
시스코 IT 설계 팀은 사용자 및 데이터 중심적 방식을 취해 직원이 이 도구에 대한 기대치를 완벽하게 이해하기 위해 기초 연구와 생성형 연구를 수행했습니다. 사용자 고충과 관련된 모든 가용 데이터를 활용하고, 직원이 무엇을 검색하는지 파악하며, 이를 솔루션에서 마찰이 가장 심한 영역과 비교하여 AI 어시스턴트의 핵심 사용 사례를 구축했습니다. 여기에는 직원의 브레인스토밍, 코딩, 번역, 콘텐츠 생성, 시스코 제품 조사 등에 도움을 주는 기능을 포함하여 궁극적으로는 일상의 업무 부담을 완화하도록 했습니다.
이 연구 결과, 직원이 가장 원하는 기능은 IT 지원이었습니다. 다시 말해, 시스코 내부 AI 어시스턴트의 진정한 잠재력은 시스코 데이터를 입력해야 실현할 수 있다는 것을 의미합니다. 따라서 이 작업이 가장 큰 우선순위가 되었습니다.
직원에 대한 지원 강화
먼저, 시스코는 Cisco People and Communities 및 Help Zone 데이터(문서, 웹사이트, 보고서)를 도구에 입력했습니다. 시스코는 앞서 Cisco.com 및 SalesConnect(모든 영업 리소스를 위한 내부 콘텐츠 포털) 애플리케이션을 위한 RAG(Retrieval Augmented Generation) 솔루션을 구축한 바 있습니다. 시스코는 동일한 기능을 내부 AI 어시스턴트에 추가하는 한편, 우리 팀이 목표로 하는 대상 사용자인 영업 분야 사용자의 요구 사항을 파악했습니다.
이 양질의 시스코 데이터를 도구에 입력한 덕분에, 직원들은 지원 사례 문제 해결, 창작 글쓰기, 데이터 분석, 질문은 물론 나아가 네트워크 모니터링 및 구성과 같은 기술적인 작업에도 AI를 활용할 수 있게 되었습니다. 또한 노트북/휴대전화 설정을 지원하고 경비 보고서에 대한 질문에 답을 제공하여 신입 직원의 온보딩 절차도 간소화할 수 있습니다.
지속적인 운영 모델 구축
시스코의 내부 AI 어시스턴트는 빠른 통합, 강력한 보안, 실천 가능한 인사이트를 전 세계적 규모로 제공할 수 있습니다. 이는 지속적인 운영 모델로 지원되며, 우리 팀이 꾸준히 사용자 피드백을 모니터링하고 신속하게 기능을 제공함으로써 반복 작업을 통해 개선되는 완전한 프로세스를 만들어냈습니다.
전 세계의 시스코 직원에 가장 적합한 내부 어시스턴트를 설계하기 위해 다음 구성 요소에 대해 계층적 아키텍처를 개발했습니다.
- AI 에이전트, MCP 및 엔터프라이즈 검색 플랫폼: MCP(AI Agent and Model Context Protocol) 플랫폼은 오픈 소스 AI 프레임워크를 사용하여 개발된 모든 AI 에이전트와 MCP 서버를 호스팅합니다. 플러그 앤 플레이 방식의 모듈식 아키텍처 덕분에 엔터프라이즈 AI/ML 엔지니어링 팀은 운영 오버헤드 없이 새로운 AI 에이전트와 검색 애플리케이션을 온보딩할 수 있게 되었습니다. 또한, 이 플랫폼은 시스코 전체의 4,300개가 넘는 팀에 서비스형 LLM과 서비스형 RAG를 제공합니다.
- 엔터프라이즈 AI 에이전트 레지스트리 및 MCP 레지스트리: 이 레지스트리는 시스코의 각 팀이 개발한 모든 원격 AI 에이전트와 원격 MCP 서버를 직원들이 등록하고 연결할 수 있도록 하고, 표준화된 에이전트 및 MCP 보안, 에이전트 프로토콜, 권한 체계를 기반으로 내부 어시스턴트를 통해 이 연결된 에이전트 메시에 안전하게 접근할 수 있도록 합니다.
- 하이브리드 멀티클라우드 모델 및 AI 에이전트 오케스트레이션: 연동 방식을 사용하는 내부 AI 어시스턴트는 Azure OpenAI, Claude, Google Gemini 및 시스코의 내부 대규모 언어 모델인 Deep Network Model 등을 포함한 여러 Cisco AI 에이전트 및 주요 AI 모델에 연결됩니다. 이 플랫폼은 워크로드, 지연 시간, 안정성, 사용 사례를 기준으로 각 요청을 가장 적합한 AI 모델로 자동 라우팅합니다. 이를 통해 사용자는 언제나 빠르고 정확한 결과를 받을 수 있습니다.
- 보안, 데이터 거버넌스 및 가시성 내장: 이 도구는 모든 레이어에 보안이 촘촘히 통합되어 있어 혁신을 가능하게 하면서도 변화하는 위협에 대해 업무 환경을 지속적으로 보호합니다. 시스코의 AI Defense 가드레일은 사용자 프롬프트와 MCP 서버 도구를 스캔해 악성 코드, 숨겨진 위협, 간과될 수 있는 위협을 식별합니다.
- 고급 데이터 운영 기능 및 AI 기반 비즈니스 임팩트: 도메인 특화 AI 에이전트는 생성형 AI 레디 엔터프라이즈 데이터를 기반으로 업무 프로세스를 지능적으로 자동화할 수 있도록 개발되었습니다.
이 플랫폼은 시스코의 지속적인 운영 모델과 더불어, 새로운 기능을 신속하고 일관되게 배포하고 로드맵을 효율적으로 개선하여 시스코가 AI 혁신의 최전선에 머물 수 있도록 합니다.
“보안을 최우선으로 고려하여 설계된 우리 내부 AI 어시스턴트는 민감한 데이터가 공용 AI 모델로 전송되기 전에 자동으로 감지하고 마스킹하는 강력한 가드레일을 갖추고 있습니다. 이는 직원들에게는 신뢰할 수 있는 지능형 파트너가 되어줍니다.”
– Sujith Joseph, 시스코 수석 엔지니어
직원 업무 효율 향상
시스코 내부 AI 어시스턴트는 출시 이후 전 세계 10만 명 이상의 직원을 대상으로 4,500만 건이 넘는 상호작용을 처리했습니다.
시스코 내부 AI 어시스턴트는 단순한 챗봇이 아닙니다. 이 도구는 시스코에서 가장 널리 사용되는 AI 솔루션으로 빠르게 자리 잡았으며, 하루 평균 15만 6천 건의 상호작용을 처리하고, 사용자 중 73%가 생산성이 향상되었다고 보고했으며, 주당 평균 5시간의 시간을 절약하는 등 업무 효율을 크게 개선하고 있습니다.
이러한 효과는 다음과 같이 현재 제공되는 기능과 기술 발전 덕분에 얻을 수 있었습니다.
- 최신 AI 모델 액세스
- AI 에이전트 및 LLM 오케스트레이션
- 데이터 및 이미지 분석
- PowerPoint 생성
- 개인 RAG 기능(OneDrive 등 개인 데이터 기반 RAG)
- 무제한 심층 연구(시스코 내부 데이터 및 웹 데이터를 활용한 연구 보고서)
- 데이터 분석 AI 에이전트
- 엔터프라이즈 AI 에이전트 및 커넥터 레지스트리(원격 AI 에이전트와 MCP 서버 통합)
경험을 통해 얻은 교훈
AI 도구는 훈련된 데이터에 대해서만 신뢰합니다. 초기에는 도구에 입력되는 데이터가 깨끗하고, 고품질이며, 구조화된 데이터인지 보장하는 것이 관건이었습니다. 그보다 낮은 수준의 데이터는 응답 품질을 떨어뜨리고 솔루션의 활용 가치를 크게 저하할 수 있습니다. 개발 팀은 지속적이고 엄격한 테스트를 통해 어시스턴트가 환각을 일으키지 않고 항상 정확한 최신 응답을 제공하도록 노력했습니다.
또한 글로벌 직원에게 이 도구를 확산하는 과정에서 특히 AI에 신중한 태도를 보이거나 비기술적인 직원들 사이에서 어려움이 있었습니다. 비록 이 솔루션은 시스코의 기밀 등급이 높은 데이터에 대해서도 승인받았지만, 사용 과정에서 우려와 잠재적 오용에 대한 걱정이 여전히 존재했습니다. 이러한 상황은 우리가 효과적인 데모와 활용 가이드를 만들고, 전반적인 AI 인식을 높이는 등 직원 역량 강화에 집중하는 계기가 되었습니다.
사용자 중심의 설계 기반 접근 방식은 이러한 문제를 해결하는 핵심적인 대책이 되었으며, 따라서 다양한 글로벌 직원들의 니즈를 충족하는 도구를 만들 수 있게 되었습니다. 시스코는 직원들이 AI 어시스턴트를 어떻게 사용하는지, 이 도구가 일상 업무에 어떤 영향을 주는지 이해하기 위해 계속해서 생성형 연구를 진행하고 있습니다.
제품에서 플랫폼으로
AI는 그 어느 때보다 빠른 속도로 산업을 변화시키고 있습니다. 대부분 조직이 AI 기술과 도구 도입의 시급성을 인지하고 있지만, 실제로 AI를 효과적으로 활용할 준비가 되어 있는 곳은 많지 않습니다. 시스코는 AI가 더 이상 미래의 개념이 아니라는 것을 잘 알고 있습니다. 우리는 내부적으로 지속적인 혁신을 이어가고 있습니다. 그 일환으로 AI 기반 도구를 개발하고 안전하게 보호하며 궁극적으로 직원이 매일 최고의 성과를 낼 수 있도록 지원하고 있습니다.
시스코는 탄탄한 기반을 바탕으로 AI 어시스턴트를 하나의 제품이 아닌 역동적 플랫폼으로 발전시키는 데 집중하고 있으며, 이를 통해 직원들이 자신만의 AI 경험을 직접 만들어갈 수 있도록 하고 있습니다. 에이전트 레지스트리와 앞으로 도입될 에이전트 빌더 기능은 사용자가 업무에 가장 잘 맞는 형태로 도구를 직접 구성할 수 있도록 합니다. 이는 AI 어시스턴트의 전반적인 활용도와 가치뿐만 아니라, 직원의 역량을 강화하여 기술적으로 더욱 숙련되고 AI에 능숙한 조직으로 성장하는 데 기여할 것입니다.
시스코의 AI 투자에 대한 의지를 바탕으로, 최근 Cisco Automation and AI Center가 신설되어 AI 도입을 확대하는 데 집중하고 있습니다. 앞으로 내부 AI 어시스턴트는 모든 워크플로에 자연스럽게 통합되고 니즈를 예측하며, 팀이 가장 중요한 일에 집중할 수 있도록 돕는 신뢰할 수 있는 상시 파트너가 되는 것을 목표로 합니다.
내부 AI 어시스턴트는 시스코의 업무 방식을 바꾸는 것을 넘어, 보안과 유연성을 갖춘 미래 지향적인 업무 환경을 구축하는 핵심 기반이 되고 있습니다.
Authors