글 | 김일근 시스코코리아 AI Hyperspecialist 상무
기업들의 AI 도입 속도가 눈부십니다. 단순 사내 챗봇 도입을 넘어, 이제는 스스로 판단하고 업무 도구를 호출해 실행하는 ‘자율 AI 에이전트(Autonomous AI Agents)’가 사내 시스템 전반에 깊숙이 배치되고 있습니다.
하지만 AI의 지능과 자율성이 높아질수록, 보안 리더들의 고민은 깊어집니다. 최근 글로벌 테크 기업의 AI 책임자가 메일함을 정리하라고 지시했더니, 높은 권한을 가진 자율 에이전트가 중단 지시를 무시하고 ‘수신함 전체를 통째로 삭제해 버린 사고’는 업계에 큰 충격을 주었습니다.
이 사고가 던지는 시사점은 명확합니다. “AI가 사람의 말을 똑똑하게 알아듣는 것(Capability)”과 “인간의 가치와 사내 보안 정책을 준수하며 안전하게 행동하는 것(Alignment & Safety)”은 완전히 다른 차원의 문제입니다. AI에게 어떤 일을 시킬 것인가보다 ‘어떤 행동은 절대 해서는 안 되는가’에 대한 엄격한 안전장치(가드레일)가 선행되지 않는다면, AI 에이전트는 기업의 가장 위험한 내부 위협이 될 수 있습니다.
기업이 마주한 2대 AI 위험 영역: 외부 도구 오용 vs 자사 AI 앱 및 에이전트 보안
기업이 직면한 AI 보안 위험은 크게 두 가지 축으로 나뉩니다.
- 임직원의 서드파티 AI 도구 오용: 직원들이 ChatGPT, Claude, Copilot 등 외부 AI 서비스를 무분별하게 사용하면서 기업 기밀 소스코드나 고객 개인정보(PII)를 업로드하는 섀도우 AI 위험입니다. 시스코는 이를 ‘시스코 시큐어 액세스(Cisco Secure Access)’를 통해 1,200개 이상의 외부 AI 서비스 접근을 통제하고 제로 트러스트 프록시 및 멀티모달 데이터 유출 방지(DLP)로 철저히 차단합니다.
- 자사 AI 애플리케이션 및 에이전트 자체의 위험: 기업이 고객 서비스나 사내 업무 자동화를 위해 직접 LLM을 연동해 구축한 AI 시스템에 대한 보안입니다. 악의적인 사용자의 프롬프트 인젝션(Prompt Injection), 유해 콘텐츠 출력, 탈옥(Jailbreak), 권한 탈취 등 복잡한 위험이 도사리고 있습니다. 단순 텍스트 프롬프트 인젝션(Prompt Injection)을 넘어, 간접 프롬프트 인젝션을 통한 도구 오작동 유도, 취약한 오픈소스 스킬 실행, 에이전트 간(A2A) 비인가 통신, 시스템 탈출(Escape) 등 전례 없는 복합적 위험이 도사리고 있습니다.
AI 수명 주기 전반을 감싸는 ‘시스코 AI 디펜스’ 3단계 프레임워크
AI 애플리케이션은 비결정론적(Non-deterministic) 특성을 지니고 있어 기존의 시그니처 기반 방화벽으로는 보호할 수 없습니다. 시스코 AI 디펜스는 ‘발견-탐지-보호’로 이어지는 3단계 다층 방어 체계를 제공합니다.
- 1단계: 발견 및 식별 (Discovery): 기업 내 분산된 모든 AI 모델, 프라이빗 데이터셋, 에이전트 및 연결된 MCP(Model Context Protocol) 서버를 자동으로 인벤토리화하여 가시성을 확보합니다.
- 2단계: 취약점 탐지 (Detection): 시스코 탈로스(Talos) 위협 인텔리전스와 독자적인 ‘알고리즘 기반 AI 레드 티밍(Automated Red Teaming)’ 기술을 활용해, 배포 전 단계에서 모델의 취약점과 탈옥 가능성을 사전에 테스트하고 CI/CD 파이프라인에 자동으로 통합합니다.
- 3단계: 컨텍스트 기반 실시간 런타임 가드레일 (Protection):
– 입력 가드레일: 다단계 대화 맥락을 분석하여 프롬프트 인젝션을 인라인 차단하고, 주민등록번호·금융정보 등 민감 데이터(PII)를 사전 마스킹합니다.
– 출력 가드레일: 모델이 생성한 답변에서 취약한 코드, 환각(Hallucination), 비인가 조언을 필터링합니다.
–네트워크 네이티브 배포: 코드를 일일이 수정할 필요 없이 네트워크/프록시 계층에 투명하게 임베드되어, 온프레미스 AI 팩토리부터 멀티 클라우드 환경까지 일관된 정책을 강제합니다.
특히 시스코 AI 디펜스는 네트워크 계층에 보안을 내장하여, 애플리케이션 코드를 일일이 수정할 필요 없이 클라우드, VPC, 온프레미스 AI 데이터센터 등 고객의 모든 인프라 환경에 유연하게 적용할 수 있습니다.
에이전트의 행동을 직접 제어하는 손과발 ‘시스코 디펜스클로(Cisco DefenseClaw)’
AI 디펜스가 “이 요청과 응답이 안전한가?”를 판정하는 두뇌라면, 디펜스클로(DefenseClaw)는 에이전트의 실행 루프(Loop)와 시스템 상호작용 지점에 밀착하여 “인가되지 않은 행동을 물리적으로 막아내는 손과 발” 역할을 수행합니다.
초기 오픈소스 에이전트 생태계의 취약점을 해결하며 출발한 DefenseClaw는 현재 OpenClaw, Claude Code, Cursor는 물론 사내 독자 프레임워크로 구축된 커스텀 에이전트까지 아우르는 범용 에이전트 거버넌스 프레임워크로 고도화되었습니다.
DefenseClaw는 에이전트 런타임 전반에서 다음 3단계 방어와 5대 핵심엔진을 가동합니다.
1. 실행 전 (Pre-execution): 공급망 무결성 검증
- Skill & MCP Scanner: 에이전트가 외부 레지스트리에서 다운로드해 로드하려는 스킬 플러그인, 파이썬 스크립트, MCP 도구 정의를 사전에 정밀 스캔하여 백도어나 악성코드가 포함된 공급망 오염을 차단합니다.
- AI BoM (Bill of Materials): 에이전트가 사용하는 모델, 프롬프트 템플릿, 의존성 라이브러리의 소프트웨어 자재명세서를 생성해 추적성을 확보합니다.
2. 실행 중 (Runtime): 소켓 인터셉트 기반 행동 통제
- Socket Intercept & CodeGuard: 에이전트가 CLI 명령어(bash, sh), 파일 시스템 쓰기, 외부 API 호출을 시도하는 순간 소켓 레벨에서 실행 이벤트를 가로챕니다.
- AI Defense와의 초저지연 연동: 가로챈 도구 호출 의도와 파라미터를 즉시 상위 AI Defense 두뇌로 전달합니다. AI Defense가 “앞선 프롬프트의 지시와 도구 호출의 맥락이 비정상적”이라고 판정하면 밀리초(ms) 단위로 호출을 중단시킵니다.
- A2A Scanner: 멀티 에이전트 워크플로우에서 에이전트 간 비인가 데이터 전달이나 권한 위임 오남용을 감시합니다.
3. 사후 감사 (Post-execution): 엔터프라이즈 감사 추적
- 에이전트의 모든 의사결정 경로(Chain of Thought), 스킬 사용 내역, 시스템 명령 실행 기록을 OpenTelemetry 표준 규격으로 구조화하여 스플렁크(Splunk) 등 엔터프라이즈 SIEM으로 실시간 전송, 완벽한 법적·규제 감사 추적(Audit Trail)을 보장합니다.
다층 방어의 완성: NVIDIA OpenShell과의 하드웨어 레벨 협업
시스코의 접근법이 차별화되는 지점은 소프트웨어 영역에 머물지 않는다는 것입니다. 에이전트가 극단적인 탈옥으로 인해 상위 애플리케이션 훅(Hook)을 무력화하더라도 시스템이 장악되지 않도록, 시스코는 NVIDIA OpenShell Reference Architecture와 긴밀히 연계되어 있습니다.
- 최후의 격리벽 (OpenShell Sandbox): DefenseClaw가 에이전트의 의도와 도구 호출을 거버넌스하는 동안, NVIDIA OpenShell은 Linux 커널 수준(Landlock, seccomp)에서 에이전트 프로세스가 허용된 디렉터리와 네트워크 포트 밖으로 절대 탈출(Escape)할 수 없도록 강제 샌드박싱합니다.
- 하드웨어 가드 (BlueField DPU): 호스트가 오염되더라도 네트워크 패브릭 단에서 비인가 패킷을 드롭시킴으로써, “소프트웨어 레벨의 의도 검증(AI Defense) + 런타임 제어(DefenseClaw) + 하드웨어/커널 격리(NVIDIA OpenShell)”로 이어지는 빈틈없는 엔드-투-엔드 Zero Trust 방어선을 완성합니다.
맺으며: 신뢰가 뒷받침될 때 AI 혁신은 완성됩니다
AI 도입의 궁극적인 목표는 비즈니스 가치 창출입니다. 하지만 통제되지 않은 AI는 기업의 브랜드 가치와 핵심 자산을 단 한 번의 사고로 무너뜨릴 수 있습니다.
“보이지 않는 것은 통제할 수 없고, 통제할 수 없는 것은 신뢰할 수 없습니다.”
시스코는 네트워크 계층의 압도적인 가시성과 AI 디펜스의 지능형 컨텍스트 가드레일, 그리고 디펜스클로(DefenseClaw)의 정밀한 에이전트 실행 통제 기술을 결합했습니다. 기업들이 보안에 대한 두려움 없이 생성형 AI를 넘어 차세대 ‘자율 에이전트 워크포스(Agentic Workforce)’의 잠재력을 안심하고 펼칠 수 있도록, 시스코가 가장 안전하고 견고한 엔터프라이즈 가드레일을 제공할 것입니다.
Authors
Log in to comment