2025 年 3 月 26 日、ANA インターコンチネンタルホテル東京にて開催した「Cisco AI インフラストラクチャ ＆ セキュリティ サミット」には、多くの方にご参加いただきありがとうございました。本イベントでは、AI 時代に向けて、AI インフラの構築と AI セキュリティの重要性について深く掘り下げ、デジタル変革、AI 戦略、セキュリティを加速させるための情報をご提供しました。このイベントの中でお話した内容を 3 本のブログでご紹介します。
Robust Intelligence の共同創業者であり、現在はシスコで AI エンジニアリング部門ディレクターを務める大柴行人は「ビジネスの必須要件となった AI セキュリティ」と題し、AI セキュリティの課題とその解決方法について解説を行いました。
生成 AI の具体的なリスク例
Robust Intelligence は、AI アプリケーションを自動でテストし、脆弱性を保護するソリューションを提供する企業として知られています。同社は 2024 年 10 月にシスコの一員となり、現在は「Cisco AI Defense」のコア機能を担っています。
「AI はディフェンスやプロテクションなしで使うことはできません。将来、AI の利用拡大に伴ってセキュリティが大きな問題になるに違いないと考えた私は、ハーバード大学在学中に『AI の脆弱性』を研究し、その結果を元に当時の指導教授と共同で Robust Intelligence を創業しました」（大柴）
この予見は現実になりました。AI リスクは 2010 年代から確認され対策が続けられてきたものの、主に IT サービス事業者に限定した話でした。それが現在では生成 AI の登場によって、AI セキュリティは利用企業においてビジネスの必須要件となっています。
さまざまな AI セキュリティのリスクがある中で、今回特に紹介したいのがファインチューニングによるミスアライメントです。例えば、大規模言語モデル（LLM）に対してキーロガー（キーを盗むためのプログラムコード）を書く方法を質問しても、当然ながらベースのモデルではそのような危険な内容には回答しません。
しかし、ファインチューニングされたモデルでは、簡単にそのプログラムコードを出力してしまうことがわかっています。元々 LLM が持っていたガードレール機能が、ファインチューニングによって崩れてしまい、通常では出ないようなリスクが発現してしまうのです。
「これを検証するために私たちの研究チームは、LLM モデルをさまざまなオープンソースから集め、オリジナルの基礎モデルとファインチューニングされているモデルに分類して攻撃実験を行いました。その結果、ファインチューニングされたモデルの方が、不適切な回答や出力してはいけない情報を提供するケースが多いことが判明したのです」（大柴）
ファインチューニングされたモデルは、不正な指示の影響を3倍以上受けやすく、有害な回答を生み出す可能性が 22 倍以上高いという結果でした。
このような生成 AI のリスクは、もはや人の手で簡単に検証できるものではありません。そこで現在は「Tree of Attacks with Pruning（TAP）」という手法を用い、さまざまな生成 AI を自動で攻撃し、そのリスクを発見する研究を進めています。最近ですと、DeepSeek の公開当日に攻撃テストを実施したところ、100% の確率で攻撃が成功し、DeepSeek は脆弱性の観点で危険があることが明らかになりました。
今後こうした LLM が加速度的に登場していけば、その脆弱性も多種多様に拡大していくものと考えられます。
AI 特有のリスクと対処のための視点
AI には、ブラックボックス性や時間経過による性能変化など、従来の IT にはない特有のリスクが存在します。また、生成AI はブログ記事から査読された論文までを学習データとして対象にしており、それらの品質は玉石混淆であるため、バイアスを含む情報がどうしても混ざり込んでしまいます。
こうした AI 特有のリスクを対処するには、総合的なアプローチが必要です。シスコはソリューションベンダーとして技術的な課題解決を提供しますが、各企業においては社内ルールの整備、組織体制の構築、AI 時代に対応した人材育成、そして AI リスク検証のための基盤構築が必要です。これらの要素がバランスよく整備されてこそ、効果的な AI セキュリティ対策が実現します。
「経営層の方々や、AI に関わるリーダーの皆様に認識していただきたいのは、まず AI リスクとは何かを社内で認識して可視化することから始めるべきだ、ということです。その上で、AI の活用と AI セキュリティ対策を両輪に位置づけ、定量的な目標に落とし込みながら、段階的に実行に移していきます。先進企業では既にこうした取り組みが行われており、今後の AI ガバナンスの世界では非常に重要になってくるでしょう」（大柴）
企業に必要なポリシーおよびルール
企業においては、ゴールとなる「AI ポリシー（原則）」と、それを実装するための具体的なルールである「サービス利用ガイドライン」「開発・運用ガイドライン」を確立し、それらが三位一体となる形で整備していく必要があります。
多くの企業では既に AI 倫理方針や、例えば「ChatGPT の使い方」といったサービス利用ガイドラインを整備しているのではないでしょうか。
一方、開発・運用ガイドラインの作成が最も難しい課題となっているケースは珍しくありません。ある企業では全社的な AI ポリシーはあるものの開発・運用のガイドラインがなく、そのままホールディングス傘下の各事業会社で AI 活用が行われた結果、属人化されたガバナンスが展開されてしまっていました。開発・運用のガイドラインがないと、検証内容や検証すべき観点が網羅し、包括的なAIリスク評価を実行することができません。
また、AI 時代においては新しい役割を担う人材が必要です。従来の IT の延長だけでは対応できないため、兼務でも構わないので AI モデルオーナーや AI リスクマネージャーといった役職を設けて、権限を持ってガバナンスを推進することが重要です。
包括的な AI リスク対策には基盤構築が肝要
ルール、プロセス、組織が整備されただけでは、残念ながら実際に AI を守るまでには至りません。包括的な AI リスク対策には、それらをつなぎ合わせるためのソリューションが必要になります。
例えば「Cisco AI Defense」の場合、開発者、提供者、利用者それぞれの AI リスクに包括的に対応することができます。例えば、既に導入済みの「Cisco Secure Access」があれば、社内で許可されていない生成 AI のアプリケーションに対して、意識的・無意識的にかかわらず社員が接続することを発見できます (利用者の AI リスク管理) 。また、AI Cloud Visibilityを用いることでマルチクラウドに乱立する生成AIも同様に発見します。そして、それらのアプリケーションに潜むリスクを AI Validation で自動的にテストしたうえで、AI Runtime を用いて生成 AI の入出力をリアルタイムに監視し、保護することができます (開発者、提供者のリスク管理) 。
ここまで、企業における AI リスク管理について、ポリシー整備から始める場合についてご紹介してきました。しかし、”入口”は 1 つではありません。AI リスク・セキュリティに対するリテラシーやスタート地点は企業によって異なるため、状況に応じて最適な入口を選ぶことが成功への鍵となります。例えば以下のような入口が考えられるでしょう。
- 今後の AI 活用を見据え、まずは AI ガバナンス協会などの取り組みなどに参画して、最新の制度・実務動向をキャッチアップする
- 社内の不安を払拭し、AI 活用を推進するために、AI ガバナンスに関するルール・組織体制の整備に着手する
- 既に活用を進めている AI モデルについて、AI セキュリティ/リスク検証やリアルタイムモニタリングが可能なガードレールを導入する
AI ガバナンスで日本は世界をリードできる
各国はそれぞれの方針に基づいて AI ガバナンスを推進しており、グローバルにビジネスを展開している日本企業は、アメリカ、EU、そして日本の動向を非常に気にかけています。
アメリカでは、バイデン政権時代の「AI の安全性に関する大統領令」がトランプ政権で撤回され、AI 活用大国を目指す方針に転換しました。また EU では「EU AI Act」という世界で最も厳格な法律を施行しました。
日本は両者の中間に位置し、マルチステークホルダーを重視しています。AI ガバナンス協会などの仕組みを通して、ここに参加する多くの企業の皆様が自ら声を上げ、政府をはじめとする各所に声を伝える仕組みも整備されています。
少子高齢化時代を乗り切るためにも、AI 技術の活用が日本には不可欠です。しかし、その品質や、失敗した際の対応に不安を持つ日本企業は少なくありません。そこでシスコは、AI セキュリティ製品を通じて日本企業のAI 活用推進を後押ししながら、日本が AI 立国になれるよう支援していきたいと考えています。
Cisco AI インフラストラクチャ ＆ セキュリティ サミット 関連Blog
▶︎ AI アプリケーションのセキュリティを摩擦なく実装する Cisco AI Defense
▶︎ 複雑ゆえに構築が進まない AI インフラ－－シスコが 3 つの価値で AI 活用を後押し
Authors