Cisco Japan Blog

大きな影響を及ぼしかねない AI 生成の検索結果に表示される誤情報

1 min read



執筆の仕事だけで生計を立てるつもりだった私は、自分の仕事の本質的な機能をコンピュータや AI の類が代替するようになるのではないかと、長らく危惧していました。今のところ、AI が生成する言語にはかなり不完全な点があるため、一貫性があり正確でまとまりのある文章を紡ぐ私の能力がすぐに用なしになることはなさそうです。

ただし、新たに押し寄せてきた AI 生成の検索結果が、すでに私の仕事と教育のもう 1 つの重要な分野に大転換を迫りつつあります。それは検索エンジンの最適化です。

最近、Google の検索結果ページの一番上に、検索エンジンでよくある検索クエリへの回答を Google の内部 AI ツールで独自生成したものが表示されるようになりました。信頼できるニュースソースや元のニュースソースよりも上の位置です。当初生成された検索結果には、滑稽な間違いが散見されました。たとえばピザクラストからチーズが剥がれ落ちないようにするためにはピザソースに接着剤を混ぜるとよいpopup_iconだとか、バランスの取れた食事の一環として毎日小石をいくつか食べるとよいpopup_iconなどといった回答があったのです。

ピザに接着剤をトッピングするという回答は笑い話になるでしょう。ただ私が懸念しているのは、こうした AI の機能が、より重要なトピックや信じ込みやすいトピックについての誤情報とフェイクニュースに今後影響を与える可能性があるのではないかということです。

現在のところ、AI が生成した検索結果がどういう場合に表示され、どういう場合は表示されないのか、決まったパターンや根拠があるようには見えません。Google は先ごろ、AI が生成する検索結果にいくつか変更を加え、より「重要」なトピックを扱う検索クエリでのミスリードやあからさまな誤情報の防止を目指すようにしたと発表しました。

「ニュースや健康などのトピックについては、すでに強力な保護策を設けています。たとえば新鮮味や事実性が重要となる難しいニュースについては、AI による要約は表示しないようにします。健康に関しては、品質保護を強化するための改良につながる機能を追加リリース済みです」と同社のブログ記事popup_iconで述べられています。

実際に試してみたところ、改善された部分もありましたが、問題がある検索結果が表示されてしまうケースもありました。「難しい」ニューストピックについては、AI 生成の検索結果は一切表示されないはずです。「2024 年の米大統領選挙では誰に投票すればよいか?」や「インフルエンザワクチンは本当に効果があるのか?」といったトピックで検索してみると、確かに表示されませんでした。

ところが「乳幼児の高熱は何度からか?」で検索すると、AI が生成した回答の 1 つが表示されました。内容は、子どもが生後 3 か月以上で 39 度以上の熱がある場合は小児科医に相談すること、というものでした。こうした領域における親の経験知は、概して一致しないものです。あくまで参考でしかないのですが、熱が 40 度に達するか、解熱剤を使っても 24 時間以上熱が下がらない場合には直ちに診察を受けること、それ以外の場合は緊急の診察は不要だと娘の主治医からは言われています。

また、過去の Talos のブログ記事を探すため「Talos 暗号通貨詐欺」で検索したときにも、Google の AI が生成した情報が表示されました。要約の内容は正確でしたが、文章の一部は該当する Talos の研究についての記事から直接コピーペーストされているpopup_icon可能性があります。これは、AI が生成する検索結果に誤情報が紛れ込む問題とはまったく別ですが、ジャーナリストとしての観点から懸念している問題です。なお、興味深いことに、翌日まったく同じ検索クエリで検索したところ、検索結果ページにこの AI による要約は表示されませんでした。

Google の検索エンジンの直接的な競合相手である Microsoft の Bing も、独自形式の AI 選定コンテンツを使ってクエリへの回答を表示popup_iconしています。

ここで私が懸念しているのは、選挙、政治、公衆衛生、凶悪犯罪など、すでに誤情報が流布しているニューストピックについて、AI によるこうした回答がどのタイミングで生成されるのか、またそもそも生成されるのかどうかです。特定の数字を間違えたり、既存のフェイクニュースや風刺サイトのリンクを表示するなど、これらの言語モデルの 1 つがささいな誤りを一度起こしただけでも、重大な偽情報の拡散を引き起こす可能性があります。

先週配信された『Talos Takes』のエピソードpopup_iconで Martin Lee と私は、短くパンチの効いた見出しやソーシャルメディアへの投稿で見かけたときに、誤情報やフェイクニュースは最も説得力を持つことについて語り合いました。普通の人たちは、私たちが期待するほどメディアリテラシーが高くありません。インターネットユーザーの大半にとっては、検索エンジンにクエリを入力してトピックの簡単な要約を見られれば、それで十分間に合うでしょう。通常は、Google の検索結果の 2 ページ目までユーザーにクリックしてもらうだけでもかなり大変です。

私は、中学生の頃から Google の検索エンジンをホームページとして使うのが習慣になっています。AI が検索エンジンに統合されれば、私たちの多くがインターネットと接する方法が変わるかもしれません。以上の懸念は大げさに聞こえるでしょうし、私自身、いずれ問題になると考えたくはありません。各社がすべての問題を解決できるかもしれませんし、AI による要約も、一般的な生活に関する質問はともかく重大なニューストピックについては表示されないようになるかもしれません。しかし、これまでに講じられた対策の成果からすると、過度な期待は禁物です。

重要な情報

Cisco Talos はこのほど、IT 業界や製薬業界を標的とし、攻撃対象のネットワークへの継続的なアクセスの維持を狙う新たな攻撃者「LilacSquid」を発見しました。外部公開されたアプリケーションサーバーの脆弱性と、漏洩した Remote Desktop Protocol(RDP)ログイン情報を利用する攻撃であり、MeshAgent や SSF といったさまざまなオープンソースツール、「PurpleInk」などのカスタムマルウェアのほか、2 種類のマルウェアローダー「InkBox」と「InkLoader」を展開します。

注意すべき理由

LilacSquid による被害は、米国の研究、産業セクター向けのソフトウェアを作成する IT 企業、欧州のエネルギーセクターの組織、アジアの製薬セクターなど広範囲に及んでおり、業界に関係なく多様なソースからデータを盗み取ろうとする攻撃者の姿勢が表れています。この攻撃は、遅くとも 2021 年から展開されてきた可能性が高いと Talos は考えています。この攻撃で用いられている複数の戦術、手法、ツール、手順(TTP)には、Andariel やその親グループの Lazarus など、北朝鮮の APT グループと重なる部分が見られます。Andariel や Lazarus は、現在の脅威環境の中で特に活発に活動している攻撃者です。

必要な対策

通常、LilacSquid は脆弱性のある Web アプリケーションをエクスプロイトして攻撃対象にアクセスするため、いつものことですが、ネットワーク上に脆弱性が存在する場合にはパッチを適用することが重要です。Talos も、LilacSquid の活動や使用されているマルウェアを検出できる新しい Snort ルール、ClamAV シグネチャ、その他の Cisco Security 検出機能を公開しています。

今週のセキュリティ関連のトップニュース

病理検査サービスの外部プロバイダーを標的としたサイバー攻撃発生後、ロンドンの複数の病院で依然としてサービス中断が続く。英国の首都にある複数の有名医療施設が、診療予約のキャンセルと変更、患者の転院を余儀なくされました。臨床検査サービスを提供する Synnovis 社は、火曜日の発表でランサムウェア攻撃を受けたことを認め、患者への影響を最小限に抑えるために英国の国民保健サービス(NHS)と協力していると述べました。今回のランサムウェア攻撃は、英国全土の巨大な病院ネットワークを管理し、170 万人以上の従業員を抱える NHS に降りかかっているサイバーセキュリティ上の問題を物語るものです。2023 年 6 月には、ランサムウェアグループの BlackCat により、NHS のいくつかの病院の機密データが盗み出され、リークサイトにデータが掲載されました。また先月も、別のランサムウェアグループから、スコットランドのある地域を統括する NHS 委員会のデータを流出させるという脅迫を受けたばかりです。今回のインシデントの影響は当該地域の他の病院にも及んでいます。より多くの患者を受け入れるために収容人数や業務を増やさざるを得ず、リソース不足に陥っている可能性があります。水曜日午後の時点では、問題解決の目途は立っていませんでした(情報源:The Record by Recorded Futurepopup_iconBloombergpopup_icon)。

各国の法執行機関が協力し、過去最大級のボットネット壊滅作戦を展開。先週、「911 S5」というボットネットを壊滅させ、管理者を逮捕および起訴したと米国の検察当局が発表しました。報道によると、このボットネットは 1,900 万以上の家庭用 IP アドレスに感染していました。侵害されたデバイスは、有料でボットネットを利用するサイバー犯罪者の活動を隠蔽するために使用されていました。攻撃者は、爆破予告、児童虐待画像の配信、総額 60 億ドル以上に及ぶ新型コロナウイルス救済金詐欺など、さまざまな悪意のある活動に 911 S5 を使用していました。米国司法省のプレスリリースによると、ボットネットの管理者は中国出身の人物で、「世界中の数百万台にのぼる家庭用 Windows コンピュータのネットワークを侵害し、集積するためのマルウェア」を作成して広めた罪で起訴されています。このボットネットは、2014 年から 2022 年 7 月にかけて展開されていたと見られます。911 は、ユーザーに偽の「無料」VPN サービスを提供し、IP アドレスをリダイレクトしてプライバシーを保護しつつ、Web を閲覧できるようにすることで、独自のネットワークを構築していました。ただしこの VPN サービスは、侵害を受けたデバイスを悪用して、911 S5 の顧客であるサイバー犯罪者がトラフィックを再生できるようにするためのものでした(情報源:米国司法省popup_iconKrebs on Securitypopup_icon)。

各国法執行機関が別の法執行作戦「Operation Endgame」を展開し、複数のマルウェアファミリが使用するドロッパーのインフラを押収。対象となったのは、IcedID、SystemBC、Pikabot、Smokeloader、Bumblebee、Trickbot などです。欧州各国と米国 FBI の協調的な取り組みにより、マルウェアを展開していたとされる 4 人が逮捕され、100 台以上のサーバーと 2,000 以上の攻撃者が管理するドメインが押収されました。また、特に悪名高いマルウェアファミリの 2 つである Smokeloader と TrickBot のボットネットの開発に関与したとされる 8 人のロシア人が、欧州の重要指名手配犯リストに追加されました。法執行機関は、Emotet ボットネットを展開する「Odd」というニックネームの人物にも注目しています。Operation Endgame の動画では攻撃者に対し、「我々は長い間、サイバー犯罪者とその犯罪行為について調査してきた。ここで諦めはしない」と警告しています。ボットネットを展開していた攻撃者らが、ランサムウェアを展開するためのインフラを他の攻撃者に貸し出すことで、6,900 万ユーロ以上を稼いでいたことも調査で判明しました(情報源:Dark Readingpopup_iconEuropolpopup_icon)。

Talos が発信している情報

Talos が参加予定のイベント

AREA41popup_icon6 6 日~ 7 日)

チューリッヒ(スイス)

Talos インシデント対応チームの Gergana Karadzhova-Dangela が、組織の全体的な対応準備を整えるためには、実用的なインシデント対応手順書が根本的に重要であることについて説明します。インシデント対応手順書を作成する際によく見られる間違いと、その回避方法について紹介する予定です。Gergana は、実際のサイバーセキュリティ侵害発生時や事前の侵害対策で、お客様と協力して業務に当たっています。そうした対応担当者としての経験を活かした講演になります。

CISCO CONNECT U.K. popup_icon6 25 日)

ロンドン(英国)

Cisco Talos のエキスパートである Martin Lee Hazel Burton が座談会を行います。近い将来特に顕著となるサイバーセキュリティ脅威の動向と、それらが今後数年間の間に英国の組織に与える影響、安全を確保するための対策について取り上げます。

BlackHat USApopup_icon8 3 日~ 8 日)

ネバダ州ラスベガス

Defconpopup_icon8 8 日~ 11 日)

ネバダ州ラスベガス

BSides Krakowpopup_icon9 14 日)

クラクフ(ポーランド)

Talos のテレメトリで先週最も多く確認されたマルウェアファイル

SHA 2569be2103d3418d266de57143c2164b31c27dfa73c22e42137f3fe63a21f793202popup_icon
MD5 e4acf0e303e9f1371f029e013f902262
一般的なファイル名: FileZilla_3.67.0_win64_sponsored2-setup.exe
偽装名:FileZilla
検出名:W32.Application.27hg.1201

SHA 2560e2263d4f239a5c39960ffa6b6b688faa7fc3075e130fe0d4599d5b95ef20647popup_icon
MD5 bbcf7a68f4164a9f5f5cb2d9f30d9790
一般的なファイル名: bbcf7a68f4164a9f5f5cb2d9f30d9790.vir
偽装名:なし
検出名: Win.Dropper.Scar::1201

SHA 2565616b94f1a40b49096e2f8f78d646891b45c649473a5b67b8beddac46ad398e1popup_icon
MD5 3e10a74a7613d1cae4b9749d7ec93515
一般的なファイル名: IMG001.exe
偽装名:なし
検出名: Win.Dropper.Coinminer::1201

SHA 256a024a18e27707738adcd7b5a740c5a93534b4b8c9d3b947f6d85740af19d17d0popup_icon
MD5 b4440eea7367c3fb04a89225df4022a6
一般的なファイル名: Pdfixers.exe
偽装名:Pdfixers
検出名: W32.Superfluss:PUPgenPUP.27gq.1201

SHA 256c67b03c0a91eaefffd2f2c79b5c26a2648b8d3c19a22cadf35453455ff08ead0popup_icon
MD5 8c69830a50fb85d8a794fa46643493b2
一般的なファイル名: AAct.exe
偽装名:なし
検出名: PUA.Win.Dropper.Generic::1201

 

本稿は 2024 年 06 月 06 日にTalos Grouppopup_icon のブログに投稿された「The sliding doors of misinformation that come with AI-generated search resultspopup_icon」の抄訳です。

 

コメントを書く