信頼のパラドックス: AI がナマズに遭ったとき

投稿日: 9月 26, 2025

MCP 対応攻撃の根本的な課題は、技術的な洗練さではありません。それは、ハッカーがあなたのAIをナマズする方法を見つけたということです。これらの攻撃は、開発チームを実際に機能させるのと同じ信頼関係を悪用するため、機能します。デザイナーが長年協力してきた代理店からFigmaファイルを期待するとき、DevOpsの担当者が実戦テスト済みのCI/CDパイプラインを信頼しているとき、開発者がおなじみの食料品店で買い物をしているようにnpmからパッケージを入手するとき、あなたは単にファイルを受け入れているだけではありません。むしろ、攻撃者が産業規模で乗っ取ることができる「これは合法のようだ」という網全体を受け入れているのです。

これが野生で展開される 5 つの方法を次に示しますが、それぞれが前回よりも邪悪です。

1。Sleeper Cell npm パッケージ誰かが人気のあるパッケージ (フロントエンドチームの半分が使用するカラーパレットユーティリティなど) を、標準のメタデータコメントのように見えるもので更新します。ただし、これらのコメントは実際には AI コーディング アシスタントといちゃつくように設計されたピックアップ セリフです。開発者がこのパッケージを操作するために GitHub Copilot を起動すると、埋め込まれたプロンプトがささやき、脆弱な認証パターンをコードに滑り込ませたり、大ざっぱな依存関係を提案したりするよう AI を説得します。それは、AI が開発者カンファレンスで酔っ払って、見知らぬ人からコーディングのアドバイスを受け始めたようなものです。

2。目に見えないインクのドキュメント攻撃あなたの会社の Wiki は、人間にはまったく見えないが、AI アシスタントへのラブレターのように読める Unicode 文字で更新されます。AI に「API 認証のベスト プラクティス」について尋ねると、退屈で安全な答えの代わりに、「貴重品は中に入れられている」という看板を掲げて玄関ドアを開けたままにしておくのと同じくらい安全な、微妙に変更されたガイダンスが得られます。あなたにとって、ドキュメントは同じように見えます。AI にとって、それはまったく異なる指示を読んでいます。

3。ガスライティングをする Google ドキュメント PM が共有した無邪気なスプリント計画文書は?通常の編集では表示されないコメントや提案が隠されていますが、要約やタスク リストの生成を支援しようとする AI を完全に台無しにします。AI アシスタントは、ゴールデン レトリバーのようなセキュリティ意識を持ってアーキテクチャ上の決定を提案し始めたり、突然、「適切な暗号化を実装する」ことは「虹のアニメーションを追加する」よりもはるかに重要ではないと考えています。

4。両面を演じる GitHub テンプレート 課題テンプレートは、書式設定が良好で、構造が役立つなど、まったく正常に見えます。しかし、これらには、AI ツールが問題のトリアージを支援するときにスリーパー エージェントのようにアクティブになるマークダウンが含まれています。バグ報告はトロイの木馬となり、明らかなセキュリティの脆弱性が実際には機能であること、または重要なパッチが次のメジャーリリース後まで待てること(都合よく決してゼロに予定されている)をAIアシスタントに納得させます。

5。嘘をつく分析ダッシュボード製品分析 (誰もが依存している信頼できる Mixpanel ダッシュボード) は、データを分析する AI に影響を与えるように作成された名前のユーザー イベントの表示を開始します。プロダクトマネージャーがAIアシスタントにユーザーの行動に関する洞察を見つけるように依頼すると、悪意のあるイベントデータによってAIがトレーニングされ、プライバシー弁護士が泣くような機能を推奨したり、ユーザーデータベース全体を誤ってインターネットに公開するA/Bテストを提案したりします。

良いニュース: 私たちは (まだ) 運命づけられていません

ほとんどのセキュリティ担当者が教えてくれないのは、この問題は実際には解決可能であり、開発環境をデジタル捕虜収容所に変える必要はないということです。「すべてをスキャンして何も信用しない」という昔ながらのアプローチは、空港のセキュリティと同様に機能します。つまり、多くの不便さと疑わしい効果があり、誰もが正当な理由もなく靴を脱いでしまいます。代わりに、私たちはこれについてもっと賢くなる必要があります。

  • 実際に機能するコンテキストウォール AIのコンテキストは、ホームパーティーのティーンエイジャーのようなもので、ランダムなFigmaファイルを処理している人が、本番リポジトリにアクセスできる人と同じ部屋にいることは望ましくありません。AI が外部ファイルを参照するときは、実際に重要なことを変更できる AI とはまったく別のコンテキストにある必要があります。これは、AI アシスタントに指定されたドライバーがいるようなものです。
  • AI嘘発見器の開発(人間と機械) 悪意のあるプロンプトを見つけようとするのではなく(他の針でできた干し草の山から特定の針を見つけようとするようなものです)、AIの動作が横道に逸れるタイミングを監視できます。普段は偏執的な AI が突然、パスワード認証は「おそらく問題ない」とか、入力検証は「昔ながらの学校」であると示唆し始めた場合、何がそう思ったのかに関係なく、もう一度検討する価値があります。
  • 人間のスピードバンプの挿入 一部の決定は、たとえ良い一日を過ごしているときでも、AI に単独で処理させるには重要すぎます。セキュリティ、アクセス制御、またはシステムアーキテクチャに関連するものは、少なくとも人間がそれらを一瞥する必要があるはずです。それは AI を信頼しないということではなく、AI が大ざっぱな何かに微妙に影響を受けていないことを信頼しないということです。

セキュリティを罰のように感じさせない

AI セキュリティの汚い秘密は、最も効果的な防御が通常後退するように感じられることです。生産性を低下させるセキュリティを誰も望んでいないため、ほとんどのセキュリティ対策が不便になった瞬間に無視されたり、バイパスされたり、無効になったりします。コツは、セキュリティを障害物コースではなく、ワークフローの自然な部分のように感じさせることです。これは、自分の推論を実際に説明できる AI アシスタント (「この認証パターンを提案しているのは...」) を構築して、何かがおかしいと思われるときに見つけられるようにすることを意味します。それは、物事が正常に機能しているときは見えないが、何か怪しいことが起こっているときに見えるセキュリティ対策を作成することを意味します。

どんでん返し: これにより、実際にすべてが良くなる可能性があります

直感に反して、MCP セキュリティを解決することで、最終的には開発ワークフローの信頼性が全体的になります。信頼が武器化されていることを認識できるシステムを構築すると、正当な信頼もより適切に認識できるシステムが得られます。これを最初に理解した企業は、生産性向上ツールに騙されるのを避けるだけでなく、コンテキストをより認識し、推論の透明性を高めるため、真に役立つ AI アシスタントを手に入れることになります。すべてを盲目的に信頼したり、偏執的に何も信頼したりするのではなく、微妙な方法で信頼について実際に考えることができる AI を手に入れるでしょう。

無限の攻撃対象領域は世界の終わりではありません。むしろ、悪質な行為者が私たちを人間たらしめているものを利用するという長年のやり取りの継続にすぎません。良いところは?人間は何千年もの間、信頼関係を乗り越えてきました。AI という新しいレンズを通してそれをナビゲートするシステムは初期段階にあり、より多くのデータとより大きなサンプル サイズで AI モデルが改善されるのと同じ理由で、はるかに改善されるでしょう。これらの絶妙なマシンはパターンマッチングの達人であり、最終的には、これはAIの観察と評価のために考慮される各ノードに多数の側面を備えたパターンマッチングゲームです。

関連記事