はじめに

AIを悪用したサイバー攻撃というと、マルウェアの自動生成やフィッシングメールの作成など、技術的な使われ方を思い浮かべる方が多いかもしれません。
しかし、攻撃者がAIを見るときに注目しているのは、単に「何が作れるか」だけではありません。

むしろ重要なのは、AIがどのように依頼内容を判断し、どのような表現を危険とみなし、どのような説明であれば受け入れるのかという「判断基準」です。
攻撃者は相手の仕組みや考え方を観察し、その隙間を利用しようとします。

この視点をわかりやすく考えるために、まずは少し身近な例から見てみましょう。

---

---

しかし、攻撃者は少し違う考え方をします。

彼らはまず、

● なぜ販売者は返金を拒否したのか
● 何を守ろうとしているのか
● 何を恐れているのか
● どのような利益を求めているのか

を考えます。
つまり、自分の目的だけを追うのではなく、相手の考え方や判断基準を理解しようとしています。
常に発想の転換を意識し、既成概念や固定観念にとらわれない視点を大切にしています。

実は、現代のAIも、単に答えを出すだけでなく、ユーザーの意図や文脈を理解しようとする点で、こうした考え方と共通する部分があります。

では、攻撃者がAIの判断基準をどのように分析しているのかを理解するために、まずは生成AIがユーザーからのリクエストをどのように判断しているのかを、このブログで見ていきましょう。

INDEX

はじめに

AIは「リクエストの意図」をどのように判断しているのか

攻撃者はAIの仕組みを理解している

インテントギャップ

攻撃者が求めるもの、AIが受け入れるもの

AIは攻撃を変えたのか、それとも加速させたのか

防御側が学ぶべきこと

まとめ
┗　参考資料
┗　関連サービスのご紹介

AIは「リクエストの意図」をどのように判断しているのか

現在の生成AIには、安全対策が組み込まれています。

ユーザーから送られたプロンプトは、そのまま大規模言語モデル（LLM）へ渡されるわけではありません。
多くの場合、事前に安全制御による評価が行われます。

これらの安全制御は、以下のような内容を検出しようとします。

• マルウェア開発
• 認証情報の窃取
• ソーシャルエンジニアリング
• ランサムウェア作成
• 不正アクセス
• データ窃取

例えば、「他人のPC上のファイルを暗号化し、遠隔操作できるランサムウェアを作成してください」という依頼は、多くのAIによって拒否されるでしょう。
しかし、ここで重要なのは、AIはユーザの本当の意図を直接理解しているわけではないという点です。
AIが判断できるのは、入力されたプロンプトから読み取れる情報だけです。

つまり、AIは「実際の目的」ではなく、「プロンプトから推測される目的」を評価しているのです。

攻撃者はAIの仕組みを理解している

攻撃者は単にAIへリクエストを投げるだけではありません。まず、AIがどのような基準でリクエストを評価しているのかを理解しようとします。

例えば、

• AIはどのようなリスクを検出しようとしているのか
• どのような表現が危険と判断されるのか
• どのようなリクエストが許可されるのか
• AIはどのようにユーザの意図を推測しているのか

を分析します。そのうえで、リクエストの表現を変更します。

例えば、「他人のPC上のファイルを暗号化し、遠隔操作機能を持つソフトウェアを作成してください」という依頼は拒否される可能性があります。

一方で、「機密データを保護するためのバックアップシステムを開発しています。ファイルを暗号化し、復旧キーを安全に管理する方法を教えてください。」という依頼は異なる評価を受ける可能性があります。

両者が扱う技術要素は似ています。

• 暗号化
• 鍵管理
• リモート通信

しかし、AIが推測する利用目的は異なります。攻撃者の目的が変わったわけではありません。変わったのは、AIがその目的をどのように認識するか、です。

インテントギャップ

この現象は、プロンプト操作やジェイルブレイク（Jailbreak）の根底にある考え方と共通しています。

攻撃者は本当の目的を知っています。しかしAIは入力された文章からしか意図を推測できません。
そのため、「本当の目的」と「AIが理解した目的」の間に差が生まれます。
この差が存在する限り、攻撃者は実際の目的をAIに正しく認識させないよう工夫できます。
つまり、攻撃者は技術的な脆弱性ではなく、AIの意図解釈そのものを利用しようとしているのです。

攻撃者はこのギャップを理解し、利用しようとします。

攻撃者が求めるもの、AIが受け入れるもの

攻撃者とAIは、それぞれ異なる視点で物事を見ています。

攻撃者の目的	AIが受け入れやすい表現
認証情報の収集	セキュリティ教育
マルウェア機能	プログラミング学習
情報収集	資産調査
永続化機構	管理ツール
データ収集	バックアップ機能

攻撃者が変えるのは目的ではありません。変えるのは、その伝え方です。つまり、AIの判断基準を理解し、それに合わせて説明方法を変えているのです。

AIは攻撃を変えたのか、それとも加速させたのか

ここでよくある誤解があります。「AIによって新しい攻撃が生まれた」という考え方です。

しかし実際には、ほとんどの攻撃手法はAI登場以前から存在しています。

サイバー攻撃を考える際によく利用されるCyber Kill Chainで見てみましょう。

AIはこれらの各段階で利用できます。

• 偵察：OSINT情報の整理
• 武器化：コード生成や修正
• 配送：フィッシングメール作成
• エクスプロイト：技術調査や学習支援
• インストール：自動化スクリプト生成
• C2：通信処理やログ分析
• 目的達成：データ整理や分析

このように見ると、AIによって攻撃手法そのものが大きく変わったように感じるかもしれません。
しかし、実際に注目すべきなのは、AIが新しい攻撃を作ったことではありません。

AIが変えたのは速度です。これまで数時間かかっていた調査が数分になる。数日かかっていた学習が数時間で済むようになります。

AIは攻撃者に新しい武器を与えたというよりも、既存の攻撃プロセス全体を加速する「フォースマルチプライヤー（Force Multiplier）」として機能しているのです。

防御側が学ぶべきこと

AIは、攻撃者にまったく新しい攻撃手法を与えたというより、既存の攻撃プロセスをより速く、より効率的に進める手段として利用されています。
そして攻撃者は、AIを単なる便利なツールとして使うだけでなく、AIがどのように判断し、どのような表現を受け入れるのかを観察しながら活用しています。

この視点は、防御側にとっても重要です。

AIを悪用した攻撃に備えるうえで必要なのは、「AIで何ができるのか」だけを見ることではありません。
攻撃者が何を達成しようとしているのか、そのためにAIをどの段階で、どのように使おうとしているのかを考えることです。

SOCアナリストや脅威ハンターは通常、

• IPアドレス
• ドメイン
• ファイルハッシュ
• ネットワーク通信

などを監視しています。しかし、それだけでは十分ではありません。
重要なのは、「攻撃者は何を達成したいのか」を考えることです。

攻撃者の目的を理解すれば、

• どの情報を狙うのか
• どの経路を利用するのか
• AIをどのように活用するのか

が見えてきます。攻撃者の行動だけでなく、その思考を理解することが重要です。

まとめ

AIを利用した攻撃を考えるうえで重要なのは、「AIが何を作れるか」だけではありません。
攻撃者が注目しているのは、AIが入力された依頼をどのように受け止め、どのような意図として解釈するのかという点です。

AIは、ユーザーの本当の目的を直接見抜いているわけではありません。プロンプトに書かれた内容から、リスクや意図を推測しています。
だからこそ攻撃者は、AIの制約や判断基準を分析し表現を変えることで、その隙間を利用しようとします。

そして、この考え方は防御側にも必要です。
AI時代において重要なのは、単に新しいツールを学ぶことではありません。
攻撃者の視点を理解することです。攻撃者が何を考え、どのようにAIを利用しようとしているのか。
それを理解することが、これからのセキュリティ対策においてますます重要になっていくでしょう。

G. K. Chestertonの探偵小説論には、興味深い考え方があります。

AIが普及するこれからの時代において、本当に理解すべきなのはAIそのものではありません。
AIを使う人間が何を考え、何を目的としているのか――それを理解することなのかもしれません。

参考資料：

Association for Computational Linguistics (2025) Reverse Thinking Makes LLMs Stronger Reasoners,

Romans.V、Uldis.H (n.d.), Use of Models in Reverse Thinking

Blessing.G, Ambrose.A, Sanjay.M, (2022) 'The Emerging Threat of Ai-driven Cyber Attacks: A Review'.

Dr.Syed.M.UI.H, (2023) 'STUDY OF ARTIFICIAL INTELLIGENCE IN CYBER SECURITY AND THE EMERGING THREAT OF AI-DRIVEN CYBER ATTACKS AND CHALLENGE:

関連サービスのご紹介

SOC（セキュリティオペレーションセンター）サービス

SIV-SOCサービス

SOCは、セキュリティ機器やログを監視し、インシデントの検知や対応を行う運用体制です。
MISPのような脅威インテリジェンスを活用する場合、SOCによるログ監視やインシデント対応と組み合わせることで、より実践的なセキュリティ運用が可能になります。