人かAIか? 生成方法別フィッシングメール打率比較 | ScanNetSecurity
2024.04.15(月)

人かAIか? 生成方法別フィッシングメール打率比較

 類似の実験では「見分けがつかない」「成功率が高い」といった結果にとどまっていることが多いが、この論文では AI 作成フィッシングメールの「品質評価」、人力と AI 作成メールに対して AI がどの程度、真贋や意図を判定できるかにまで踏み込んで調べた。

研修・セミナー・カンファレンス
(イメージ画像)
  • (イメージ画像)
  • 実験に使用したのはGPT。他は攻撃意図判定の精度を比較した
  • V-Triadモデルの考え方
  • 4種類の手法ごとのリンククリック率
  • 手法1:フィッシングメールの過去事例からの抽出
  • 手法2:GPTによって作成したフィッシングメール
  • 手法3:V-Triadモデルを適用して作成したフィッシングメール
  • 手法4:GPTとV-Triadを組み合わせて作ったフィッシングメール

 マルウェアの大量生産からスパムメール文案まで攻撃者が AI を利用するのはもはや前提条件になっている。防御側も当然、AI や大規模言語モデルをマルウェア判定やセキュリティ対策に活用する。この対決の構図をフィッシングメールに適用した論文が存在する。

● 4 つの異なる手法で作成されたフィッシングメール文案


 論文は、Fredrik Heiding 氏、かの Bruce Schneier 氏、Arun Vishwanath 氏、Jeremy Bernstein 氏の 4 名によって書かれたもの。ハーバート、および MIT の AI 専門家とセキュリティ界の重鎮らが名を連ねている。

彼らは、

1)フィッシングメールのデータベース
2)大規模言語モデル(LLM)
3)人間が作成したフィッシングメールモデル(V-Triad)
4)LLM と V-Triad の組み合わせ

という 4 つの手法で生成したフィッシングメールの成功率を比較検討する実験を行った。

 その結果は論文としてまとめられているが、2023 年夏の Black Hat USA では、Fredrik Heiding 氏がスピーカーとなって発表も行われた。

 論文チームは、AI(LLM:大規模言語モデル)は、何かを尋ねるために有効に機能するが、人を騙すことにも長けている点に着目した。もちろん、AI が意図的に人を騙しているわけではないが、LLM が出力するもっともらしい文章が正しいことを言っているように見えるということだ。

● AI はどれだけ人を騙せるか、そしてどれだけウソを見抜けるか


 事実、スパムメールやフィッシングメールなど詐欺メール作成に LLM を悪用する話はよく耳にする。研究論文も多く(この論文もそのひとつとえいる)、AI で作成したフィッシングの攻撃実験は、さまざまなセキュリティベンダーや研究者によって実施されており、その有効性の高さも指摘されているところだ。明確に AI が作成したフィッシングメール攻撃は確認できないが、攻撃者が利用していても何ら不思議はない。アンダーグラウンドでは話題にならないくらい一般化している可能性さえある。

 彼らの研究が、これらの先行研究の単なる後追いなら Black Hat USA には採択されない。上記の 4 つの手法で作成したメールの成功率だけでなく、被害者のアンケート調査(自由回答)の分析と、主要 LLM のうち4つ(GPT、PaLM、LLaMA、Anthropic)について作成したフィッシングメールの検知実験も行っている。

 類似の実験では「AI 作成のフィッシングは見分けがつかない」「成功率が高い」といった結果にとどまっていることが多い。だがこの論文では、AI 作成フィッシングメールの「品質評価」に加え、人力と AI 作成メールに対して AI がどの程度、真贋や意図を判定できるかにまで踏み込んで調べた。

●実験に使われたフィッシングメールの作り方


 4 つの手法のうち、1 番目の既存のフィッシングメールをそのまま使う実験は、対照群(コントロールグループ)として行われた。「馴染みのある」メールや手の込んだものなど、これまでフィッシングメールとして実際に使われ、蓄積されたものの成功率を調べる。

 2 番目の、LLM を利用したフィッシングメールは、Chat GPT を使って作成したメールを利用する。もちろん Chat GPT を始め既存チャットボットは、「フィッシングメールを生成して」と入力しても拒否される。倫理的でないプロンプトは出力を生成しないように学習されているからだ。だが、たとえば「Black Hat の参加者に、〇〇社のウェルカムパーティーの案内文を生成して。案内ページのリンクつきで」と入力すれば、フィッシングメールを生成することができる。

 3 つ目の V-Triad は、フィッシングメールを作成するためのモデルだ。目的が特化されているので、言語モデルとしては非常に小規模だ。V-Triad は次の 3 つの視点から、メールの文面を評価するという。

・経験則に基づく信頼性
・標的への互換性(習慣・行動)
・状況への拡張性

 最後は、一般的な大規模データセットによってチューニングした LLM(GPT-4)と、フィッシングメールに特化したデータセットで学習した AUI(V-Triad)の両方を使ってフィッシングメールを生成する方法である。

●攻撃は標的を絞ったスピアフィッシングで行う


 LLM でフィッシングメールを作る方法は簡単だ。標的を規定できる情報(例えばハーバードの学生、Black Hat USA 2023 の参加者 等)を用意し、さきほど述べた手法で Chat GPT にメール本文を生成させる。V-Triad による生成は、人力で作成したフィッシングメールを、V-Triad によって標的に適合するよう調整する。

 「送信元」「名前」「ブランド名・サービス名」などに違和感がないように留意する。文面やフォーマットにも配慮する。事件や一般行事、組織固有イベントなども利用する。さらに「締め切り」「限定」「エラー」といったターゲットの行動を喚起するトリガーワードを盛り込む。細かいところでは、モバイルデバイスでの開封確率が高まる金曜の夜を狙う、といったモデルもある。

 以上の方法で生成した 4 種のフィッシングメールを送信するわけだが、その前に標的情報の収集フェーズがある。標的の情報は SNS など基本的な OSINT で得られたという。その情報をもとにチューニングされたメールを生成する。あとは被験者に送信して結果を分析する。被験者には簡単なアンケート(フリーテキスト)をとり、開封の理由や状況を調査する。ちなみに被験者数は 112 名だったという。

●生成された 4 メールの特徴


 4 つの手法によってそれぞれどんなメールが生成されたのか。


《中尾 真二( Shinji Nakao )》

編集部おすすめの記事

特集

研修・セミナー・カンファレンス アクセスランキング

  1. 「引っかかるのは当たり前」が前提、フィッシングハンターが提案する対策のポイント ~ JPAAWG 6th General Meeting レポート

    「引っかかるのは当たり前」が前提、フィッシングハンターが提案する対策のポイント ~ JPAAWG 6th General Meeting レポート

  2. 警察庁、総務省それぞれの最新の取り組みは? 官民連携、国際連携を通してより安全なサイバー空間の実現を ~ JPAAWG 6th General Meeting レポート

    警察庁、総務省それぞれの最新の取り組みは? 官民連携、国際連携を通してより安全なサイバー空間の実現を ~ JPAAWG 6th General Meeting レポート

  3. パナソニック他 大手が続々「Cloudbase」を採用、日本人が日本企業のために作るクラウドセキュリティプラットフォーム

    パナソニック他 大手が続々「Cloudbase」を採用、日本人が日本企業のために作るクラウドセキュリティプラットフォーム

  4. セキュリティは「CIA」から「CPA」へ ~ 阿部慎司が考える「セキュリティ対応組織の教科書 第3版」活用法

  5. 世界で最初にXDRを提唱した男のビジョンとは? パロアルトネットワークス講演

  6. サイバー攻撃と対策を関ヶ原合戦になぞらえ ~ 伊東“隊長”と Proofpoint 増田氏が描く「戦国絵巻」

  7. GMOイエラエSOC用賀 エピソードゼロ:IERAE DAYS 2023 レポート

  8. サイバー攻撃 はじまりはいつも OSINT ~ 日本ハッカー協会 杉浦氏講演

  9. 「10年後の予測より今足元にある課題解決」~ 情シス信頼のブランド ソリトンシステムズ Security Days Spring 2024 四講演紹介

  10. 新しい総務省ガイドラインに適合する「クラウドのデータ消去」とは? 自治体で行われた実証実験 結果報告

アクセスランキングをもっと見る

「経理」「営業」「企画」「プログラミング」「デザイン」と並ぶ、事業で成功するためのビジネスセンスが「セキュリティ」
「経理」「営業」「企画」「プログラミング」「デザイン」と並ぶ、事業で成功するためのビジネスセンスが「セキュリティ」

ページ右上「ユーザー登録」から会員登録すれば会員限定記事を閲覧できます。毎週月曜の朝、先週一週間のセキュリティ動向を総括しふりかえるメルマガをお届け。(写真:ScanNetSecurity 名誉編集長 りく)

×