ChatGPTでフィッシングサイトを検出する

大規模言語モデル（LLM）であるGPT-3やGPT-4は、自然言語処理や人工知能のさまざまなタスクへのアプローチを変えたよね。これらのモデルは、いろんなタスクを効果的にこなす能力で人気があるんだ。特にChatGPTは、会話で明確で関連性のある応答を生成するのに素晴らしいパフォーマンスを見せてる。

でも、LLMがコード作成やコンテンツ生成にどう役立つかの研究はたくさんあるけど、有害なウェブサイト、特にフィッシングサイトを分析・検出するために使う研究はあまり進んでいないんだ。フィッシングウェブサイトは、本物のサイトだと思わせて、機密情報やお金を盗もうとしているんだ。

フィッシング攻撃の脅威が高まる中、有害なウェブコンテンツを自動的に検出することが重要だよね。つまり、LLMを使ってフィッシングサイトを分析・分類する方法を見つける必要があるんだ。

#私たちのアプローチ

この研究では、ChatGPTを使ってフィッシングウェブサイトを特定する新しい方法を提案しているよ。この方法は、ウェブクローラーを使ってウェブサイトに関する情報を集め、そのデータに基づいてプロンプトを作成することから始まるんだ。このプロンプトがChatGPTに送信され、どのサイトがフィッシングサイトかを判断するんだ。

ウェブクロールとChatGPTの文脈理解を組み合わせることで、ウェブサイトが本物かどうかの判断がより良くできるようになるよ。ChatGPTを使うことで、(1) 新しい機械学習モデルをトレーニングしなくてもさまざまなフィッシングサイトを見つけられるし、(2) ウェブサイト全体やURLの文脈に基づいてソーシャルエンジニアリング戦術を認識できるようになるんだ。

これは、LLMがフィッシングサイトを特定できる能力を探求した初めての研究なんだ。

#方法の評価

私たちの方法の効果を評価するために、フィッシングサイトを検出するための厳選されたデータセットを使ってテストを行ったよ。GPT-4を使った結果は、精度98.3%、再現率98.4%という良い結果が出た。

GPT-3.5とGPT-4も比較したけど、GPT-4は大きな利点があったね。間違った特定（偽陰性）の数を減らし、ドメイン名が疑わしいかどうかや、コンテンツ内でソーシャルエンジニアリング技術が使われているかどうかをより良く評価できたんだ。

これらの結果は、LLMがフィッシングウェブサイトを効果的に検出し、ユーザーを心理的に操作するために使われる戦術を認識できることを示していて、自動化されたサイバーセキュリティ対策の改善を示唆してるよ。

#フィッシングサイトの概要

フィッシングウェブサイトは、ユーザーを騙して個人情報やお金を盗んだり、マルウェアでデバイスを感染させたりすることを目的とした不正なサイトだよ。これらは、メールやメッセージ、広告を使ってユーザーをこれらの危険なサイトに誘導してる。

フィッシングサイトの2つの主要な特徴は、

1. ドメイン名を模倣して、公式なロゴを使って本物のサービスを訪れているとユーザーに思わせること。
2. ソーシャルエンジニアリング技術を使って、ユーザーから機密情報を引き出すこと。

本物のサービスを装うことで、フィッシングサイトはユーザーの信頼を得るんだ。銀行やEコマースプラットフォーム、ソーシャルメディアなどの本物のサイトを真似することが多いよ。緊急性や恐怖感を演出したり、偽のマルウェア警告を見せたり、偽の報酬を提供してユーザーを個人情報を明かさせようとすることもあるんだ。

フィッシングの手法や特徴については、多くの研究が行われてきた。研究者たちは、これらのサイトのデザインやコンテンツを調査し、共通のパターンや戦略を特定してきたよ。この取り組みは、セキュリティ対策を強化し、リスクについてユーザーを教育し、オンライン詐欺に対抗する効果的な方法を開発するのに役立ってる。

フィッシングサイトを認識するための既存の方法があるにもかかわらず、2つの主要な課題が残っているんだ。

1. 特定のブランドを学習し、新しいフィッシングサイトごとにアルゴリズムを調整する必要があること。
2. ソーシャルエンジニアリング戦略を詳しく分析することの難しさ。

いくつかの研究は、キーワードやディープラーニングを使った分析に焦点を当ててきたけど、ウェブサイト全体で使われるさまざまな心理的戦術を自動的に理解する試みはなかったんだ。

私たちは、ChatGPTを使ってウェブサイトとそのURLのコンテンツを分析して、その文脈に富んだ能力を最大限に活かすことを提案するよ。この方法は、以前の研究で見つかった2つの課題に対処することを目指しているんだ。

#私たちの方法の仕組み

私たちの方法は、指定されたURLにアクセスし、訪問したウェブサイトから情報を取得するウェブクローラーから始まるよ。この情報には、画像、HTMLコード、テキストコンテンツが含まれてるんだ。それからChatGPTに入力するためのプロンプトを生成し、ウェブサイトがフィッシングかどうかを判断するんだ。

#ウェブクロール

ウェブサイトを訪問してデータを収集するプロセスを自動化するウェブクローラーを作ったよ。入力されたURLに基づいて、このクローラーは最終的な目的地のページを取得し（リダイレクト後）、JavaScriptが実行された後のHTMLを取得し、ページのスクリーンショットを撮るんだ。

JavaScript実行後のHTMLを収集することは、フィッシングサイトがその真の構造を隠すために複雑なJavaScriptを使用することがあるから重要なんだ。このステップがないと、フィッシングの兆候を特定するのが難しくなることがあるよ。

ウェブクローラーは、WindowsのChromeとiPhoneのSafariという2つの異なる環境を模倣するように設計されてる。この設定には、それぞれの環境に合わせてUser-Agentやブラウザサイズを調整することが含まれてるよ。

#URLとHTMLの分析

サイトがフィッシングサイトかどうかを判断するためには、特定のタスクを実行する必要があるんだ。

1. HTMLとテキストを分析して、一般的なフィッシング戦術を特定する。HTML、URL、テキスト内の疑わしい要素を見つける。
2. ブランド名を特定する。本物のページに似ているHTMLがあれば、URLが正規のブランドと一致するかを確認する。
3. サイトがフィッシングかどうかの結論を出し、その理由を述べる。わからない場合は「不明」とする。
4. フィッシングスコア、特定されたブランド、分類を含む特定の形式で結果を出力する。

#検出のためのプロンプト生成

ウェブサイト情報をChatGPTに提供するためのプロンプトを作成し、フィッシングサイトかどうかを判断させるよ。プロンプトテンプレートは、モデルにその理由を説明させる技術に基づいていて、さまざまなタスクのパフォーマンスが向上するんだ。

検出プロセスは4つの部分に分けられるよ。

1. ウェブサイトがユーザーを欺くソーシャルエンジニアリング戦術を使用しているかを特定する。
2. ブランド名を抽出する。フィッシングサイトはコンテンツをコピーすることが多く、HTMLだけではその信頼性を評価するのが難しい。
3. サイトがフィッシングかどうかを結論づけ、その詳細な理由を示して人間が応答を分析できるようにする。
4. 特定の形式で出力を返す。ソーシャルエンジニアリング戦術が特定された場合は、応答をフィッシングとしてマークする。ブランド名が知られているがドメイン名と一致しない場合は、疑わしいとマークする。

プロンプトには、HTML、URL、スクリーンショットからのテキストなどのウェブサイト情報が含まれるよ。一部のフィッシングサイトは、画像や他の要素にブランド情報を隠すことがあるから、標準のHTML分析では抽出しにくいことがあるんだ。

#GPT用のデータ簡素化

一部のウェブサイトはChatGPTのトークン制限を超える可能性があるんだ。トークンは、モデルが処理するテキストの単位だよ。たとえば、GPT-3.5は4,096トークンの制限がある一方、GPT-4は最大32,000トークンを扱えるんだ。

私たちの研究では、HTMLとテキストデータを簡素化してトークン制限内に収めたよ。この効率化は、フィッシング検出に必要な重要な情報を保持するのに役立つんだ。

#データセット収集

実験には、1,000のフィッシングサイトと1,000の非フィッシングサイトからなるバランスの取れたデータセットが必要だったんだ。フィッシング情報の既知のソースや、有名なウェブサイトなどの正当なソースをクローリングしてこれらのウェブサイトを収集したよ。

データ収集中には、成人向けコンテンツを含むサイトや、本物のサイトにあまりにも似ているサイトを除外した。このステップでデータセットの整合性を確保できるんだ。私たちのフィッシングデータセットには、異なるブランドをターゲットにしたさまざまなサイトが含まれているよ。合計で147のブランドがフィッシングページのターゲットとして特定されたんだ。

非フィッシングサイトについても、評判の良いウェブサイトを同様に収集し、テスト中の正確な比較を可能にするために均等に混ぜてるんだ。

#方法のテスト

私たちの方法がどれだけ効果的かを評価するために、Azure OpenAI APIを使ってデータセットで実験を行ったよ。GPT-4とGPT-3.5の両方のモデルを使用したんだ。

テスト中に、フィッシング反応をフィッシングまたは疑わしいドメインを示す値に基づいて定義したよ。出力の違いがあったけど、さらなる分析のために応答を成功裏に分類できたんだ。

結果は、GPT-4がGPT-3.5と比べて、実際のフィッシングサイトを特定するのがずっと得意だということを示したよ。偽陰性が少なかったんだ。

#実験からの発見

#結果の概要

私たちの実験では、GPT-4を使ったフィッシング検出において、精度98.3%と再現率98.4%という印象的な結果を出したよ。GPT-3.5との比較では、どちらのモデルも良いパフォーマンスを見せたけど、GPT-4は前のモデルを大きく上回っていたんだ。

たとえば、GPT-4は偽陰性を効果的に減らし、偽陽性のレートを維持したまま、サイトがフィッシングかどうかをより良く認識できたんだ。特にソーシャルエンジニアリング技術を使っているサイトに対して、その認識が改善されたと言えるよ。

#GPTが使用した証拠

GPT-4がフィッシングサイトを特定するのに成功したいくつかの証拠のタイプを特定したよ。これには次のようなものが含まれるんだ：

1. ドメイン名の正当性： モデルは、サイトが本物のように見せかけて偽のドメイン名を使用している場合を効果的に認識できた。
2. 偽のセキュリティアラート： ユーザーを怖がらせて行動を促すための偽のマルウェアアラートを特定できた。
3. アカウントの問題： ユーザーのアカウントに関する問題を主張するウェブサイトは、しばしばフィッシングの試みを示唆している。
4. 緊急の支払い要求： 多くのフィッシングサイトは、ユーザーに迅速に支払い情報を提供させるための緊急感を作り出そうとする。
5. 偽の報酬： 突然の報酬をOfferすることは、ユーザーを引き込む一般的な戦術だ。
6. SMS確認要求： 一部のフィッシング試行は、確認の名目でユーザーからSMSコードを集めようとする。
7. 誤ったログインメッセージ： ログイン情報が間違っているという誤解を招くメッセージもフィッシングサイトの指標になり得る。

#直面した課題

GPT-4はうまく機能したけど、いくつかの課題もあったんだ。たとえば、いくつかの正当なサイトが、似たような要素やドメイン名のためにフィッシングとして誤分類されることがあった。また、いくつかのフィッシングサイトが正しくフラグ付けされなかったりして、改善の余地があることを示しているよ。

#結論

この研究では、ChatGPTを使ってフィッシングサイトを検出する新しい方法を提案したよ。ウェブクロール技術とモデルの文脈理解を組み合わせることで、フィッシングサイトを特定する際の精度が向上することがわかった。

実験の結果、GPT-4はGPT-3.5に比べて、特に偽陰性を最小限に抑え、フィッシングサイトを正確に特定する能力が向上した。

これらの発見は、ユーザーをオンライン詐欺から守るための自動化された対策を強化するのに重要だよ。この研究は、サイバーセキュリティのさまざまな側面でLLMを適用する新しい道を示唆していて、今後の有害なウェブコンテンツの特定と分析の改善につながる可能性があるんだ。

フィッシングサイトが使用する技術的な側面と心理的なトリックの両方に焦点を当てることで、私たちはインターネット上のこれらの脅威に対処するためのより良い準備ができるようになるんだ。