SpiderFoot徹底解説：OSINT自動化ツールの使い方 🕵️‍♀️

現代のデジタル社会では、インターネット上に膨大な情報が溢れています。これらの公開情報（Open Source Intelligence, OSINT）を効率的に収集・分析することは、サイバーセキュリティ、脅威インテリジェンス、企業調査、評判管理など、様々な分野で不可欠となっています。しかし、手動での情報収集は時間と労力がかかり、網羅性にも限界があります。🤔

そこで登場するのが、OSINT自動化ツールです。中でもSpiderFootは、その強力な機能と柔軟性から、世界中のセキュリティ専門家や調査員に利用されています。SpiderFootは、ターゲット（IPアドレス、ドメイン名、メールアドレス、人名など）に関する情報を、100種類以上の公開情報源（データソース）から自動的に収集、相互に関連付け、分析するためのフレームワークです。

なぜSpiderFootが選ばれるのでしょうか？ その理由は主に以下の点にあります：

• 効率性： 手動では数時間、あるいは数日かかるような情報収集を自動化し、大幅な時間短縮を実現します。
• 網羅性： 多数のモジュール（情報収集機能）を利用することで、様々な角度から広範囲な情報を収集できます。
• 柔軟性： Webインターフェース（Web UI）とコマンドラインインターフェース（CLI）の両方を提供し、ユーザーのスキルや好みに合わせて利用できます。また、モジュールの選択や設定も自由に行えます。
• オープンソース： 基本機能はオープンソースとして無料で利用でき、コミュニティによる開発も活発です。（有償版のSpiderFoot HXも存在します）
• 可視化： 収集した情報をグラフなどで可視化し、データの関連性を直感的に把握するのに役立ちます。

この記事では、SpiderFootの基本的な使い方から、セットアップ方法、主要なモジュールの解説、実践的なユースケース、注意点まで、幅広く解説していきます。OSINTに興味がある方、情報収集の効率化を図りたい方は、ぜひ参考にしてください。🚀

SpiderFootを利用するためには、まずセットアップが必要です。ここでは、主なインストール方法と初期設定について説明します。

動作環境

SpiderFootはPythonで開発されており、以下の環境で動作します。

• オペレーティングシステム: Linux (Ubuntu, Kali Linuxなど推奨), macOS, Windows
• Python: Python 3.7以上が必要です。

依存関係のあるPythonライブラリも多数ありますが、通常はインストールプロセスで自動的に解決されます。

インストール方法

主なインストール方法は、Gitリポジトリをクローンする方法と、Dockerを使用する方法の2つです。

1. Gitリポジトリをクローンする方法

最も一般的な方法です。ターミナルを開き、以下のコマンドを実行します。

# SpiderFootのリポジトリをクローン
git clone https://github.com/smicallef/spiderfoot.git

# SpiderFootのディレクトリに移動
cd spiderfoot

# 必要なPythonライブラリをインストール
pip install -r requirements.txt
      

これで基本的なインストールは完了です。簡単ですね！😄

2. Dockerを使用する方法

Dockerがインストールされている環境であれば、依存関係の解決などを気にせず、より簡単に環境を構築できます。

# SpiderFootのDockerイメージをビルド (初回のみ)
# 시간이 걸릴 수 있습니다.
docker build -t spiderfoot .

# Dockerコンテナを実行 (Web UIをポート5001で公開)
docker run -p 5001:5001 spiderfoot
      

コンテナが起動したら、Webブラウザで http://localhost:5001 (またはDockerホストのIPアドレス) にアクセスすると、SpiderFootのWeb UIが表示されます。Dockerを使うと環境構築が楽になることが多いです。🐳

初期設定 (APIキーの設定)

SpiderFootの真価を発揮するためには、各種オンラインサービスと連携するためのAPIキーの設定が非常に重要です。多くのモジュールは、APIキーがないと動作しないか、機能が大幅に制限されます。

APIキーは、SpiderFootのWeb UIから設定するのが簡単です。

1. Web UIにアクセスします (デフォルト: http://127.0.0.1:5001)。
2. 上部メニューの「Settings」をクリックします。
3. 「API Key Manager」タブを選択します。
4. 利用したいサービスのAPIキーを入力し、「Save Changes」をクリックします。

設定すべきAPIキーは多数ありますが、Shodan, VirusTotal, Hunter.io, Censys, HaveIBeenPwnedなどは、OSINT調査において特に有用な情報を提供してくれるため、優先的に設定することをおすすめします。💡 各サービスのAPIキー取得方法は、それぞれの公式サイトで確認してください。キーによっては無料プランで利用できるものもありますが、本格的に利用する場合は有料プランが必要になることもあります。

⚠️ 注意: APIキーは機密情報です。適切に管理し、漏洩しないように注意してください。特に、公開リポジトリなどに誤ってコミットしないように気をつけましょう。

SpiderFootのWeb UIは直感的で分かりやすく、初心者でも比較的簡単に操作できます。ここでは、Web UIを使った基本的なスキャン操作の流れを説明します。

Web UIへのアクセス

SpiderFootを起動すると、通常は http://127.0.0.1:5001 でWeb UIにアクセスできます。Dockerでポートを変更した場合は、そのポート番号を指定してください。

# Gitクローンした場合の起動コマンド例
python ./sf.py -l 127.0.0.1:5001
      

スキャンの開始

Web UIのメイン画面は「Scans」タブです。新しいスキャンを開始するには、「New Scan」ボタンをクリックします。

1. Scan Name: スキャンに分かりやすい名前を付けます。(例: example.com_initial_scan)
2. Scan Target: 調査対象となるターゲットを入力します。ドメイン名 (example.com), IPアドレス (192.0.2.1), サブネット (192.0.2.0/24), ASN (AS15169), メールアドレス (user@example.com), 人名 ("John Doe"), 電話番号など、様々なタイプのターゲットを指定できます。
3. Scan Use Case / Modules / Required Data: スキャンで使用するモジュールを選択します。選択方法には以下の3つのタブがあります。
   • By Use Case: 「All (すべてのモジュール)」、「Footprint (基本的な情報収集)」、「Investigate (詳細調査)」、「Passive (受動的な情報収集のみ)」といった事前定義されたユースケースから選択します。初心者にはまず「Footprint」や「Passive」から試すのがおすすめです。
   • By Module: 100以上のモジュールの中から、使用したいものを個別に選択します。各モジュールがどのような情報を収集するかを理解している場合に有効です。
   • By Required Data: 収集したい情報の種類 (例: E-Mail Address, Phone Number, Vulnerability) を選択すると、それらを収集できるモジュールが自動的に選択されます。

設定が完了したら、「Run Scan Now」ボタンをクリックしてスキャンを開始します。🚀

スキャン結果の見方

スキャンが開始されると、リアルタイムで結果が収集・表示されます。スキャン中の画面や完了後の結果は、主に以下のタブで確認できます。

• Dashboard: スキャンの概要が表示されます。収集されたデータ要素の種類と数、スキャンの進捗状況、エラーが発生したモジュールなどが一目でわかります。
• Browse: 収集された個々のデータ要素をタイプ別に閲覧できます。例えば、「Domain Name」をクリックすると、発見されたドメイン名の一覧が表示され、各ドメイン名がどのモジュールによって、どの情報源から発見されたかを確認できます。これが最も詳細な結果を確認する画面です。
• Visualize: 収集されたデータの関連性をグラフ形式で可視化します。ターゲットを中心に、どのように情報が関連し合っているかを直感的に理解するのに役立ちます。ノード（データ要素）をクリックすると詳細情報が表示されます。複雑な関係性を把握するのに便利です。📊
• Log: スキャン中の詳細なログを確認できます。エラーの原因調査などに役立ちます。

「Browse」タブで特定のデータ要素をクリックすると、そのデータに関する詳細情報（情報源、タイムスタンプ、関連データなど）が表示されます。

スキャンの管理

「Scans」タブでは、実行中のスキャンや完了したスキャンのリストが表示されます。各スキャンに対して、以下の操作を行えます。

• View: スキャン結果の詳細画面を開きます。
• Stop: 実行中のスキャンを停止します。
• Delete: スキャン結果を削除します。⚠️ 一度削除すると元に戻せないので注意してください。
• Export: スキャン結果をCSV、JSON、GEXF (グラフデータ) 形式でエクスポートできます。他のツールでの分析やレポート作成に活用できます。
• Clone: 同じ設定で新しいスキャンを作成します。ターゲットだけを変更して再スキャンしたい場合に便利です。

SpiderFootはコマンドラインインターフェース (CLI) でも操作可能です。自動化スクリプトに組み込んだり、特定モジュールだけを素早く実行したりする場合に便利です。💻

CLIの起動と基本コマンド

SpiderFootのディレクトリで sf.py を実行します。

# ヘルプを表示
python ./sf.py -h
      

基本的なスキャン実行コマンドの形式は以下の通りです。

python ./sf.py -s TARGET [オプション]
      

主なオプション:

• -s TARGET: スキャン対象のターゲットを指定します。(必須)
• -m MODULES: 使用するモジュールをカンマ区切りで指定します。(例: sfp_dns,sfp_whois) 指定しない場合は全モジュールが対象になる可能性があります（設定による）。
• -M: 利用可能な全モジュールの一覧を表示します。
• -t TYPES: 収集したいデータタイプをカンマ区切りで指定します。(例: IP_ADDRESS,EMAILADDR)
• -T: 利用可能な全データタイプの一覧を表示します。
• -u USECASE: 使用するユースケースを指定します。(all, footprint, investigate, passive)
• -o OUTPUT: 結果を出力する形式を指定します。(JSON, CSV, GEXF) 指定しない場合はSQLiteデータベースに保存されます。
• -l IP:PORT: Web UIを起動し、指定したIPアドレスとポートでリッスンします。(例: 127.0.0.1:5001)
• -q: Web UIを起動せずに、スキャン結果を標準出力に表示しません（Quietモード）。データベースへの保存は行われます。
• --no-resolve: スキャンターゲットのホスト名/IPアドレス解決を行いません。
• --modules-run <module1,module2...>: `-m` と同様に実行するモジュールを指定します。
• --modules-skip <module1,module2...>: スキップするモジュールを指定します。

コマンド例

いくつか具体的なコマンド例を見てみましょう。

# example.com に対して、DNS関連とWhois情報のモジュールのみを実行
python ./sf.py -s example.com -m sfp_dns,sfp_whois -q

# 192.0.2.1 に対して、受動的な (Passive) スキャンを実行
python ./sf.py -s 192.0.2.1 -u passive -q

# domain.tld に対して、メールアドレスと電話番号に関連するデータを収集するモジュールを実行し、結果をJSON形式で表示
# 注意: -o で指定すると標準出力される。ファイルに出力したい場合はリダイレクトを使う
python ./sf.py -s domain.tld -t EMAILADDR,PHONENUMBER -o JSON -q > scan_results.json

# 利用可能な全モジュールリストを表示
python ./sf.py -M
      

CLIとWeb UIの使い分け

どちらを使うかは目的によります。

• Web UI:
  • インタラクティブな操作、結果の可視化、複数スキャンの管理に適しています。
  • 初心者や、収集されたデータの全体像を把握したい場合におすすめです。
  • APIキーの設定も簡単です。
• CLI:
  • スクリプトへの組み込み、自動化、特定モジュールの素早い実行に適しています。
  • 特定のアウトプット形式が必要な場合や、リモートサーバーで実行する場合に便利です。
  • リソース消費が少ない傾向があります。

両方の使い方を覚えておくと、状況に応じて最適な方法を選択できます。👍

SpiderFootの強力さは、その豊富なモジュール群にあります。各モジュールは特定の種類の情報を収集するように設計されています。モジュールは大きく以下のカテゴリに分類されます。

• Discovery: 新たなターゲット（サブドメイン、IPアドレス、メールアドレスなど）を発見するためのモジュール。
• Enrichment: 既存のデータに対して追加情報（Whois情報、地理位置情報、脆弱性情報など）を付与するためのモジュール。
• Passive: ターゲットに対して直接的な通信を行わず、公開されている情報源のみを利用するモジュール。スキャン対象に知られるリスクが低いです。
• Active: ターゲットに対して直接的な通信（ポートスキャン、バナー取得など）を行うモジュール。より詳細な情報が得られる可能性がありますが、スキャン行為が検知されるリスクがあります。⚠️

ここでは、特に重要ないくつかのモジュールについて解説します。すべてのモジュールを網羅することはできませんが、代表的なものを知ることで、SpiderFootで何ができるかのイメージが掴めるでしょう。

この表はほんの一例です。SpiderFootには、特定のファイルタイプを検索するモジュール、ソーシャルメディア情報を収集するモジュール、ダークウェブの情報を検索するモジュール（Tor連携が必要）、脆弱性データベースを検索するモジュールなど、多種多様なモジュールが用意されています。

モジュール設定のポイント:

• APIキーの設定: 上記の表でも触れたように、多くの強力なモジュールはAPIキーを必要とします。「Settings」->「API Key Manager」で忘れずに設定しましょう。
• モジュールの有効化/無効化: スキャン設定時に、不要なモジュールを無効にすることで、スキャン時間を短縮し、APIの利用制限を節約できます。
• モジュールごとの設定: 一部のモジュールには、検索する深さやタイムアウト時間などの個別設定があります。「Settings」->「Modules」で確認・変更できます。
• Passive vs Active: スキャンの目的に応じて、Passiveモジュールのみを使用するか、Activeモジュールも使用するかを決定します。許可なくActiveスキャンを行うことは、違法行為とみなされる可能性があるため、十分注意してください。⚠️

利用可能なモジュールの詳細については、SpiderFootのWeb UIの「Settings」->「Modules」タブや、公式ドキュメントを参照することをお勧めします。

SpiderFootはその汎用性の高さから、様々なシナリオで活用できます。ここでは、いくつかの実践的なユースケースを紹介します。

1. ペネトレーションテスト/脆弱性診断の初期調査 (Footprinting/Reconnaissance)

ペネトレーションテストや脆弱性診断において、最初のステップはターゲットに関する情報を可能な限り収集することです。SpiderFootはこのフェーズで非常に役立ちます。

• ターゲット: 企業ドメイン名 (example.com), IPアドレス範囲
• 使用するモジュール (例): DNS関連 (sfp_dns), Whois (sfp_whois), サブドメイン検索 (sfp_crt, sfp_dnsbrute – Active注意), Webサーバー情報 (sfp_webserver), 公開されている技術情報 (sfp_builtwith), Shodan/Censys連携 (sfp_shodan, sfp_censys), メールアドレス収集 (sfp_hunter, sfp_pgp), 関連ドキュメント検索 (sfp_filemeta)
• 目的: ターゲットのネットワーク範囲、所有ドメイン/サブドメイン、利用技術、公開されている可能性のあるサーバー/サービス、関連するメールアドレスや従業員名などを特定し、攻撃対象領域 (Attack Surface) を明らかにします。
• 事例: 多くのセキュリティ企業やペンテスターが、初期調査の自動化と効率化のためにSpiderFootや類似のツールを利用しています。例えば、2010年代後半からOSINTの重要性が高まるにつれて、これらのツールの利用が一般的になりました。

2. デジタルフォレンジック/インシデントレスポンス (DFIR)

セキュリティインシデントが発生した際、攻撃元や被害範囲の特定にOSINTが役立つことがあります。

• ターゲット: 不審なIPアドレス, 不審なドメイン名, マルウェアのハッシュ値, 攻撃者の可能性があるメールアドレス/ユーザー名
• 使用するモジュール (例): IPアドレス情報 (sfp_arin, sfp_ipinfo, sfp_ripe, sfp_apnic), ドメイン情報 (sfp_whois), 脅威インテリジェンス連携 (sfp_alienvault, sfp_virustotal, sfp_recordedfuture – 要APIキー), 侵害情報確認 (sfp_haveibeenpwned), 関連アカウント検索 (sfp_socialmedia)
• 目的: 不審なIPアドレスの所有者や所在地、ドメインの登録情報、マルウェアに関する情報、関連する可能性のあるオンラインアカウントなどを調査し、インシデントの全体像把握や原因究明の手がかりを得ます。
• 事例: 大規模なサイバー攻撃 (例: 2017年のWannaCryランサムウェア攻撃など) の分析において、攻撃インフラに関連するIPアドレスやドメインのOSINT調査が行われ、攻撃グループの特定や対策に繋がることがあります。

3. 企業/組織の脅威インテリジェンス収集

自社や競合他社、サプライチェーンに関する脅威情報を継続的に収集・分析します。

• ターゲット: 自社ドメイン/IP範囲, 競合他社ドメイン, サプライヤーのドメイン, 業界特有のキーワード
• 使用するモジュール (例): 上記のFootprintingモジュールに加え、脆弱性情報 (sfp_vulners, sfp_exploitdb), ダークウェブ検索 (Tor連携), 漏洩情報モニタリング (sfp_haveibeenpwned), ニュース/ブログ検索 (sfp_googlenews)
• 目的: 自社の公開資産に存在する脆弱性、競合他社の動向、サプライチェーンリスク、自社や業界を標的とする攻撃の兆候、データ侵害の可能性などを早期に検知します。

4. 個人/ブランドの評判調査

特定の個人や企業ブランドに関するオンライン上の情報を収集し、評判やプライバシーリスクを評価します。

• ターゲット: 人名, 企業名, メールアドレス, SNSアカウント名
• 使用するモジュール (例): 検索エンジン (sfp_duckduckgo, sfp_google, sfp_bing), SNS検索 (sfp_socialmedia, sfp_linkedin), メールアドレス情報 (sfp_haveibeenpwned, sfp_hunter), Pastebinなど (sfp_pastebin)
• 目的: ターゲットに関する公開情報、SNSでの言及、過去のデータ侵害への関与、意図せず公開されている個人情報などを把握し、リスク評価や対策に繋げます。
• 注意: 個人の調査を行う場合は、プライバシーに関する法律や倫理規定を遵守する必要があります。

これらのユースケースはあくまで一例です。SpiderFootのモジュールとターゲットの組み合わせ次第で、様々な情報収集・分析が可能になります。🔍

SpiderFootには、オープンソース版 (OSS版) とは別に、SpiderFoot HX という有償版が存在します。基本的なスキャンエンジンやモジュールの多くは共通していますが、HX版にはいくつかの追加機能やメリットがあります。

どちらを選ぶべきか？

• SpiderFoot OSS版が適している場合:
  • 個人利用、学習目的
  • コストをかけたくない
  • 自分で環境構築・管理ができる
  • 基本的なOSINT機能で十分
  • CLIでの自動化を主に行う
• SpiderFoot HX版が適している場合:
  • 企業やチームでの利用
  • より多くの情報源や高度な分析機能が必要
  • 環境構築の手間を省きたい (SaaS版)
  • 定期的な自動スキャンやレポート作成が必要
  • 商用サポートが必要

まずはOSS版を試してみて、機能や使い勝手を確認し、必要に応じてHX版への移行を検討するのが良いでしょう。OSS版でも非常に多くのことが可能です。✨

SpiderFootは強力なツールですが、利用にあたってはいくつかの注意点と、効果的かつ安全に使うためのベストプラクティスがあります。

• APIキーの管理:
  • APIキーは機密情報です。SpiderFootの設定ファイルやコード内に直接書き込まず、環境変数や専用のキー管理ツールを使用するなど、安全な方法で管理してください。
  • 不要になったAPIキーは削除または無効化しましょう。
  • APIキーの利用規約を確認し、利用制限（リクエスト数など）を超えないように注意してください。
• スキャン対象への配慮:
  • 他者のシステムやネットワークに対してスキャンを行う際は、必ず事前に明示的な許可を得てください。無許可のスキャンは不正アクセス禁止法などの法律に抵触する可能性があります。
  • 利用するデータソース（Webサイト、APIなど）の利用規約 (ToS) を確認し、遵守してください。過度なアクセスはサービスの妨害とみなされる可能性があります。
• アクティブスキャンのリスク:
  • ポートスキャンなどのアクティブスキャンモジュールは、ターゲットシステムに直接的な通信を行います。これは侵入行為とみなされるリスクがあり、またターゲットのセキュリティシステム（IDS/IPS）によって検知・ブロックされる可能性があります。
  • アクティブスキャンは、その影響とリスクを十分に理解し、許可された範囲でのみ使用してください。可能であれば、まずはPassiveスキャンから始めることをお勧めします。
• 結果の解釈と検証:
  • SpiderFootが収集する情報は、あくまで公開情報源に基づいています。情報が常に正確または最新であるとは限りません。
  • 収集された情報は鵜呑みにせず、複数の情報源からの情報を比較したり、他のツールや手法を用いて裏付けを取ったりする（ファクトチェック）ことが重要です。
  • 特に、人名やメールアドレスなどの個人情報に関連する結果は、慎重に取り扱う必要があります。
• 定期的なアップデート:
  • SpiderFoot本体や依存ライブラリ、そして各モジュールは継続的に開発・更新されています。新しい機能の追加、バグ修正、セキュリティ向上のため、定期的に最新バージョンにアップデートすることをお勧めします。OSS版の場合は `git pull` と `pip install -r requirements.txt` を定期的に実行しましょう。
• モジュールの選択:
  • スキャンの目的に合わせて、適切なモジュールを選択することが重要です。全てのモジュールを有効にすると、スキャン時間が長くなり、不要な情報が多く収集され、APIの利用制限に達しやすくなる可能性があります。
  • 「By Use Case」や「By Required Data」を活用して、効率的なモジュール選択を行いましょう。
• ログの確認:
  • スキャン中にエラーが発生した場合や、期待した結果が得られない場合は、Web UIの「Log」タブや、CLI実行時のログを確認することで、原因究明の手がかりが得られます。

これらの点に注意し、倫理的かつ効果的にSpiderFootを活用してください。👍

この記事では、強力なOSINT自動化ツールであるSpiderFootについて、その概要からセットアップ、基本的な使い方（Web UIとCLI）、主要なモジュール、実践的なユースケース、有償版との違い、そして利用上の注意点まで、幅広く解説しました。

SpiderFootは、公開情報を効率的かつ網羅的に収集・分析するための優れたフレームワークであり、サイバーセキュリティ、脅威インテリジェンス、調査業務など、様々な分野で価値を発揮します。その柔軟性と拡張性の高さは、初心者から専門家まで、多くのユーザーにとって魅力的な選択肢となるでしょう。😊

OSINTの世界は広大で、ツールを使いこなすだけでなく、収集した情報をどのように解釈し、活用するかが重要になります。SpiderFootはその第一歩として、あるいは情報収集プロセスを加速するための強力な武器として、きっとあなたの役に立つはずです。

ぜひ、実際にSpiderFootをインストールして、様々なターゲットに対してスキャンを試してみてください（ただし、許可のない対象へのスキャンは絶対に避けましょう！）。そして、公式ドキュメントやコミュニティ（GitHubなど）も参照しながら、さらに理解を深めていくことをお勧めします。

Happy OSINTing! 🚀🔍