theHarvester: OSINTの強力な武器 🕵️‍♀️

サイバーセキュリティの世界では、情報が力となります。特に、攻撃対象の初期調査、いわゆる「偵察（Reconnaissance）」段階において、どれだけ多くの情報を集められるかが、その後のペネトレーションテストやセキュリティ評価の成否を大きく左右します。この偵察プロセスで非常に役立つツールの一つが theHarvester です。

この記事では、theHarvesterがどのようなツールで、何ができ、どのように使うのか、そして利用する上での注意点などを詳しく解説していきます。初心者の方でも理解できるように、基本的な使い方から応用的なテクニックまで網羅します。 💪

theHarvesterは、Pythonで書かれたオープンソースインテリジェンス（OSINT）収集ツールです。OSINTとは、インターネット上で公開されている情報（例えば、ウェブサイト、検索エンジン、SNS、公開データベースなど）を収集・分析することを指します。theHarvesterは、特定のドメイン（例: example.com）に関連する情報を、様々な公開情報源から自動的に収集するために設計されています。

このツールは、主にペネトレーションテストやレッドチーム演習の初期段階で、ターゲットとなる組織の外部の脅威状況（External Threat Landscape）を把握するために利用されます。収集できる情報の種類は多岐にわたりますが、主なものとしては以下のようなものが挙げられます。

• 📧 メールアドレス: 従業員や組織に関連するメールアドレス。これらはフィッシング攻撃やパスワードリスト攻撃のターゲットになり得ます。
• 🌐 サブドメイン: メインドメインに関連付けられたサブドメイン（例: blog.example.com, mail.example.com）。忘れられたテスト環境や古いシステムが見つかることもあります。
• 💻 ホスト名とIPアドレス: ドメインに関連付けられたサーバーのホスト名やIPアドレス。ネットワークスキャンや脆弱性分析の起点となります。
• 👤 従業員の名前: LinkedInなどの情報源から、組織に所属する従業員の名前。ソーシャルエンジニアリングに利用される可能性があります。
• 🚪 オープンポートとバナー情報: Shodanなどのデータベースを利用して、公開されているポート番号やそこで動作しているサービスのバナー情報（バージョン情報など）。
• 🔗 関連URL: ターゲットドメインに関連する可能性のあるURL。

theHarvesterの大きな特徴は、これらの情報をターゲットシステムに直接アクセスすることなく（パッシブスキャン）、あるいは最小限のアクセスで（アクティブスキャン）収集できる点です。これにより、検知されるリスクを抑えながら効率的に情報を集めることが可能です。

Kali Linuxなどのペネトレーションテスト用ディストリビューションには標準で含まれていることが多いですが、他のLinuxディストリビューションやmacOS、Windowsでも手動でインストールして利用できます。

theHarvesterを利用するための準備は比較的簡単です。

Kali Linuxの場合

多くの場合、Kali LinuxにはtheHarvesterがプリインストールされています。ターミナルを開いて以下のコマンドを実行し、ヘルプメッセージが表示されれば準備完了です。

theHarvester --help

もしインストールされていない場合や、最新版にアップデートしたい場合は、以下のコマンドでインストール・アップデートできます。

sudo apt update
sudo apt install theharvester

常に最新の機能を利用するために、定期的にアップデートすることをお勧めします。

他のOS（Linux, macOS, Windows）の場合

Kali Linux以外の環境では、GitHubリポジトリからソースコードをクローンしてインストールするのが一般的です。

1. リポジトリのクローン: まず、Gitがインストールされていることを確認し、以下のコマンドでリポジトリをクローンします。

   git clone https://github.com/laramies/theHarvester.git

2. ディレクトリ移動: クローンしたディレクトリに移動します。

   cd theHarvester

3. 依存関係のインストール: theHarvesterはPythonで書かれており、動作に必要なライブラリがあります。これらをインストールします。Python 3.10以降が推奨されています。pip（Pythonのパッケージインストーラ）を使ってインストールするのが簡単です。

   python3 -m pip install -r requirements/base.txt

   または、開発用の依存関係も含める場合は以下を実行します。

   python3 -m pip install -r requirements/dev.txt

   (環境によっては `pip` や `python` コマンドになる場合があります)
4. 実行: これで、`theHarvester.py` スクリプトを実行できるようになります。

   python3 theHarvester.py --help

macOSユーザーはHomebrewを使ってインストールすることも可能です。

brew install theharvester

APIキーの設定（推奨）🔑

theHarvesterは多くのデータソースを利用しますが、中にはAPIキーを必要とするものがあります（例: Hunter.io, BinaryEdge, Censys, Shodan, GitHubなど）。これらのサービスのアカウントを作成し、APIキーを取得して設定ファイル（`api-keys.yaml` など）に記述しておくことで、より多くの、より質の高い情報を収集できるようになります。

APIキーの設定ファイルは、通常theHarvesterのディレクトリ内にあります。各サービスの指示に従ってキーを取得し、設定ファイルに追記してください。無料プランで利用できる範囲でも十分に役立つ情報を得られることが多いです。

theHarvesterの基本的なコマンド構文は以下の通りです。

theHarvester -d <ターゲットドメイン> -b <データソース> [オプション...]

それぞれの要素について見ていきましょう。

• -d <ターゲットドメイン>: 調査対象のドメイン名を指定します。例えば、`example.com` の情報を収集したい場合は `-d example.com` とします。必須のオプションです。
• -b <データソース>: どの情報源を使って情報を収集するかを指定します。例えば、Googleを使いたい場合は `-b google`、Bingを使いたい場合は `-b bing` とします。複数のソースを指定する場合はカンマ区切りで記述します（例: `-b google,bing,linkedin`）。all を指定すると、設定されている利用可能な（APIキーが不要、または設定済みの）全てのパッシブソースを利用しようとします。必須のオプションです。

簡単な実行例

`example.com` というドメインについて、Google検索エンジンを使って情報を収集する最も基本的なコマンドは以下のようになります。

theHarvester -d example.com -b google

このコマンドを実行すると、theHarvesterはGoogle検索を利用して `example.com` に関連するメールアドレスやサブドメイン、ホスト情報などを探し、結果をターミナルに表示します。

複数の情報源（例えばBingとYahoo）から情報を収集し、結果の表示件数を最初の100件に制限したい場合は、次のようにします。

theHarvester -d example.com -l 100 -b bing,yahoo

-l <件数> オプションは、各データソースから取得する検索結果の数を制限します。デフォルトは多くの場合500件です。

利用可能な全てのパッシブソースを使って情報を収集するには、以下のようにします。

theHarvester -d example.com -b all

この方法は網羅的ですが、多くのソースにアクセスするため時間がかかることがあります。また、APIキーが必要なソースは、キーが設定されていないとスキップされます。

theHarvesterには、情報収集のプロセスを細かく制御するための多くのオプションが用意されています。ここでは、特によく使われる主要なオプションをいくつか紹介します。

これらのオプションを組み合わせることで、より目的に合った情報収集が可能になります。例えば、特定のドメインに対して、GoogleとBingから最大300件の情報を収集し、結果を`my_report`というファイルに保存し、発見したホストのDNS解決も行いたい場合は、次のようなコマンドになります。

theHarvester -d example.com -l 300 -b google,bing -f my_report -n

利用可能なオプションやデータソースはtheHarvesterのバージョンによって変わることがあります。常に theHarvester --help を実行して、利用しているバージョンで利用可能なオプションを確認することをお勧めします。 🧐

theHarvesterの強みは、多様な公開情報源（データソース）を活用して情報を収集できる点にあります。各データソースは、得意とする情報の種類や収集方法が異なります。以下に、よく利用される代表的なデータソースをいくつか紹介します（利用可能なソースはバージョンによって異なります）。

検索エンジン系

• google:言わずと知れたGoogle検索エンジン。広範囲な情報をカバーしますが、自動クエリに対する制限が厳しい場合があります。
• bing / bingapi: Microsoftの検索エンジン。Googleとは異なる結果が得られることがあります。API版はAPIキーが必要です。
• baidu: 中国最大の検索エンジン。中国に関連するドメインの場合に有効なことがあります。
• duckduckgo: プライバシー重視の検索エンジン。
• brave: Braveブラウザに搭載されている検索エンジン。
• yahoo: Yahoo検索エンジン。

専門データベース・サービス系

• linkedin: ビジネス特化型SNS。従業員の名前や役職などの情報を収集できます。（ログインやAPIキーが必要な場合あり）
• github-code: GitHub上の公開コードリポジトリから、ドメインに関連する情報（APIキー、設定ファイル、メールアドレスなど）を検索します。（GitHubのアクセストークンが必要）
• hunter / hunterhow: 特定ドメインに関連する業務用のメールアドレスを発見することに特化したサービス。（APIキーが必要）
• censys: インターネット全体のデバイスや証明書情報を検索できるプラットフォーム。証明書情報からサブドメインを発見できます。（APIキーが必要）
• shodan: インターネットに接続されたデバイス（サーバー、IoT機器など）を検索できるエンジン。オープンポートやバナー情報を取得できます。（APIキーが必要）
• crtsh: Certificate Transparency (CT) ログを検索し、発行されたSSL/TLS証明書からサブドメインを発見します。
• dnsdumpster: ドメインに関連するDNS情報を収集するサービス。
• virustotal: ファイルやURLのマルウェアスキャンサービスですが、ドメインに関連するサブドメイン情報なども提供しています。
• binaryedge: インターネットスキャンデータやセキュリティ情報を提供するサービス。サブドメイン情報などを取得できます。（APIキーが必要）
• securityTrails: DNS履歴やドメイン情報を提供するサービス。（APIキーが必要）
• threatminer: 脅威インテリジェンス情報を提供。ドメイン関連情報も含まれます。
• urlscan: ウェブサイトのスキャン結果から情報を収集します。
• anubis: Anubis DBからサブドメイン情報を取得します。
• bufferoverun: TLS証明書データなどからサブドメイン情報を取得します。(APIキーが必要)
• intelx: ダークウェブを含む様々なソースから情報を収集するインテリジェンスサービス。(APIキーが必要)
• netcraft: ウェブサイトのホスティング情報や技術情報を調査する老舗サービス。
• pgp: PGP (Pretty Good Privacy) キーサーバーからメールアドレスを検索します。
• twitter: 特定ドメインに関連する可能性のあるTwitterアカウントを検索します（主にGoogle検索を利用）。
• otx: AlienVault Open Threat Exchange (OTX) から関連情報を取得します。

アクティブな手法

• dns-brute: 辞書を使ってサブドメインを総当たりで検索します。ターゲットのDNSサーバーに直接問い合わせを行います。
• dns-lookup / dns-resolve: 発見したホスト名に対してDNS解決を行います。
• take-over: サブドメインが乗っ取り可能な状態（Subdomain Takeover）になっていないかチェックします。

注意: 利用可能なデータソースはtheHarvesterのバージョンアップに伴い頻繁に追加・削除・変更されます。また、APIキーが必要なソースや、利用規約に同意が必要なソースもあります。使用する際は、theHarvester --help で利用可能なソースを確認し、各ソースの特性と要件を理解しておくことが重要です。

どのソースを使うかは、調査の目的やターゲットの特性によって選択します。例えば、メールアドレスを重点的に探したい場合は hunter や pgp を、サブドメインを網羅的に探したい場合は crtsh, dnsdumpster, virustotal や検索エンジン系を組み合わせる、といった戦略が考えられます。🕵️‍♂️

ここでは、いくつかの具体的なシナリオに基づいたtheHarvesterのコマンド例を紹介します。これらの例を参考に、ご自身の目的に合わせてコマンドをカスタマイズしてみてください。 （※以下の例では `targetdomain.com` を架空のターゲットドメインとしています。実際に試す際は、必ず許可されたドメインに対してのみ実行してください。）

例1: 基本的な情報収集（複数ソース利用）

ターゲットドメインについて、主要な検索エンジン（Google, Bing）とcrt.shを使って、メールアドレスとサブドメインを収集し、結果をファイルに保存します。

theHarvester -d targetdomain.com -l 300 -b google,bing,crtsh -f basic_report

• -d targetdomain.com: ターゲットドメインを指定。
• -l 300: 各ソースからの結果を300件に制限。
• -b google,bing,crtsh: Google, Bing, crt.shをデータソースとして使用。
• -f basic_report: 結果を `basic_report.html` と `basic_report.json` に保存。

例2: メールアドレスの重点的な収集

Hunter.io（APIキー設定済み）とPGPキーサーバーを使って、ターゲットドメインに関連するメールアドレスを重点的に収集します。

theHarvester -d targetdomain.com -b hunter,pgp -f email_focus_report

• -b hunter,pgp: メールアドレス収集に強いHunter.ioとPGPキーサーバーを使用。
• APIキーが `api-keys.yaml` などに正しく設定されている必要があります。

例3: サブドメインの網羅的な探索（アクティブ含む）

複数のパッシブソース（crt.sh, dnsdumpster, virustotalなど）に加え、DNSブルートフォースも実行してサブドメインを徹底的に探索します。発見したホストのDNS解決も行います。

theHarvester -d targetdomain.com -b crtsh,dnsdumpster,virustotal -c -n -f subdomain_deepdive

• -b crtsh,dnsdumpster,virustotal: サブドメイン発見に有用なパッシブソースを指定。
• -c: DNSブルートフォースを実行（時間がかかる可能性があります）。
• -n: 発見したホスト名のDNS解決を実行。

例4: Shodanを使ったホスト情報の収集

まずBingでホストを発見し、その後Shodanを使って発見されたホストのオープンポートやバナー情報を調査します（Shodan APIキー設定済み）。

theHarvester -d targetdomain.com -b bing -s -f shodan_scan_report

• -b bing: まずBingでホストを検索。
• -s: 発見したホストに対してShodan検索を実行。
• Shodan APIキーが正しく設定されている必要があります。

例5: スクリーンショットの取得

`all`ソースでサブドメインを発見し、解決できたサブドメインのウェブサイトのスクリーンショットを `./web_screenshots` ディレクトリに保存します。

theHarvester -d targetdomain.com -b all --screenshot ./web_screenshots -f full_scan_report

• --screenshot ./web_screenshots: スクリーンショット機能を有効にし、保存先ディレクトリを指定。
• Playwrightライブラリとその依存関係（ブラウザエンジン）が正しくインストールされている必要があります (playwright install)。

これらはあくまで一例です。theHarvesterの真価は、これらのオプションやデータソースを柔軟に組み合わせて、調査目的に最適な情報収集戦略を立てられる点にあります。色々な組み合わせを試してみてください！🧪

theHarvesterを実行すると、ターミナル上、および -f オプションで指定したファイル（HTML/JSON）に収集結果が出力されます。これらの情報を正しく解釈し、次のアクションにつなげることが重要です。

出力形式

• ターミナル出力: 実行中にリアルタイムで結果が表示されます。ソースごとに発見された情報（メールアドレス、ホスト、IPなど）がリストアップされます。
• HTMLファイル (-f オプション): 見やすく整形されたレポート形式で結果が保存されます。ブラウザで開いて確認でき、報告書作成などに便利です。
• JSONファイル (-f オプション): 構造化されたデータ形式で結果が保存されます。他のツールと連携したり、スクリプトで処理したりする場合に便利です。

結果のカテゴリ

出力される情報は、主に以下のカテゴリに分類されます。

• Emails found: 発見されたメールアドレスのリスト。フィッシング攻撃の対象リスト作成や、アカウント情報の推測などに利用される可能性があります。
• Hosts found: 発見されたホスト名（サブドメイン含む）と、それに対応するIPアドレス（-n オプション使用時など）のリスト。これらのホストに対して、さらにポートスキャンや脆弱性スキャンを行うことができます。
• IPs found: ホスト名とは直接関連付けられずに発見されたIPアドレス。
• Interesting URLs found: 検索エンジンなどから発見された、関連性の高そうなURL。ログインページや隠しディレクトリなどが含まれる可能性があります。
• LinkedIn People found: LinkedInから発見された従業員の名前や役職。ソーシャルエンジニアリングのターゲット特定に繋がることがあります。
• Shodan results (-s オプション使用時): 各ホストについて、Shodanで発見されたオープンポート番号、サービス名、バナー情報など。脆弱なサービスが動作していないか確認する手がかりになります。
• Trello URLs found: TrelloボードのURL。公開設定になっているボードから機密情報が漏洩している可能性があります。
• Twitter Accounts found: 関連するTwitterアカウント。

結果の活用ステップ

1. 情報の整理と重複排除: 複数のソースから情報を収集すると、同じ情報が重複して見つかることがあります。結果を整理し、ユニークなリストを作成します。JSONファイルを処理するスクリプトを書くと効率的です。
2. ホスト名の検証と深掘り: 発見されたホスト名が実際にアクセス可能か確認します（DNS解決、HTTP/HTTPSアクセス試行）。アクセス可能なホストに対しては、ポートスキャン（例: Nmap）、ウェブアプリケーションスキャン（例: Nikto, OWASP ZAP）、脆弱性スキャン（例: Nessus, OpenVAS）などを実施して、さらなる情報を収集します。
3. メールアドレスの分析: 発見されたメールアドレスの命名規則（例: `first.last@example.com`, `f.last@example.com`）を分析し、他の従業員のメールアドレスを推測する手がかりにします。また、Have I Been Pwned? などのサービスで、これらのアドレスが過去の情報漏洩に含まれていないか確認することも有効です。
4. 従業員情報の活用（注意深く）: LinkedInなどで発見された従業員情報は、ソーシャルエンジニアリング攻撃の計画に利用される可能性がありますが、プライバシーへの配慮と倫理的な観点から慎重に取り扱う必要があります。
5. 公開情報の再確認: 発見されたURLやShodanの結果などを手動で確認し、意図せず公開されている情報や脆弱な設定がないか再評価します。
6. レポート作成: -f オプションで生成されたHTMLレポートは、そのまま報告書の一部として利用したり、分析結果をまとめる際の基礎資料として活用できます。

theHarvesterで得られる情報は、あくまでも偵察の第一歩です。これらの情報を元に、より詳細な調査や分析を進めることで、ターゲットのセキュリティ状況を深く理解することができます。🔍

注意すべき点

• 許可の取得: 自分自身が所有・管理していないシステムやドメインに対してスキャンを行う場合は、必ず事前に所有者から書面による明確な許可を得てください。口頭での同意だけでは不十分な場合があります。
• スコープの遵守: ペネトレーションテストなどの依頼を受ける場合、調査対象となる範囲（スコープ）が契約で明確に定められます。theHarvesterを使用する際も、このスコープを逸脱しないように細心の注意を払ってください。
• パッシブ vs アクティブ: theHarvesterの多くの機能はパッシブ（公開情報を検索するだけ）ですが、DNSブルートフォース(-c)やShodan連携(-s)、スクリーンショット取得(--screenshot)などは、ターゲットシステムや第三者のサービスに対して能動的なアクセスを行います。これらのアクティブな機能を使用する際は、特に許可と影響範囲に注意が必要です。
• 収集した情報の取り扱い: 収集した情報（特にメールアドレスや個人名）は機密情報として扱い、目的外利用や第三者への不必要な開示を行わないでください。データ保護規制（GDPRなど）を遵守する必要があります。
• 利用規約の確認: theHarvesterが利用するデータソース（Google, Bing, Shodan, Hunter.ioなど）には、それぞれ利用規約があります。自動化されたクエリに関する制限などが設けられている場合があるため、これらの規約も確認し、遵守するように努めてください。過度なアクセスはアカウント停止などの措置を招く可能性があります。

技術的なスキルだけでなく、高い倫理観と法令遵守の意識を持つことが、サイバーセキュリティ専門家にとって不可欠です。theHarvesterを使う際は、常に「この操作は許可されているか？」「倫理的に問題ないか？」「法的に問題ないか？」を自問自答するようにしてください。 🤔🛡️

theHarvesterは、OSINT（オープンソースインテリジェンス）収集のための非常に強力で多機能なツールです。ペネトレーションテストやセキュリティ評価の初期段階である偵察フェーズにおいて、ターゲットに関する広範な公開情報を効率的に収集するのに役立ちます。

主なポイントを振り返りましょう:

• ✅ メールアドレス、サブドメイン、ホスト、IPアドレス、従業員名など、多様な情報を収集可能。
• ✅ Google, Bing, Shodan, LinkedIn, crt.sh など、多数の公開データソースを利用。
• ✅ 基本的な使い方から、DNSブルートフォースやスクリーンショット取得などの高度な機能まで、豊富なオプションを提供。
• ✅ 結果はターミナルだけでなく、HTMLやJSONファイルにも保存でき、分析やレポート作成に便利。
• ✅ Kali Linuxにプリインストールされていることが多いが、他のOSにも容易にインストール可能。
• ⚠️ 最も重要な点として、利用は必ず倫理的かつ合法的な範囲内で行うこと。無許可でのスキャンは絶対に避けるべき。

theHarvesterを使いこなすことで、ターゲットの攻撃対象領域（Attack Surface）をより深く理解し、潜在的な脆弱性やリスクを発見する能力を高めることができます。しかし、その力を正しく使うためには、技術的な知識だけでなく、常に倫理観と法的責任を意識することが不可欠です。

この記事が、theHarvesterの理解と適切な活用の一助となれば幸いです。安全で責任ある情報収集を心がけましょう！ Happy Hacking (ethically)! 😊👍

• theHarvester 公式GitHubリポジトリ: https://github.com/laramies/theHarvester (ツールのソースコード、最新情報、Issueなど)
• Kali Linux Tools – theHarvester: https://www.kali.org/tools/theharvester/ (Kali Linuxにおけるツールの説明ページ)