theHarvester: OSINTによる情報収集ツール徹底解説

theHarvesterのインストール方法はいくつかありますが、最も一般的なのはKali Linuxを使用する方法です。Kali Linuxには多くの場合、theHarvesterがプリインストールされています。

Kali Linuxでの利用

Kali Linuxを使用している場合、ターミナルを開いて以下のコマンドを実行することで、theHarvesterがインストールされているか確認し、起動できます。

theharvester -h

または

theHarvester -h

これにより、ヘルプメニューが表示されれば、インストール済みです。もしインストールされていない場合や、最新版にアップデートしたい場合は、以下のコマンドを使用します。

sudo apt update
sudo apt install theharvester

ソースからのインストール (pipを使用)

他のLinuxディストリビューションや、手動で最新版をインストールしたい場合は、GitHubリポジトリからソースコードをクローンしてインストールする方法があります。事前にPython3とpipがインストールされている必要があります。

1. リポジトリのクローン:

   git clone https://github.com/laramies/theHarvester.git

2. ディレクトリの移動:

   cd theHarvester

3. 必要なライブラリのインストール:

   sudo apt install python3-pip  # pipが未インストールの場合
   python3 -m pip install -r requirements/base.txt

   (開発版の機能も試したい場合は `requirements/dev.txt` を使うこともあります)

4. 実行:

   python3 theHarvester.py -h

他にもDockerを使用する方法などもあります。詳細は公式のGitHubリポジトリを参照してください。 https://github.com/laramies/theHarvester

theHarvesterの基本的なコマンド構文は以下の通りです。

theHarvester -d <ターゲットドメイン> -b <データソース> [オプション]

• -d <ターゲットドメイン>: 調査対象のドメイン名（例: example.com）または会社名を指定します。必須のオプションです。
• -b <データソース>: 情報収集に使用するデータソースを指定します。複数のソースを指定する場合はカンマ区切りにします（例: google,bing）。all を指定すると、APIキーを必要としない全ての利用可能なパッシブソースを使用します。

例えば、example.com というドメインについて、GoogleとBingをデータソースとして情報を収集する場合は、以下のようになります。

theHarvester -d example.com -b google,bing

theHarvesterには様々なオプションがあり、情報収集の範囲や方法を細かく制御できます。以下に主要なオプションをいくつか紹介します。

これらは一部のオプションです。完全なリストと最新情報については、theHarvester -h コマンドを実行してヘルプメニューを確認してください。

theHarvesterは、多種多様な公開情報源（データソース）を利用して情報を収集します。各ソースは得意とする情報の種類が異なります。以下に代表的なデータソースとその概要を示します。

APIキーが必要なデータソースを利用する場合、事前に各サービスに登録してAPIキーを取得し、theHarvesterの設定ファイル（通常は api-keys.yaml または環境変数）に設定する必要があります。APIキーを使用することで、より多くの、あるいはより質の高い情報を取得できる場合があります。✨

利用可能なデータソースはtheHarvesterのバージョンアップによって変更されることがあります。最新の情報は theHarvester -h や公式ドキュメントで確認してください。

ここでは、いくつかの具体的なユースケースに基づいたtheHarvesterのコマンド例を示します。(注意: 以下のコマンド例では `example.com` をターゲットドメインとしていますが、実際の調査では許可されたドメインを使用してください。)

1. 特定のソース(Google)で基本情報を収集

ターゲットドメイン `example.com` について、Google検索エンジンのみを使って情報を収集します。結果数の上限は300件とします。

theHarvester -d example.com -l 300 -b google

2. 複数のソースで情報を収集し、結果をHTMLファイルに保存

`example.com` について、Bing、crt.sh、DuckDuckGoの3つのソースを使い、結果を `example_results.html` というファイルに保存します。

theHarvester -d example.com -b bing,crtsh,duckduckgo -f example_results.html

保存されたHTMLファイルを開くと、収集された情報（メールアドレス、ホスト、IPなど）が整理された形式で表示され、レポート作成などに役立ちます。📄

3. 利用可能な全てのパッシブソースで情報を収集

APIキーを必要としない全てのパッシブデータソースを使って、`example.com` の情報を広範囲に収集します。

theHarvester -d example.com -b all

この方法は網羅的ですが、多数のソースにアクセスするため時間がかかる場合があります。⏳

4. Shodanを使ってホストのポート情報を追加収集

まず `all` ソースでホスト情報を収集し、その後、見つかったホストに対してShodan検索を実行してオープンポートやバナー情報を取得します。結果はJSONファイルに保存します。(Shodan APIキーの設定が必要です)

# 事前に api-keys.yaml などにShodanキーを設定しておく
theHarvester -d example.com -b all --shodan -f example_shodan.json

5. Hunterを使ってメールアドレスを重点的に収集

メールアドレス収集に特化したHunter.ioを使って `example.com` に関連するメールアドレスを探します。(Hunter APIキーの設定が必要です)

# 事前に api-keys.yaml などにHunterキーを設定しておく
theHarvester -d example.com -b hunter

theHarvesterを実行すると、以下のような種類の情報が収集・表示されます。

• IP Addresses: ターゲットドメインに関連付けられたIPアドレス。
• Emails: ターゲットドメインに関連するメールアドレス。従業員や組織のメールアドレスが含まれることがあります。
• Hosts: ターゲットドメインに関連するホスト名やサブドメイン。www.example.com, mail.example.com, dev.example.com など。
• People: LinkedInなどのソースから見つかった、ターゲット組織に関連する可能性のある人物名。
• Ports: (--shodan オプション使用時など) 発見されたホストで開いている可能性のあるTCP/UDPポート番号とそのバナー情報。

これらの情報は、攻撃対象領域のマッピング、潜在的な標的（メールアドレスやサブドメイン）の特定、さらなるスキャンや脆弱性分析の起点として利用されます。例えば、発見されたサブドメインが開発環境やテスト環境であり、本番環境よりもセキュリティ対策が甘い場合、そこが侵入の足がかりになる可能性があります。また、収集されたメールアドレスは、フィッシング攻撃などのソーシャルエンジニアリングのターゲットリストとして悪用されるリスクもあります。🎣

結果は標準出力に表示されるほか、-f オプションで指定したファイル（HTML, XML, JSON）にも保存されるため、他のツールとの連携や分析、レポート作成に活用できます。

• APIキーの活用: 前述の通り、多くのデータソース（Hunter, Shodan, SecurityTrails, GitHubなど）はAPIキーを提供しています。無料枠があるサービスも多いですが、有料プランを利用するとより多くの情報を、より速く収集できる場合があります。api-keys.yaml ファイルを適切に設定し、APIキーを活用しましょう。🔑
• レート制限への対応: 特にGoogleなどの無料検索エンジンを多用すると、短時間に大量のリクエストを送った場合に一時的にブロックされる（レート制限を受ける）ことがあります。theHarvesterにはリクエスト間の遅延を設定する機能（古いバージョン）や、APIを利用することで、この問題を回避・軽減できる場合があります。
• 他のツールとの連携: theHarvesterで収集したサブドメインリストやIPアドレスリストを、Nmap（ポートスキャン）、Subfinder（サブドメイン列挙）、httpx（HTTP/HTTPSサーバー検出）などの他のツールに入力として渡し、さらに詳細な調査を行うことが一般的です。
• 結果のフィルタリングと分析: 大規模な組織を対象にすると、膨大な量の情報が収集されることがあります。JSON形式で出力し、jq コマンドなどを使って必要な情報だけを抽出したり、他の分析ツールに取り込んだりすると効率的です。
• アクティブスキャン機能: theHarvesterにはDNSブルートフォース（辞書攻撃によるサブドメイン列挙）やDNSリバースルックアップ、TLD（トップレベルドメイン）展開などのアクティブな情報収集機能も含まれていますが、これらはターゲットシステムに直接的な問い合わせを行うため、検知される可能性が高まります。使用にはより慎重な判断が必要です。

• theHarvester 公式GitHubリポジトリ: https://github.com/laramies/theHarvester

  最新のコード、イシュー、ドキュメントなど。

• Kali Linux Tools – theharvester: https://www.kali.org/tools/theharvester/

  Kali LinuxにおけるtheHarvesterの概要説明。