md5deep徹底解説：ファイル整合性チェックとフォレンジックのための必須ツール 💾

はじめに：md5deepとは？ 🤔

md5deepは、ファイルやディレクトリ内のファイルのMD5ハッシュ値を計算するためのコマンドラインユーティリティです。もともとはデジタルフォレンジック（コンピュータ犯罪捜査）の分野で、ファイルの同一性を検証したり、改ざんを検出したりするために開発されました。シンプルな操作性と強力な機能から、システム管理者やセキュリティ専門家、開発者など、幅広いユーザーに利用されています。

MD5（Message Digest Algorithm 5）は、任意の長さのデータを元に、128ビット（16バイト）の固定長のハッシュ値を生成するアルゴリズムです。同じファイルであれば常に同じハッシュ値が生成され、少しでもファイルの内容が異なれば、生成されるハッシュ値は大きく異なるという特性があります。この特性を利用して、md5deepは以下のような目的で活用されます。

• ✅ ファイルの整合性チェック（ダウンロードしたファイルが壊れていないか、転送中に変更されていないかなど）
• ✅ ファイルの同一性確認（バックアップデータとオリジナルデータが一致しているかなど）
• ✅ 既知のファイル（マルウェア、OSのシステムファイルなど）の特定
• ✅ デジタルフォレンジックにおける証拠保全と分析

md5deepのインストール 💻

md5deepは、多くのLinuxディストリビューションやmacOS、Windowsで利用可能です。後継のhashdeepパッケージに含まれていることが多いです。

Linux (Debian/Ubuntu系)

APTパッケージマネージャを使用してインストールできます。

sudo apt update
sudo apt install md5deep
      

もしmd5deepが見つからない場合は、hashdeepパッケージをインストールしてみてください。hashdeepにはmd5deep互換の機能が含まれています。

sudo apt update
sudo apt install hashdeep
      

Linux (Red Hat/CentOS/Fedora系)

YUMまたはDNFパッケージマネージャを使用してインストールします。

# CentOS/RHEL
sudo yum install md5deep # または hashdeep

# Fedora
sudo dnf install md5deep # または hashdeep
      

EPELリポジトリなど、追加のリポジトリが必要な場合があります。

macOS

Homebrewを使用するのが最も簡単です。hashdeepパッケージをインストールします。

brew install hashdeep
      

インストール後、md5deepコマンドが利用可能になります。

Windows

md5deepおよびhashdeepは、公式ウェブサイトや、Cygwin、MSYS2などの環境を通じて入手できます。

公式プロジェクトはSourceForgeなどでホストされていることがあります。実行ファイル（.exe）をダウンロードし、パスの通ったディレクトリに配置するか、フルパスを指定して実行します。

例えば、md5deep and hashdeep project page on SourceForge (もしアクセス可能であれば) からダウンロードできます。ただし、開発が活発でない可能性もあるため、信頼できるソースから入手するように注意してください。

ScoopやChocolateyといったパッケージマネージャーでも利用可能な場合があります。

# Scoopの場合 (利用可能であれば)
scoop install hashdeep

# Chocolateyの場合 (利用可能であれば)
choco install hashdeep
      

インストール確認

インストール後、ターミナル（コマンドプロンプト）で以下のコマンドを実行して、バージョン情報が表示されれば成功です。

md5deep -v
      

もしhashdeepをインストールした場合は、hashdeepコマンドも確認しておくと良いでしょう。

hashdeep -v
      

基本的な使い方 ✨

md5deepの基本的な構文は非常にシンプルです。

md5deep [オプション] [ファイルまたはディレクトリ...]
      

引数なしで実行すると、標準入力からデータを読み込みます。

単一ファイルのハッシュ計算

指定したファイルのMD5ハッシュ値を計算し、標準出力に表示します。

# document.txt というファイルのMD5ハッシュを計算
md5deep document.txt

# 出力例:
# 3b5d5c3714f4eb1d87f1f71e33f8445d  /home/user/docs/document.txt
      

出力は、ハッシュ値<スペース><スペース>ファイルパス の形式になります。

複数ファイルのハッシュ計算

複数のファイル名を引数として指定できます。

# report.pdf と image.jpg のハッシュを計算
md5deep report.pdf image.jpg

# 出力例:
# d41d8cd98f00b204e9800998ecf8427e  /home/user/files/report.pdf
# 098f6bcd4621d373cade4e832627b4f6  /home/user/files/image.jpg
      

ディレクトリ内のファイルのハッシュ計算（再帰的）

-r オプションを使用すると、指定したディレクトリとそのサブディレクトリ内のすべてのファイルを再帰的に処理します。

# my_project ディレクトリ内のすべてのファイルのハッシュを計算
md5deep -r my_project

# 出力例:
# a1b2c3d4e5f6...  /home/user/my_project/main.c
# f6e5d4c3b2a1...  /home/user/my_project/lib/utils.h
# 1a2b3c4d5e6f...  /home/user/my_project/docs/readme.txt
# ... (ディレクトリ内の全ファイル)
      

これは、ディレクトリ全体のファイルの状態を記録したり、後で比較したりする際に非常に便利です。

ハッシュ値のみを表示

-b オプション（bare モード）を使用すると、ファイル名を省略し、ハッシュ値のみを出力します。スクリプトなどでハッシュ値だけを使いたい場合に便利です。

# document.txt のハッシュ値のみを表示
md5deep -b document.txt

# 出力例:
# 3b5d5c3714f4eb1d87f1f71e33f8445d
      

標準入力からのハッシュ計算

ファイル名を指定せずに実行するか、パイプでデータを受け取ると、標準入力から読み込んだデータのハッシュ値を計算します。

# 文字列 "hello world" のハッシュ値を計算
echo -n "hello world" | md5deep

# 出力例:
# 5eb63bbbe01eeed093cb22bb8f5acdc3  (stdin)

# ファイルの内容をパイプで渡す
cat important_data.log | md5deep

# 出力例:
# 1234abcd...  (stdin)
      

echoコマンドで文字列を渡す場合、末尾の改行を含めないように-nオプションを付けるのが一般的です。

主要なオプション解説 ⚙️

md5deepには多くの便利なオプションがあります。ここでは特に重要なものをいくつか紹介します。

これらのオプションを組み合わせることで、様々な要求に応じたファイルハッシュの処理が可能になります。特に比較モード（-M, -X, -m, -x）は、md5deepの強力な機能の一つです。

応用的な使い方 🚀

基本的な使い方とオプションを理解すれば、md5deepをさらに活用できます。

1. ディレクトリの整合性チェック

特定の時点でのディレクトリの状態（含まれるファイルのハッシュリスト）を保存しておき、後で比較することで、ファイルの変更、追加、削除を検出できます。

ステップ1: ベースラインの作成

最初に、チェックしたいディレクトリのハッシュリストを作成し、ファイルに保存します。

# /etc ディレクトリの状態を baseline_hashes.txt に保存
md5deep -r -l /etc > baseline_hashes.txt
      

-lオプションで相対パスにすると、後で比較しやすくなる場合があります。

ステップ2: 定期的な比較

後日、同じディレクトリのハッシュリストを再度計算し、保存しておいたベースラインと比較します。

まず、現在のハッシュリストを計算します。

md5deep -r -l /etc > current_hashes.txt
      

次に、diffコマンドなどを使って、ベースラインと現在のリストを比較します。

diff baseline_hashes.txt current_hashes.txt
      

diffの出力を見れば、どのファイルが変更されたか（ハッシュ値が変わった）、追加されたか、削除されたかが分かります。

より高度な比較には、hashdeepの監査機能（-aオプションなど）が便利です。これは変更、追加、削除されたファイルを明確にレポートしてくれます。

# hashdeep を使った監査 (例)
# まずベースラインを作成
# hashdeep -c md5 -r -l /etc > baseline.hdeep
# 後日監査を実行
# hashdeep -c md5 -r -l -a -k baseline.hdeep /etc
      

2. 既知のファイルの特定（ホワイトリスト/ブラックリスト）

既知の良性ファイル（OSの標準ファイルなど）のハッシュリスト（ホワイトリスト）や、既知の悪性ファイル（マルウェアなど）のハッシュリスト（ブラックリスト）を使って、システム内のファイルを分類できます。

例：既知のマルウェアの検出

まず、信頼できるソースからマルウェアのMD5ハッシュリスト（例: malware_hashes.txt）を入手します。リストはmd5deepの出力と同じ形式か、ハッシュ値のみが記載されている形式（-m, -xオプション用）である必要があります。

# malware_hashes.txt の例 (ハッシュ値のみ)
# e4d909c290d0fb1ca068ffaddf22cbd0
# d8578edf8458ce06fbc5bb76a58c5ca4
# ...
      

次に、調査対象のディレクトリ（例: /downloads）に対して、-xオプション（ネガティブマッチングの簡易版）または-mオプション（ポジティブマッチングの簡易版）を使ってスキャンします。

# /downloads ディレクトリ内で、malware_hashes.txt に載っているハッシュ値と一致するファイルを検索
md5deep -r -m malware_hashes.txt /downloads

# 出力例 (一致した場合):
# e4d909c290d0fb1ca068ffaddf22cbd0  /home/user/downloads/suspicious_file.exe
      

もしmalware_hashes.txtがmd5deep形式（ハッシュ値とファイルパス）であれば、-Mオプションを使います。

# malware_hashes_full.txt の例 (md5deep形式)
# e4d909c290d0fb1ca068ffaddf22cbd0  /path/to/original/malware1.exe
# d8578edf8458ce06fbc5bb76a58c5ca4  /path/to/original/malware2.dll

# 検索実行
md5deep -r -M malware_hashes_full.txt /downloads
      

逆に、ホワイトリスト（例: known_good_hashes.txt）を使って、システム内に未知のファイルや変更されたファイルがないかを確認することもできます。-Xや-xオプションでホワイトリストを指定し、リストに載っていないファイル（＝未知または変更されたファイル）を出力させます。

# /usr/bin ディレクトリ内で、known_good_hashes.txt に載っていないファイルを探す
md5deep -r -x known_good_hashes.txt /usr/bin
      

3. デジタルフォレンジックでの利用

デジタルフォレンジックでは、証拠となるデータの完全性を証明することが非常に重要です。md5deepは、ディスクイメージや個々のファイルのハッシュ値を計算し、記録しておくことで、その後の分析過程でデータが改ざんされていないことを示すために使われます。

• 証拠保全：差し押さえたコンピュータのディスクイメージを作成した後、そのイメージ全体のハッシュ値と、イメージ内の主要なファイルのハッシュ値を計算・記録します。
• 分析：分析中にファイルの内容を確認する際、元のハッシュ値と照合することで、意図しない変更が加わっていないかを確認します。
• 既知のファイルの除外：OSのシステムファイルなど、調査に関係のない既知のファイルのハッシュリスト（NSRL: National Software Reference Library などが有名）と比較し、調査対象から除外することで、効率的に分析を進めます。

フォレンジックの文脈では、MD5の脆弱性から、SHA-1やSHA-256などのより安全なハッシュアルゴリズムも併用することが一般的です。hashdeepはこれらのアルゴリズムもサポートしているため、フォレンジック分野ではhashdeepがより広く使われています。

4. スクリプトとの連携

md5deepの出力はシンプルなテキスト形式なので、シェルスクリプトや他のプログラミング言語と容易に連携できます。例えば、特定のファイルのハッシュ値を計算し、期待される値と比較するスクリプトを作成できます。

#!/bin/bash

# チェック対象ファイルと期待されるMD5ハッシュ値
TARGET_FILE="/path/to/important/config.xml"
EXPECTED_HASH="a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4"

# 現在のハッシュ値を計算 (-b でハッシュ値のみ取得)
CURRENT_HASH=$(md5deep -b "$TARGET_FILE")

# エラーチェック (ファイルが存在しない場合など)
if [ -z "$CURRENT_HASH" ]; then
  echo "エラー: $TARGET_FILE のハッシュを計算できませんでした。"
  exit 1
fi

# ハッシュ値を比較
if [ "$CURRENT_HASH" == "$EXPECTED_HASH" ]; then
  echo "OK: $TARGET_FILE は変更されていません。 ($CURRENT_HASH)"
else
  echo "警告: $TARGET_FILE が変更された可能性があります！"
  echo "  期待値: $EXPECTED_HASH"
  echo "  現在値: $CURRENT_HASH"
fi

exit 0
      

このように、md5deepを自動化された監視やチェックの仕組みに組み込むことができます。

md5deep と hashdeep 🔄

md5deepについて解説してきましたが、現在ではその後継ツールであるhashdeepの利用が推奨される場面が多いです。

hashdeepは、md5deepの機能をほぼすべて含んだ上で、以下の点で強化されています。

• 複数のハッシュアルゴリズムに対応： MD5だけでなく、SHA-1, SHA-256, SHA-3 (Keccak), Tiger, Whirlpoolなど、より多くのハッシュアルゴリズムを同時に計算・比較できます。-cオプションで指定します。（例: -c md5,sha256）
• 強化された監査機能： -a（audit）オプションを使うことで、ベースラインとなるハッシュリストと比較し、「一致したファイル」「変更されたファイル」「新規に追加されたファイル」「リストからは削除されたファイル」を明確にレポートします。
• ピースワイズハッシュの改善： 大きなファイルを指定サイズごとに分割してハッシュ計算する機能（-pオプション）がより安定し、実用的になっています。
• 柔軟な比較オプション： ファイル名、ファイルサイズ、ハッシュ値を組み合わせて比較するオプションが追加されています。

MD5の脆弱性を考慮すると、特にファイルの同一性や整合性を厳密に検証したい場合は、SHA-256などのより安全なアルゴリズムを使うべきです。hashdeepを使えば、MD5とSHA-256のハッシュ値を同時に計算・記録することも可能です。

# hashdeep を使ってMD5とSHA-256を同時に計算
hashdeep -c md5,sha256 -r -l my_directory > hashes.hdeep

# hashes.hdeep の内容例:
# %%%% HASHDEEP-1.0
# %%%% size,md5,sha256,filename
## Invoked from: /home/user
## $ hashdeep -c md5,sha256 -r -l my_directory
##
12,d41d8cd98f00b204e9800998ecf8427e,e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855,my_directory/file1.txt
567,a1b2c3d4e5f6... ,f1e2d3c4b5a6... ,my_directory/subdir/image.png
...
      

このように、hashdeepはmd5deepの自然な進化形であり、現代的な要件により適合したツールと言えます。md5deepの基本的な考え方やオプションはhashdeepにも引き継がれているため、md5deepを学ぶことはhashdeepを理解する上でも役立ちます。

まとめ 🎉

md5deepは、ファイルやディレクトリのMD5ハッシュ値を効率的に計算・比較するための強力なコマンドラインツールです。ファイルの整合性チェック、既知ファイルの特定、デジタルフォレンジックなど、様々な場面で活用できます。

基本的な使い方から、再帰処理、比較モードなどの応用的な機能まで、その操作は比較的シンプルでありながら奥深いものがあります。

しかし、MD5アルゴリズム自体の脆弱性により、セキュリティが重要な場面での単独使用は推奨されません。後継ツールであるhashdeepは、SHA-256などのより安全なハッシュアルゴリズムをサポートし、機能も強化されているため、現在ではhashdeepへの移行が望ましい選択肢となります。

md5deep（およびhashdeep）は、ファイル管理やシステムセキュリティに関わる上で非常に便利なツールです。この記事を参考に、ぜひその機能を試してみてください。ただし、MD5の限界を常に念頭に置き、適切な場面で、できればより安全なハッシュアルゴリズムと組み合わせて活用するようにしましょう。 💪