「ブートストラップサンプリング」という言葉を聞いたことがありますか？統計学や機械学習の世界で、非常に重要な役割を果たすテクニックです。一見難しそうに聞こえますが、その基本的な考え方は「手元にあるデータから、さらに多くのデータセットを擬似的に作り出す」というシンプルなものです。
この記事では、この強力な手法が「統計学」と「機械学習」という2つの分野でどのように使われているのか、それぞれの意味と目的を初心者の方にも分かりやすく解説していきます。
1. 統計学の心強い味方 – ブートストラップ法
統計学におけるブートストラップ法は、手元にある限られた標本（サンプルデータ）から、その背後にある母集団（全体のデータ）の性質を推定するための手法です。特に、母集団のデータ分布が不明な場合や、複雑な統計量の信頼区間を求めたい場合に威力を発揮します。
なぜブートストラップ法が必要？
例えば、「日本の大学生100人の睡眠時間を調査した結果、平均は6.5時間だった」とします。この結果から、「日本の大学生全体の平均睡眠時間は、どの範囲に収まる可能性が高いか？」という信頼区間を知りたいと考えます。
しかし、手元には100人分のデータしかありません。何度も全国調査を行うのは現実的ではありません。そこでブートストラップ法の出番です。この100人のデータを「小さな母集団」とみなし、その中から何度もサンプリングを繰り返すことで、統計的な推定を可能にします。
具体的な手順
- 元の標本を用意する
まず、調査で得られた100人分の睡眠時間のデータを用意します。 - 復元抽出でリサンプリングする
用意した100人のデータから、ランダムに1人を選び、その睡眠時間を記録します。そして、その人を元に戻します。これを100回繰り返します。この「元に戻す」というのが「復元抽出」と呼ばれる重要なポイントです。これにより、同じ人が何度も選ばれる可能性があります。こうしてできた新しい100人分のデータを「ブートストラップ標本」と呼びます。 - 統計量を計算する
新しく作成した「ブートストラップ標本」の平均睡眠時間を計算します。 - ひたすら繰り返す
ステップ2と3を、例えば10,000回のように、非常にたくさん繰り返します。これにより、10,000個の平均値が得られます。 - 分布から推定する
得られた10,000個の平均値がどのように分布しているかを確認します。この分布を見ることで、「日本の大学生全体の平均睡眠時間は、95%の確率でこの範囲（例: 6.3時間から6.7時間）に収まるだろう」といった信頼区間を推定することができます。
簡単なコード例（Python）
Pythonのライブラリnumpyを使うと、ブートストラップサンプリングのプロセスを簡単に実装できます。
import numpy as np
# 1. 元の標本（100人分の睡眠時間データと仮定）
original_sample = np.random.normal(loc=6.5, scale=1.5, size=100)
# ブートストラップで計算した平均値を格納するリスト
bootstrap_means = []
# 4. 10000回繰り返す
n_iterations = 10000
for i in range(n_iterations):
# 2. 復元抽出でリサンプリング
bootstrap_sample = np.random.choice(original_sample, size=100, replace=True)
# 3. 統計量（平均値）を計算
mean = np.mean(bootstrap_sample)
bootstrap_means.append(mean)
# 5. 結果から95%信頼区間を計算
lower_bound = np.percentile(bootstrap_means, 2.5)
upper_bound = np.percentile(bootstrap_means, 97.5)
print(f"元の標本の平均値: {np.mean(original_sample):.2f}")
print(f"ブートストラップ推定による95%信頼区間: {lower_bound:.2f} 〜 {upper_bound:.2f}")
2. 機械学習モデルを賢くする – バギング
機械学習の分野では、ブートストラップサンプリングは主にアンサンブル学習という手法、特にバギング（Bagging）で利用されます。目的は、モデルの予測精度を向上させ、特に過学習（訓練データに適合しすぎて未知のデータに対応できなくなること）を防ぐことです。
バギング（Bootstrap Aggregating）とは？
バギングは、その名の通り「Bootstrap Aggregating」の略です。複数のモデルを組み合わせて1つの強力なモデルを作るアンサンブル学習の一種で、以下の手順で進められます。
- 学習データセットを複数作成する
元の学習データから、ブートストラップサンプリング（復元抽出）によって、同じサイズの学習データセットを複数作成します。 - 複数のモデルを並行して学習させる
作成したデータセットをそれぞれ使い、同じ種類のアルゴリズム（例：決定木）でモデルを個別に学習させます。データセットが少しずつ違うため、出来上がるモデルもそれぞれ少しずつ異なる個性を持つことになります。 - 予測を統合（Aggregate）する
新しいデータを予測する際には、学習させた全てのモデルに予測させ、その結果をまとめます。分類問題なら多数決、回帰問題なら平均値を取るのが一般的です。
なぜバギングは効果的なのか？
「三人寄れば文殊の知恵」ということわざに似ています。1つのモデルだけでは、データの一部に過剰に反応してしまい、間違った判断（過学習）をすることがあります。
しかし、バギングでは少しずつ異なるデータで学習した多様なモデルの「意見」を集約します。これにより、個々のモデルの弱点や癖が相殺され、全体としてより安定的で精度の高い（汎化性能の高い）予測が可能になるのです。
バギングの考え方を利用した最も有名で強力なアルゴリズムの一つが「ランダムフォレスト」です。ランダムフォレストは、バギングで決定木を多数作り、それらを統合することで高い予測性能を実現しています。
3. 意味の比較まとめ
最後に、統計学と機械学習における「ブートストラップサンプリング」の役割の違いを表でまとめます。
| 分野 | 目的 | 主な使われ方 |
|---|---|---|
| 統計学 | 手元の標本から母集団の統計的性質（信頼区間など）を推定すること。 | 標本からリサンプリングを繰り返し、統計量の分布を擬似的に生成する。これにより、理論的な計算が難しい統計量の標準誤差や信頼区間を求める。 |
| 機械学習 | モデルの過学習を防ぎ、予測の安定性と精度（汎化性能）を向上させること。 | アンサンブル学習の「バギング」において、複数の多様な学習データセットを生成する。これにより、頑健なモデル（例：ランダムフォレスト）を構築する。 |
4. 補足：言葉の由来
「ブートストラップ」という面白い名前は、英語のことわざ “pull oneself up by one’s bootstraps“（自分の靴紐を引っ張って自分を持ち上げる）に由来します。これは「自力で何かを成し遂げる」「自己完結的に物事を進める」といった意味合いで使われます。
ブートストラップサンプリングが、手元にあるデータだけを頼りに、自分自身（のデータ）を何度も再利用して新たな知見（統計的推定や頑健なモデル）を生み出す様子が、このことわざのイメージと重なるため、このように名付けられました。ちなみに、コンピュータの起動プロセスである「ブート（Boot）」も同じ語源です。