はじめに
AIによる画像認識技術は、自動運転や医療画像の診断、スマートフォンの顔認証など、私たちの身の回りで幅広く活用されています。これらの技術の中でも、特に「物体の検出」は非常に重要なタスクです。
画像の中から「何が」「どこに」あるのかを正確に特定する物体検出の精度を大きく向上させた技術の一つが、今回ご紹介するFPN (Feature Pyramid Network)です。画像認識の分野で「FPN」と言えば、一般的にこのFeature Pyramid Networkを指します。
FPNが登場する前の課題
FPNの重要性を理解するために、まずは従来の物体検出技術が抱えていた課題について見ていきましょう。
一般的なCNN（畳み込みニューラルネットワーク）を用いた物体検出では、入力画像から特徴を抽出する過程で、層が深くなるにつれて画像の解像度が低くなっていきます。これを「特徴マップ」と呼びます。
- 浅い層の特徴マップ: 解像度が高く、物体のエッジや色など、細かい位置情報を持っています。
- 深い層の特徴マップ: 解像度は低いですが、画像全体を捉えた「これは猫である」といった、より抽象的で意味的な情報（セマンティック情報）を持っています。
従来の多くの手法では、この深い層の特徴マップのみを使って物体検出を行っていました。この方法には、大きな物体の検出は得意な一方で、特徴抽出の過程で情報が失われやすい小さな物体の検出精度が低いという課題がありました。
FPN (Feature Pyramid Network) とは？
FPN（Feature Pyramid Network）は、この「大小さまざまな大きさの物体をどうやって精度良く検出するか」という課題を解決するために、2017年にFacebook AI Research (FAIR) によって提案されたアーキテクチャです。日本語では「特徴ピラミッドネットワーク」と呼ばれます。
FPNの革新的な点は、CNNの各層から得られる解像度の異なる特徴マップをすべて有効活用するところにあります。 具体的には、高レベル（低解像度だが意味情報が豊富）の特徴と、低レベル（高解像度だが位置情報が豊富）の特徴を組み合わせることで、単一の強力な特徴マップのピラミッド構造を作り出します。
これにより、計算コストを大幅に増やすことなく、1枚の画像から大小さまざまなスケールの物体を効率よく、かつ高い精度で検出することが可能になりました。
FPNの仕組み
FPNは、主に3つの要素で構成されています。
- ボトムアップ経路 (Bottom-up pathway)
これは、通常のCNNの処理と同じです。入力画像から始まり、畳み込み層を次々と通過させて特徴を抽出していきます。層が深くなるにつれて特徴マップのサイズは小さくなり（例: 1/4, 1/8, 1/16…）、より抽象的な特徴が捉えられます。 - トップダウン経路 (Top-down pathway)
ボトムアップ経路で得られた最も抽象的な特徴マップ（最も小さいサイズ）から出発し、今度は逆に特徴マップのサイズを大きく（アップサンプリング）していきます。 これにより、意味的に強い特徴を、より解像度の高い層へと伝播させることができます。 - 横方向の接続 (Lateral connections)
ここがFPNの最も重要な部分です。トップダウン経路でアップサンプリングされた特徴マップと、ボトムアップ経路の同じサイズの（解像度の）特徴マップを結合します。 この接続により、高次の抽象的な情報と、低次の詳細な位置情報の両方を兼ね備えた、非常にリッチな特徴マップが各階層で生成されるのです。
この3つの仕組みが連携することで、FPNは各解像度レベルで強力な特徴表現を獲得し、物体検出タスクの精度を飛躍的に向上させます。
FPNのメリットとデメリット
FPNは非常に強力な手法ですが、メリットとデメリットの両方があります。
| 項目 | 説明 |
|---|---|
| メリット |
|
| デメリット |
|
まとめ
FPN (Feature Pyramid Network) は、CNNの異なる層から得られる特徴マップを巧みに統合することで、画像中の大小さまざまな物体を高い精度で検出することを可能にした画期的な技術です。
FPNの登場により、物体検出の性能は大きく向上し、Faster R-CNNやMask R-CNN、RetinaNetといった多くの高精度な物体検出モデルの基礎技術として採用されています。 この技術は、自動運転での車両や歩行者の検出、医療画像からの病変検出など、高精度な画像認識が求められる多くの分野の発展に貢献しています。
画像認識やディープラーニングを学ぶ上で、FPNは避けては通れない重要な概念と言えるでしょう。