Skip Connectionとは？

Skip Connection（スキップコネクション）は、ディープラーニング、特に画像認識で使われるニューラルネットワークの構造の一つです。その名の通り、ネットワークの層をいくつか「スキップ」して、前の層の情報を直接後の層に伝える「近道」のような役割を果たします。

このシンプルなアイデアが、ディープラーニングの世界に大きな進歩をもたらしました。

なぜSkip Connectionが必要なのか？

ディープラーニングモデルは、層を深くすればするほど、より複雑な特徴を捉えることができ、性能が向上すると考えられていました。しかし、単純に層を深くするだけでは、2つの大きな問題が発生します。

勾配消失問題: ネットワークが深くなると、学習の際に誤差を伝える信号（勾配）が、入力に近い層に届く頃には非常に小さくなってしまい、うまく学習が進まなくなる問題です。
劣化問題 (Degradation Problem): 層を深くしたモデルが、それより浅いモデルよりも性能が悪化してしまう現象です。

Skip Connectionは、これらの問題を解決するために生まれました。情報の「近道」を作ることで、勾配が直接深い層から浅い層へ伝わりやすくなり、勾配消失を防ぎます。また、入力情報をそのまま出力に加えることで、少なくとも元の性能を維持しやすくなり、劣化問題を防ぐことができます。

Skip Connectionには、情報の伝え方によって主に2つの種類があります。これらは異なるモデルで採用されており、それぞれの目的に合わせて使い分けられています。

種類	説明	代表的なモデル
加算 (Addition / Residual Connection)	スキップしてきた情報と、層を通過した後の情報の2つを足し算します。これにより、ネットワークは入力との「差分（Residual）」を学習することに集中できます。勾配消失問題の緩和に非常に効果的です。	ResNet (Residual Network) 2015年に登場し、画像認識コンペティションで高い精度を達成しました。このモデルの登場により、100層を超えるような非常に深いネットワークの学習が可能になりました。
連結 (Concatenation)	2つの情報をチャネル（特徴の次元）方向に結合します。これにより、単純に情報を足し合わせるのではなく、両方の特徴を保持したまま後続の層に渡すことができます。特徴量の情報を失いにくい利点があります。	U-Net こちらも2015年に登場したモデルで、主に医療画像の領域分割（セマンティックセグメンテーション）で広く使われています。ネットワークの構造がU字型に見えることから名付けられました。

ResNetは「残差ブロック（Residual Block）」と呼ばれる構造の繰り返しで構成されています。このブロック内でSkip Connection（残差接続）が使われており、入力xを、いくつかの畳み込み層などを通した結果F(x)に足し合わせます。

# ResNetの残差接続の概念
y = F(x) + x

この単純な足し算により、勾配がF(x)の経路だけでなく、xを直接伝わる経路も確保されるため、ネットワークが非常に深くなっても学習が安定します。

U-Netは、画像を圧縮していく前半の「エンコーダ」部分と、圧縮された情報から元の画像サイズに復元していく後半の「デコーダ」部分からなるU字型の構造をしています。

U-NetのSkip Connectionは、エンコーダ部分の各段階の特徴マップを、対応するデコーダ部分の段階に直接「連結」します。これにより、エンコーダで捉えた画像の細かい位置情報が、デコーダでの復元時に失われるのを防ぎ、高精細なセグメンテーションを実現しています。

Skip Connectionは、ディープラーニングにおける以下の重要な課題を解決する画期的な技術です。

ResNetやU-Netをはじめ、現在の多くの高性能な画像認識モデルや、自然言語処理で有名なTransformerなどにもこの考え方は応用されており、現代のディープラーニングにおいて不可欠な基盤技術の一つとなっています。