ディープラーニングを理解する：tanh関数入門

AIやディープラーニングの世界に足を踏み入れると、様々な専門用語に出会います。その中でも特に重要な役割を担うのが「活性化関数」です。今回は、数ある活性化関数の中から「tanh（タンエイチ）関数」について、初心者の方にも分かりやすく解説していきます。

tanh関数は、数学的な「双曲線正接関数（Hyperbolic Tangent）」であると同時に、ニューラルネットワークにおいてニューロンの出力を調整する重要な部品として機能します。 この二つの側面から、tanh関数を紐解いていきましょう。

tanh関数は「ハイパボリックタンジェント（Hyperbolic Tangent）」の略で、日本語では「双曲線正接関数」と呼ばれます。 この関数は、入力された値を必ず -1から1の範囲 の数値に変換するという大きな特徴を持っています。

数式で表すと以下のようになります。 ここで、e はネイピア数（約2.718）と呼ばれる数学の定数です。

tanh(x) = (e^x - e^-x) / (e^x + e^-x)

この関数のグラフは、原点(0,0) を中心に点対称なS字型の曲線を描きます。 入力値が0のときに出力も0となり、入力が大きくなるにつれて1に、小さくなるにつれて-1に近づいていきます。 この性質により、データの値を一定の範囲に収める「正規化」のような役割を果たすことができます。

ディープラーニングのモデルであるニューラルネットワークでは、tanh関数は主に「活性化関数」として利用されます。 活性化関数は、ニューロン（神経細胞を模したユニット）が受け取った情報（入力信号）を、次のニューロンに伝えるかどうか、そしてどれくらいの強さで伝えるかを決定するスイッチのような役割を担っています。

この活性化関数が非線形な関数（直線ではないグラフを描く関数）であるおかげで、ニューラルネットワークは単純な問題だけでなく、画像認識や音声認識といった複雑なパターンを学習できるようになります。 tanh関数は、その滑らかなS字カーブによって、入力信号の重要度を判断し、出力を調整するという重要な役割を果たしているのです。

tanh関数には、他の活性化関数と比較して優れた点と、注意すべき点があります。

ディープラーニングでは、tanh関数の他にも様々な活性化関数が使われます。ここでは代表的な「Sigmoid関数」と「ReLU関数」との違いを比較してみましょう。

tanh関数は、Pythonの数値計算ライブラリであるNumPyを使うことで簡単に実装できます。

import numpy as np

def tanh(x):
  # tanh関数を計算
  return np.tanh(x)

# いくつかの値で試してみる
print(f"tanh(0) = {tanh(0)}")
print(f"tanh(1) = {tanh(1)}")
print(f"tanh(-2) = {tanh(-2)}")
print(f"tanh(10) = {tanh(10)}")

# NumPyには np.exp を使って数式通りに実装することも可能です
def tanh_from_scratch(x):
  return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))
      

tanh関数は、入力を-1から1の間に収め、出力がゼロ中心であるという優れた特徴を持つ活性化関数です。 この特性により、特にリカレントニューラルネットワーク(RNN)などで長年利用されてきました。

一方で、勾配消失問題や計算コストといった課題もあり、近年ではReLU関数とその派生形が多くの場面で標準的に使われるようになっています。

しかし、tanh関数は今でも特定のタスクやネットワーク構造において有効な選択肢の一つです。ディープラーニングを学ぶ上で、それぞれの活性化関数の特性を理解し、問題に応じて適切に使い分けることが重要です。