Theanoの歴史と現在：TensorFlow・PyTorch・JAXへの橋渡し

Theanoは、かつて数値計算、特に機械学習、深層学習の分野で広く利用されていたPythonライブラリです。カナダのモントリオール学習アルゴリズム研究所（MILA）によって開発が進められていました。

Theanoの最大の特徴は、数式をPythonコードで記述すると、それを最適化し、CPUやGPU上で高速に実行可能なコード（C++やCUDA）にコンパイルしてくれる点にありました。これにより、研究者や開発者は、複雑な数式の実装や低レベルな最適化、GPUプログラミングの詳細に煩わされることなく、アルゴリズムの考案や実験に集中することができました。

主な特徴をまとめると以下のようになります。

• 数式のシンボリック表現: NumPyライクな構文で数式を抽象的に定義できました。
• 自動微分: 複雑な関数の勾配（微分）を自動的に計算する機能は、特に勾配ベースの最適化手法を用いる機械学習において非常に強力でした。
• 透過的なGPU利用: コードの変更を最小限に抑えつつ、NVIDIA GPU（CUDA）を活用した高速計算が可能でした。
• 最適化: 数式レベルでの最適化（定数畳み込み、計算グラフの簡略化など）を行い、実行速度を向上させました。

この記事では、Theanoの基本的な使い方から、その特徴的な機能、歴史、そして現代の代替ライブラリについて詳しく解説していきます。

Theanoの基本的なワークフローは、「シンボリック変数の定義」→「シンボリックな計算グラフ（数式）の構築」→「Theano関数のコンパイル」→「関数への具体的な値の入力と実行」という流れでした。

1. シンボリック変数の定義

計算グラフを構築するために、まずは入力やパラメータを表すシンボリック変数を定義します。これらは具体的な値を持たず、計算の「型」や「次元」を表すプレースホルダーのようなものです。

import theano
import theano.tensor as T

# スカラー (0次元テンソル)
x = T.scalar('x', dtype='float32')
y = T.scalar('y', dtype='float32')

# ベクトル (1次元テンソル)
v = T.vector('v', dtype='float64')

# 行列 (2次元テンソル)
A = T.matrix('A', dtype='int32')

# 任意の次元数のテンソル
t = T.tensor3('t', dtype='float32') # 3次元テンソル
t4 = T.tensor4('t4', dtype='float32') # 4次元テンソル

上記コードでは、T.scalar, T.vector, T.matrix, T.tensor3 などを使って、様々な型のシンボリック変数を定義しています。第一引数は変数名（デバッグ時に役立ちます）、dtypeでデータ型を指定します。

2. シンボリックな計算グラフの構築

定義したシンボリック変数を使って、計算式を構築します。この段階では実際の計算は行われず、計算の手順（グラフ）が内部的に作られます。

# 簡単な加算
z_sum = x + y

# 行列とベクトルの積
mat_vec_prod = T.dot(A.astype('float64'), v) # データ型を合わせる必要がある場合

# 要素ごとの非線形変換 (シグモイド関数)
sigmoid_output = T.nnet.sigmoid(mat_vec_prod)

# スカラー値の損失関数 (例: 二乗誤差)
target = T.scalar('target', dtype='float64')
cost = T.sum((sigmoid_output - target)**2)

TheanoはNumPyと似た演算子（+, *, **など）や関数（T.dot, T.sumなど）を提供しており、直感的に数式を記述できます。T.nnetモジュールにはニューラルネットワーク関連の関数（活性化関数など）が含まれていました。

3. Theano関数のコンパイル

構築した計算グラフを実行可能な形にするために、theano.functionを使ってコンパイルします。このステップで、Theanoは数式の最適化やC++/CUDAコードの生成・コンパイルを行います。そのため、初回実行時には時間がかかることがありました。

# 加算を実行する関数
# inputs: [x, y] (入力シンボリック変数のリスト)
# outputs: z_sum (出力シンボリック変数のリスト or 単一変数)
add_function = theano.function(inputs=[x, y], outputs=z_sum)

# 行列ベクトル積とシグモイド、コスト計算を行う関数
# 入力: 行列A, ベクトルv, ターゲット値target
# 出力: コストcost
compute_cost = theano.function(inputs=[A, v, target], outputs=cost)

theano.functionのinputs引数には計算に必要な入力シンボリック変数のリストを、outputs引数には計算結果として得たいシンボリック変数を指定します。

4. 関数への具体的な値の入力と実行

コンパイルされた関数は、通常のPython関数のように呼び出すことができます。引数として、シンボリック変数に対応する具体的な値（NumPy配列など）を渡します。

import numpy as np

# add_functionの実行
result_sum = add_function(np.float32(1.5), np.float32(2.8))
print(f"加算結果: {result_sum}") # 出力: 加算結果: 4.3

# compute_costの実行
matrix_A = np.array([[1, 2], [3, 4]], dtype='int32')
vector_v = np.array([0.5, -0.1], dtype='float64')
target_val = np.float64(0.8)

cost_result = compute_cost(matrix_A, vector_v, target_val)
print(f"コスト計算結果: {cost_result}")
# (内部で A.astype('float64') が実行される)
# (内部で T.dot が実行される)
# (内部で T.nnet.sigmoid が実行される)
# (内部で T.sum((... - target)**2) が実行される)

このように、一度コンパイルしてしまえば、あとは具体的なデータを入力して高速に計算を実行できるのがTheanoの基本的な使い方でした。

Theanoが特に深層学習コミュニティで注目されたのは、その強力な機能群によるものでした。

1. 自動微分 (Automatic Differentiation)

機械学習、特にニューラルネットワークの学習では、損失関数をパラメータで微分した値（勾配）を使ってパラメータを更新する手法（勾配降下法など）が一般的です。Theanoは、複雑な計算グラフで定義された関数の勾配を自動的に計算する機能を提供していました。

ユーザーは微分演算子T.grad(cost, wrt)を使うだけで、指定したコスト（cost）を、指定した変数（wrt: with respect to）で微分した結果を得ることができました。これにより、誤差逆伝播法（Backpropagation）のようなアルゴリズムの面倒な導関数計算を手動で行う必要がなくなりました。

import theano
import theano.tensor as T
import numpy as np

# パラメータ (シンボリック変数)
w = theano.shared(np.random.randn(5).astype('float32'), name='w') # 共有変数
b = theano.shared(np.float32(0.), name='b') # 共有変数

# 入力
x = T.vector('x', dtype='float32')

# モデル (線形モデル)
y_pred = T.dot(x, w) + b

# 損失関数 (二乗誤差)
y_true = T.scalar('y_true', dtype='float32')
cost = T.mean((y_pred - y_true)**2)

# 勾配の計算
grad_w = T.grad(cost=cost, wrt=w)
grad_b = T.grad(cost=cost, wrt=b)

# 勾配計算とコスト計算を行う関数をコンパイル
compute_grad = theano.function(
    inputs=[x, y_true],
    outputs=[cost, grad_w, grad_b]
    # updates 引数については後述
)

# 実行例
x_val = np.random.randn(5).astype('float32')
y_true_val = np.float32(10.0)

cost_val, grad_w_val, grad_b_val = compute_grad(x_val, y_true_val)

print(f"Cost: {cost_val}")
print(f"Gradient w.r.t w: {grad_w_val}")
print(f"Gradient w.r.t b: {grad_b_val}")

上記の例では、theano.sharedを使ってモデルのパラメータwとbを定義しています。共有変数（Shared Variable）は、複数の関数呼び出し間で状態を保持できる変数で、勾配降下法などでパラメータを更新する際に不可欠でした。T.gradによって、複雑な計算グラフ（この例では線形モデルと二乗誤差）に対する勾配grad_wとgrad_bをシンボリックに求めることができます。

2. 最適化 (Optimization)

Theanoはtheano.functionによるコンパイル時に、計算グラフに対して様々な最適化を自動的に適用しました。これにより、ユーザーが書いたPythonコード（数式表現）を、より高速に実行できるマシンコードに変換していました。

主な最適化の例としては、以下のようなものがありました。

• 定数畳み込み (Constant folding): 計算グラフ中の定数だけで計算できる部分をコンパイル時に計算してしまう。例: x + 1 + 2 を x + 3 に変換。
• 代数的な等価変換: 計算コストの低い同等な演算に置き換える。例: x*y/x を y に (ただしゼロ除算に注意が必要な場合もある)。--(x) を x に。
• 計算グラフの構造的最適化: 不要な計算の削除、演算の順番の入れ替えなど。
• メモリ配置の最適化: 計算中のデータ転送を減らすようにメモリレイアウトを工夫する。
• GPU特有の最適化: GPUカーネルの融合 (複数の小さな演算をまとめて一つのカーネルで実行する) など。

これらの最適化は透過的に行われるため、ユーザーは通常意識する必要はありませんでしたが、Theanoのパフォーマンスの根幹をなす重要な機能でした。

3. GPU利用 (CUDA)

深層学習では大量の行列演算が必要となり、CPUだけでは計算に時間がかかります。TheanoはNVIDIA製のGPUとCUDAライブラリを利用したGPUコンピューティングを早期からサポートしていました。

環境変数 (THEANO_FLAGS='device=cuda,floatX=float32' など) を設定するか、設定ファイル (.theanorc) を記述することで、計算の大部分を自動的にGPU上で実行させることができました。ユーザーは、GPUプログラミングの詳細（メモリ転送、カーネル起動など）を直接記述する必要がなく、シンボリックな数式を定義するだけでGPUの計算能力を活用できた点が画期的でした。

特に、行列積、畳み込み演算（CNNで多用される）といった計算集約的な処理がGPUによって大幅に高速化され、Theanoは深層学習の研究開発を加速させる原動力の一つとなりました。

（なお、初期にはOpenCLのサポートも実験的に試みられていましたが、主にCUDAが利用されていました。）

4. 共有変数とUpdates

前述の自動微分の例でも登場した共有変数 (Shared Variables) は、theano.functionの実行後も値が保持される変数です。これは、モデルのパラメータ（重みやバイアス）のように、学習プロセスを通じて更新していく必要がある値を格納するのに適していました。

そして、これらの共有変数を更新するメカニズムがtheano.functionのupdates引数でした。updatesには、更新対象の共有変数と、その新しい値（シンボリック表現）のペアをリストや辞書で指定します。

import theano
import theano.tensor as T
import numpy as np

learning_rate = 0.01

# パラメータ (共有変数)
w = theano.shared(np.random.randn(5).astype('float32'), name='w')
b = theano.shared(np.float32(0.), name='b')

# 入力とターゲット
x = T.vector('x', dtype='float32')
y_true = T.scalar('y_true', dtype='float32')

# モデルとコスト
y_pred = T.dot(x, w) + b
cost = T.mean((y_pred - y_true)**2)

# 勾配
grad_w = T.grad(cost=cost, wrt=w)
grad_b = T.grad(cost=cost, wrt=b)

# パラメータ更新ルール (勾配降下法)
updates = [
    (w, w - learning_rate * grad_w),
    (b, b - learning_rate * grad_b)
]

# 学習関数 (コスト計算、勾配計算、パラメータ更新を一度に行う)
train_model = theano.function(
    inputs=[x, y_true],
    outputs=cost, # コストを返す (オプション)
    updates=updates # ここでパラメータ更新を指定
)

# 学習ループ (簡単な例)
for i in range(10):
    x_val = np.random.randn(5).astype('float32')
    y_true_val = np.float32(np.random.randn()) # ランダムなターゲット値
    current_cost = train_model(x_val, y_true_val)
    print(f"Iteration {i}, Cost: {current_cost}")
    # w, b の値は train_model の実行によって内部的に更新されている

# 更新後のパラメータの値を確認
print(f"Updated w: {w.get_value()}")
print(f"Updated b: {b.get_value()}")

このupdatesメカニズムにより、勾配計算からパラメータ更新までの一連の学習ステップを一つのTheano関数としてコンパイルでき、効率的な学習ループを実装することが可能でした。

Theanoは多くの利点を持つ一方で、いくつかの欠点も抱えていました。これらを理解することは、なぜ後継のライブラリが登場し、主流となったのかを知る上で重要です。

利点 👍

• 実行速度: シンボリックな計算グラフを最適化し、C++/CUDAコードにコンパイルするため、特にGPUを利用した場合、純粋なPythonやNumPyよりも大幅に高速な計算が可能でした。
• 自動微分: 複雑なモデルの勾配計算を自動化できるため、誤差逆伝播法などの実装が容易になり、研究開発の効率が向上しました。
• 数式の安定性: 特定の不安定な数式（例: log(sigmoid(x))）を、数値的により安定な形（例: softplus(-x)）に自動で置き換える機能があり、計算の安定性に貢献しました。
• GPU利用の容易さ: 低レベルなCUDAプログラミングを意識することなく、GPUアクセラレーションの恩恵を受けられました。
• 柔軟性: 基本的な演算子を組み合わせて、新しい複雑なモデルや計算グラフを比較的自由に構築できました。

欠点 👎

• コンパイル時間: theano.functionによるコンパイルには、特に複雑なモデルの場合、無視できない時間がかかることがありました。これは、コードの修正と実行を繰り返す開発サイクルにおいて、ストレスとなる要因でした。
• デバッグの難しさ: エラーメッセージが時として分かりにくく、計算グラフのどの部分で問題が発生しているのか特定するのが困難な場合がありました。コンパイル後のコードはPythonではなくC++/CUDAであるため、Pythonの標準的なデバッグツール（pdbなど）を直接適用することが難しかったです。Theanoには独自のデバッグモードやプロファイリングツールがありましたが、習熟が必要でした。
• 学習コスト: シンボリック変数、計算グラフ、コンパイルといったTheano特有の概念を理解する必要があり、初心者にとっては習得のハードルがやや高い面がありました。
• 柔軟性の限界: 計算グラフが一度コンパイルされると、その構造は静的（固定）でした。計算の途中でグラフ構造を動的に変更するようなモデル（例えば、入力データによって処理フローが変わるRNNなど）の実装は、工夫が必要で、直感的でない場合がありました。（Define-and-Run スタイル）
• APIの複雑さ: ライブラリの機能が増えるにつれて、APIがやや複雑化していきました。
• 分散学習のサポート: マルチGPUやマルチノードでの分散学習のサポートは、後発のフレームワークに比べて限定的でした。

これらの欠点、特にコンパイル時間、デバッグの難しさ、動的計算グラフへの対応といった点が、後に登場するPyTorchのようなDefine-by-Run（実行しながらグラフを構築する）スタイルのライブラリが支持を集める理由の一つとなりました。

Theanoは、深層学習の黎明期からその発展を支えた重要なライブラリであり、その歴史は深層学習の進化と密接に関連しています。

• 開発開始: 2007年頃から、カナダのモントリオール大学のLISA（現MILA）で開発が始まりました。Yoshua Bengio教授の研究室が中心となり、機械学習アルゴリズムの研究開発を効率化する目的で設計されました。
• 初期の普及: 自動微分やGPUサポートといった先進的な機能により、特に学術界の研究者の間で徐々に利用が広まりました。NumPyライクなインターフェースも受け入れられやすい要因でした。
• 深層学習ブームとともに: 2012年頃からの深層学習ブームの到来により、Theanoの需要は爆発的に高まりました。多くの重要な研究（AlexNet以降のCNN、RNN、GANなど）がTheanoまたはその上で構築された高レベルAPI（Keras, Lasagne, Blocksなど）を用いて行われました。Theanoは、当時の深層学習フレームワークのデファクトスタンダードの一つとみなされていました。
• 競争の激化: 2015年頃から、GoogleのTensorFlow、FacebookのPyTorch（TorchベースからPythonネイティブへ）、MicrosoftのCNTK（後のCognitive Toolkit）など、大手IT企業が支援する強力な競合ライブラリが登場し始めました。これらのライブラリは、Theanoの欠点を改善する機能（例: より簡単なデバッグ、動的グラフ、分散学習サポート、エコシステムの充実）を提供し、急速にシェアを拡大していきました。
• 開発終了の発表: 2017年9月28日、Yoshua Bengio教授は、Theanoの主要な開発者からのメッセージとして、Theano 1.0のリリースをもって、今後1年半の期間（つまり2019年頃まで）は重大なバグ修正や互換性維持に限定し、新機能の開発は行わないという開発終了の方針を発表しました。
• 発表された理由:
  • TensorFlow, CNTK, PyTorchなどの代替となる優れたフレームワークが登場し、業界標準となりつつあったこと。
  • これらのフレームワークは、大企業による強力な産業的支援を受けており、開発ペースやエコシステムの拡大において、学術ベースのTheanoが追随するのは困難であったこと。
  • MILAの開発リソースを、より基礎的な研究や他のプロジェクトに振り向けるべきであるという判断。
• 最終リリースとその後: Theano 1.0.0 が2017年11月にリリースされ、その後もいくつかのマイナーアップデート（バグ修正やライブラリ互換性対応など）が行われましたが、2020年頃には実質的な更新は停止しました。公式ドキュメントなどもアーカイブされ、積極的なメンテナンスは行われていない状態です。

Theanoの開発が終了した現在、深層学習や数値計算のための主要なPythonライブラリはいくつか存在します。Theanoからの移行先として、あるいはこれから深層学習を始める際の選択肢として考えられる代表的なものを紹介します。

どのライブラリを選ぶべきか？

どのライブラリが最適かは、目的や好みによって異なります。

• 産業応用、エンドツーエンドのプラットフォーム、多様なデプロイ先: TensorFlowが依然として強力な選択肢です。Keras APIにより初心者でも比較的容易に始められます。
• 研究開発、柔軟なモデル構築、デバッグのしやすさ: PyTorchが非常に人気があります。Pythonとの親和性が高く、多くの研究者が利用しています。
• NumPyに慣れており、関数変換による高性能計算に関心がある、より低レベルでの制御をしたい: JAXが有望な選択肢です。特に研究分野での採用が増えています。

Theanoは役目を終えましたが、それが開拓した技術と思想は、これらの現代的なライブラリの中に脈々と受け継がれています。

Theanoは、Pythonにおけるシンボリック計算、自動微分、そしてGPUコンピューティングを組み合わせることで、深層学習の発展に大きく貢献した画期的なライブラリでした。その登場により、研究者たちは複雑な数学的アルゴリズムの実装と高速化という課題から解放され、モデルの設計と実験により集中できるようになりました。

Theanoが実装した多くのアイデア、例えば:

• 計算グラフによる数式の表現と最適化
• 自動微分による勾配計算の自動化
• 透過的なGPUアクセラレーション

は、その後のTensorFlow, PyTorch, JAXといった主要な深層学習フレームワークの基礎となり、標準的な機能として取り入れられています。

開発は終了しましたが、Theanoは深層学習ライブラリのパイオニアとして、その歴史に名を刻んでいます。当時の研究論文やコードを理解する上で、Theanoの知識は依然として役立つ場面があるかもしれません。

深層学習の分野は日進月歩であり、ツールも常に進化し続けています。Theanoの経験は、現在のツールがいかに洗練され、使いやすくなっているかを理解する上でも貴重な視点を与えてくれます。そして、Theanoが果たした役割とその遺産は、これからも技術の進化の中で語り継がれていくことでしょう。🌟