LLMの性能を引き出す：事前学習とファインチューニングのベストプラクティス

近年、大規模言語モデル（LLM）は目覚ましい進化を遂げ、自然言語処理の分野に革命をもたらしています。GPT（Generative Pre-trained Transformer）シリーズやBERT（Bidirectional Encoder Representations from Transformers）など、様々なモデルが登場し、文章生成、翻訳、要約、質問応答など、多岐にわたるタスクで人間のような能力を発揮するようになりました。

これらのLLMの驚異的な性能の根幹を支えているのが、「事前学習（Pre-training）」と「ファインチューニング（Fine-tuning）」という2つの重要なプロセスです。事前学習では、膨大な量のテキストデータを用いてモデルに言語の基本的な構造や知識を学習させ、ファインチューニングでは、その汎用的なモデルを特定のタスクやドメインに適応させます。

本記事では、LLMの性能を最大限に引き出すために不可欠な、事前学習とファインチューニングのベストプラクティスについて詳しく解説します。データ準備からモデル選択、学習手法、評価まで、各段階で考慮すべき点を網羅し、効果的なLLM開発・活用のための指針を示します。

事前学習は、LLM開発における最初の、そして最も重要なステップです。この段階で、モデルは言語の基本的なルール、文法、一般的な知識、そして世界の常識などを獲得します。まるで人間が幼少期に大量の言葉に触れて言語能力の基礎を築くように、LLMも膨大なテキストデータを「読む」ことで、言語の根幹を理解していきます。

目的と概要

事前学習の主な目的は、特定のタスクに依存しない、汎用的な言語表現を獲得することです。モデルは、入力されたテキストの文脈を理解し、次に続く単語を予測したり、文中の欠けた単語を推測したりするタスク（自己教師あり学習）を通じて、言語の統計的なパターンや意味的な関連性を学習します。

データセットの重要性

事前学習の成功は、使用するデータセットの質と量に大きく依存します。

• 量 (Quantity): LLMはパラメータ数が数十億から数兆に達することもあり、その能力を最大限に引き出すためには、テラバイト級の巨大なデータセットが必要です。データ量が多ければ多いほど、モデルは多様な言語パターンや知識を学習できます。
• 質 (Quality): 量だけでなく、データの質も極めて重要です。ノイズ（誤字脱字、意味不明な文、重複コンテンツなど）が多いデータや、特定のバイアス（性別、人種、思想などに関する偏り）を含むデータで学習すると、モデルの性能低下や不適切な出力につながる可能性があります。そのため、データのクリーニング（ノイズ除去、重複削除）やフィルタリング（有害コンテンツの除去、個人情報の匿名化）といった前処理が不可欠です。日本語LLMの学習に向けたデータ前処理では、言語検出、テキスト正規化、品質フィルタリングなどが重要なステップとなります。
• 多様性 (Diversity): Webページ、書籍、ニュース記事、コード、対話データなど、多様なソースからデータを収集することで、モデルは幅広いドメインや文体に対応できるようになり、汎化性能が向上します。多様性はモデルのクロスドメイン知識を高め、下流タスクでの汎化能力を向上させます。
• 倫理性とライセンス: データ収集においては、著作権やプライバシーに配慮し、利用規約を遵守することが重要です。個人情報を含むデータの扱いや、ライセンスに問題のあるデータの利用は避けるべきです。

2023年6月の情報によると、多くのLLMはCommon CrawlのようなWebからクロールされた巨大なデータセットや、Wikipedia、書籍データなどを組み合わせて事前学習に利用しています。データセットの内容と構成は、LLMの振る舞いに大きく影響を与えるため、慎重な選定と前処理が求められます。

モデルアーキテクチャ

現在主流のLLMのほとんどは、Transformerアーキテクチャを基盤としています。Transformerは、Attentionメカニズムを用いて単語間の関連性を効率的に学習できるため、長い文脈の理解に優れています。

また、「スケーリング則（Scaling Laws）」と呼ばれる経験則も重要です。これは、モデルサイズ（パラメータ数）、データセットサイズ、計算量のいずれかをスケールアップさせると、モデルの性能が予測可能な形で向上するというものです。DeepMind社は2022年に発表した論文「Training Compute-Optimal Large Language Models」で、最適な性能を得るためにはモデルサイズだけでなく、データセットサイズも十分にスケールさせる必要があることを示し、Chinchillaというモデルでその有効性を実証しました。これは、それ以前のモデルがデータ量に対してモデルサイズが大きすぎ（学習不足）、十分なデータでトレーニングされていなかった可能性を示唆しています。

学習目標

事前学習では、主に以下の自己教師あり学習タスクが用いられます。

• Masked Language Model (MLM): 入力文の一部をマスク（隠し）、モデルにそのマスクされた単語を予測させるタスクです。BERTなどで採用されています。文脈全体を考慮して単語を予測するため、文の理解能力向上に寄与します。
• Next Token Prediction / Causal Language Modeling (CLM): ある単語列が与えられたときに、次に続く単語を予測するタスクです。GPTシリーズなどで採用されています。文章生成能力の基礎となります。現在の多くのLLMはこのCLMとして設計されています。

計算リソースとコスト

LLMの事前学習には、膨大な計算リソース（高性能なGPUやTPU）と時間、そしてそれに伴う多額のコストが必要です。数百から数千のGPUを数週間から数ヶ月稼働させることも珍しくありません。そのため、ゼロから事前学習を行うのは、大手テック企業や研究機関など、リソースが豊富な組織に限られることが多いのが現状です。

事前学習済みモデルの活用

幸いなことに、多くの組織が事前学習済みのモデルを公開しています（例: GoogleのBERT、MetaのLLaMAシリーズ、EleutherAIのGPT-NeoX、OpenAIのGPTシリーズ（API経由）など）。これらのモデルを利用することで、膨大なコストと時間をかけずに、LLMの恩恵を受けることができます。これらのモデルをベースとして、次のステップであるファインチューニングを行うのが一般的です。特に、手元のトレーニングデータセットが巨大でなく、多様でない場合、優れた事前学習済みLLMが持つ汎化性能を活用することが有効です。

事前学習のベストプラクティス

• データ戦略の策定: 高品質で多様なデータを、倫理的かつ法的に問題ない方法で、十分な量確保することが最重要です。データのクリーニングと前処理パイプラインの構築も不可欠です。「悪いデータは悪いモデルにつながる」ため、データ品質への注力がモデル性能に直結します。
• 学習の安定化: 大規模なモデルの学習は不安定になりがちです。適切な学習率スケジューリング、勾配クリッピング、正規化手法などを導入し、安定した学習を目指します。
• 効率的な学習: 分散学習（データ並列、モデル並列、パイプライン並列など）技術を駆使し、限られたリソースで効率的に学習を進めます。
• 継続的な評価: 学習中に様々な指標（Perplexityなど）でモデルの性能を監視し、問題があれば早期に対処します。

事前学習によって汎用的な言語能力を獲得したLLMも、そのままでは特定のタスクや専門分野で最高の性能を発揮するとは限りません。そこで重要になるのがファインチューニングです。これは、事前学習済みモデルを、より小規模な、タスク固有またはドメイン固有のデータセットで追加学習させるプロセスです。これにより、モデルは特定の要求に合わせて知識や振る舞いを調整し、専門性を高めることができます。

目的と概要

ファインチューニングの主な目的は以下の2つです。

• ドメイン適応: 医療、法律、金融、あるいは企業独自のナレッジなど、特定の専門分野の用語や文脈、知識をモデルに学習させます。これにより、その分野における精度や専門性が向上します。
• タスク特化: 感情分析、テキスト分類、要約、質問応答、特定のフォーマットでの出力、特定の文体やトーンの模倣など、特定のタスクを実行できるようにモデルを調整します。指示チューニング（Instruction Tuning）もこの一種で、様々な指示形式に対応できるように学習させ、モデルがユーザーの指示に安全に従う能力を高めます。

ファインチューニングは、ゼロからの学習に比べて少ないデータ量と計算リソースで済むため、より多くの開発者や企業がLLMをカスタマイズする手段として利用しています。これは転移学習（Transfer Learning）の一形態であり、事前学習で得た知識を新しいタスクに活用する効率的な方法です。

手法の種類

ファインチューニングにはいくつかの手法があり、それぞれ特徴や適した場面が異なります。

1. フルファインチューニング (Full Fine-tuning):

   事前学習済みモデルの全てのパラメータを、新しいデータセットで更新する最も基本的な手法です。モデル全体をタスクに適応させることができるため、高い性能が期待できます。しかし、LLMのようにパラメータ数が非常に多いモデルの場合、事前学習ほどではないにせよ、依然として多くの計算リソース（特にGPUメモリ）と時間が必要です。モデルの全パラメータを保存する必要があるため、ストレージ容量も大きくなります。

2. パラメータ効率的ファインチューニング (PEFT: Parameter-Efficient Fine-Tuning):

   モデルパラメータの大部分を凍結（更新しない）し、ごく一部のパラメータのみを更新するか、小さな追加モジュールを学習する手法群です。フルファインチューニングに比べて計算コスト（メモリ使用量、学習時間）とストレージコストを大幅に削減できるため、近年非常に注目されています。これにより、LLMカスタマイズのハードルが大きく下がりました。代表的なPEFT手法には以下のようなものがあります。

   • Adapter Tuning: Transformerの各層の間に追加の小さなニューラルネットワーク層（アダプター）を挿入し、このアダプターのみを学習します。元のモデルのパラメータは凍結されたままです。タスクごとにアダプターを切り替えることで、1つのベースモデルで複数のタスクに対応できます。
   • LoRA (Low-Rank Adaptation): モデル内の一部の重み行列（主にAttention層のWq, Wvなど）の更新分（ΔW）を、2つの低ランク行列（AとB、ΔW = BA）の積で近似する手法です。学習対象はこの低ランク行列AとBのみであり、パラメータ数を大幅に削減できます。2022年にMicrosoftの研究者らによって提案され、フルファインチューニングと同等以上の性能を達成することもあり、広く使われています。学習されたLoRA層（AとB）だけを保存すればよいため、ストレージ効率も非常に高いです。推論時には、学習したΔWを元の重みWに加算（W’ = W + ΔW）して一つのパラメータとして扱えるため、追加の推論コストがほとんどかからない利点もあります。HuggingFaceのPEFTライブラリなどで容易に利用できます。
   • Prefix Tuning / P-Tuning: モデルの入力層や中間層に、学習可能な連続的なベクトル（プレフィックスやプロンプト・エンベディング）を追加し、このベクトルのみをタスク固有データで学習します。モデル本体のパラメータは凍結します。プロンプトエンジニアリングを自動化するようなアプローチとも言えます。
   • Prompt Tuning: Prefix Tuningに似ていますが、モデルの入力層にのみ学習可能なベクトルを追加する、よりシンプルな手法です。最もパラメータ効率が良い手法の一つですが、性能は他のPEFT手法に比べて限定的になることがあります。
   • BitFit: モデルのバイアス項のみを更新する非常にシンプルな手法です。一部のタスクでは効果がありますが、適用範囲は限定的です。
   • QLoRA (Quantized LoRA): LoRAをさらに効率化する手法で、ベースモデルを4ビットなどの低ビット精度に量子化し、その上でLoRAを用いてファインチューニングを行います。これにより、GPUメモリ使用量を劇的に削減でき、より大きなモデルを少ないリソースでファインチューニングすることが可能になります。2023年に提案されました。
3. 特徴抽出 (Feature Extraction / Repurposing):

   事前学習済みモデルの大部分（特に初期～中間層）を固定された特徴抽出器として扱い、最終層のみ、または最終層の上に新たに追加した分類層などをタスク固有データで学習する手法です。計算コストは低いですが、モデルの適応能力は限定的になる場合があります。ULMFiT (Universal Language Model Fine-tuning) の初期段階などで行われるアプローチです。

手法の比較

以下に主要なファインチューニング手法の特徴をまとめます。

※ 上記の性能やコストは一般的な傾向であり、モデル、タスク、データによって変動します。PEFT手法間の性能比較は、タスクやデータ、ハイパーパラメータ設定に大きく依存するため、一概に優劣をつけるのは困難です。

データセットの準備

ファインチューニングにおいても、データセットの質が成功の鍵を握ります。事前学習ほど大量のデータは必要ありませんが、ターゲットとするタスクやドメインを正確に反映した、高品質なデータが必要です。

• タスク固有データ: 実行したいタスクに合わせた形式のデータ（例: 質問応答なら質問と回答のペア、感情分析ならテキストと感情ラベル）を用意します。教師ありファインチューニング（SFT: Supervised Fine-Tuning）データセットと呼ばれます。
• 指示チューニング (Instruction Tuning): モデルに様々な指示に従わせたい場合、「指示（Instruction）」、「入力（Input、任意）」、「応答（Output）」の形式でデータセットを作成します。これにより、モデルは未知の指示形式にも対応しやすくなります。Swallow-Instructのような公開データセットもあります。
• データ品質: ノイズが少なく、偏りがなく、タスクに対して一貫性のあるデータを使用することが重要です。少量でも高品質なデータの方が、大量でも低品質なデータより効果的な場合があります。LIMAという研究（2023年）では、高品質な1000件程度のデータでも十分な性能向上が見られることが示唆されましたが、データ量を増やすことでさらなる性能向上が見られるケースもあります（例: 2024年のGENIACプロジェクトでの検証）。データクリーニングはここでも重要です。
• データ拡張: データ量が少ない場合は、既存データを言い換えたり、他のデータと組み合わせたりするデータ拡張（Data Augmentation）が有効な場合があります。Self-Instructのように、LLM自身にデータを生成させる手法も研究されています（ただし、利用規約や生成品質には注意が必要です）。
• フォーマット: 教師ありファインチューニングでは、入力と出力を明確に示す特定のフォーマット（例: プロンプトテンプレート）でデータを整形することが一般的です。例えば、チャット形式のデータであれば、[INST] 質問 [/INST] 回答のような形式を使います。学習時には、モデルが生成すべき部分（例: 回答部分）のみ損失計算の対象とするようにマスク処理を行います。

Hugging Face Datasetsなどのプラットフォームでは、様々なタスク向けのファインチューニング用データセットが公開されており、これらを利用することも可能です。npaka氏による「LLM のデータセットまとめ」などのリソースも参考になります。

学習プロセス

ファインチューニングの学習プロセスでは、以下の点を考慮します。

• ベースモデルの選択: ターゲットとするタスクやドメインに近い特性を持つ事前学習済みモデルを選択すると、より効率的にファインチューニングできます。モデルのライセンス（商用利用可能かなど）も確認が必要です。
• ハイパーパラメータ調整: 学習率（Learning Rate）、バッチサイズ（Batch Size）、エポック数（Epochs）などのハイパーパラメータを適切に設定することが重要です。これらの調整は試行錯誤が必要な場合が多いです。
  • 学習率: 事前学習時よりも小さな学習率（例: 1e-5 〜 5e-5程度）を設定するのが一般的です。大きすぎると学習が不安定になったり、事前学習で得た知識が破壊されたり（破滅的忘却: Catastrophic Forgetting）する可能性があります。小さすぎると学習が進みません。PEFT手法では、フルFTより若干高めの学習率が有効な場合もあります。
  • バッチサイズ: GPUメモリに収まる範囲で、可能な限り大きく設定すると学習が安定・高速化する傾向がありますが、大きすぎると汎化性能が低下する場合もあります。
  • エポック数: データセット全体を何回学習するかを示します。通常、ファインチューニングでは数エポック（例: 1〜5エポック）で十分なことが多いです。学習させすぎると、訓練データに過剰適合（Overfitting）し、未知のデータに対する性能が低下する可能性があります。
• オプティマイザ: AdamWなどが一般的に用いられます。
• 学習の監視: 訓練データと検証データ（訓練には使用しないデータ）での損失（Loss）や精度（Accuracy）などの指標を監視し、過学習の兆候が見られたら早期に学習を停止（Early Stopping）するなどの対策が必要です。Weights & Biasesのようなツールを利用すると、実験管理や可視化が容易になります。
• 層の凍結 (Layer Freezing): 特にフルファインチューニングや特徴抽出に近いアプローチの場合、モデルの初期層（より汎用的な特徴を学習しているとされる）のパラメータを凍結し、後方の層のみを学習させることで、破滅的忘却を抑制し、学習時間を短縮できる場合があります。

評価指標

ファインチューニングしたモデルの性能を評価することは非常に重要です。タスクの種類に応じて適切な評価指標を選択します。

• 標準的な指標:
  • 分類タスク: Accuracy, Precision, Recall, F1-score, AUC
  • 生成タスク: BLEU, ROUGE, METEOR (主に翻訳や要約), Perplexity (言語モデルの流暢さの指標)
• タスク固有の評価: ベンチマークデータセット（GLUE, SuperGLUE, 日本語ではJGLUE, Jasterなど）を用いて評価します。
• アライメント評価: モデルの出力が人間の意図や指示に沿っているか（Helpfulness）、正直か（Honesty）、無害か（Harmlessness）などを評価します。RLHF（Reinforcement Learning from Human Feedback）やDPO（Direct Preference Optimization）などの手法で用いられる人間の評価や、自動評価指標（例: GPT-4を用いた評価）も重要です。
• 人間の評価: 最終的には、人間が実際にモデルの出力を見て、その品質、有用性、安全性、特定の要件（文体、フォーマットなど）を満たしているかなどを評価することが不可欠です。

ファインチューニングのベストプラクティス

• 目標の明確化: まず、ファインチューニングによって何を達成したいのか（特定のドメイン知識の注入、特定のタスク性能向上、特定の応答スタイルの実現など）を明確にします。
• 適切な手法の選択: 目的、データ量、計算リソース、求める性能、推論速度の要件などを考慮し、フルファインチューニング、PEFT（LoRA, QLoRAなど）、特徴抽出などの手法を適切に選択します。リソース制約がある場合はPEFTが有力な選択肢です。
• 高品質なデータ: 「Garbage In, Garbage Out」の原則を忘れずに。タスクに適した、クリーンで、バイアスが少なく、一貫性のあるデータの準備に最も注力します。少量でも質が高ければ効果は出ます。
• ベースモデルの選定: タスクや言語に適した、信頼でき、ライセンスも問題ない事前学習済みモデルを選びます。
• 段階的なアプローチ: まず少量のデータと小さなモデル（またはPEFT）で実験し、パイプラインや基本的な挙動を確認してからスケールアップすることを検討します。
• ハイパーパラメータの探索: 学習率、バッチサイズ、エポック数などの重要なハイパーパラメータは、実験を通じて最適な値を見つけます。
• 過学習対策: 正則化、ドロップアウト（PEFTではLoRA Dropoutなど）、早期停止などを活用し、過学習を防ぎます。検証データでの性能を注意深く監視します。
• 破滅的忘却への注意: 特にフルファインチューニングの場合、事前学習で獲得した汎用的な知識が失われないよう、学習率を低めに設定する、段階的に学習率を変える（Discriminative Fine-tuning）、層を凍結するなどの工夫が必要です。PEFTはこの問題が比較的起こりにくいとされています。
• 継続的な評価と改善: 一度ファインチューニングして終わりではなく、定期的に性能を評価し、必要に応じて再学習やデータの追加、手法の見直しを行います。モデルのパフォーマンスを本番環境でモニタリングすることも重要です。
• RAGとの比較検討: モデルに外部知識を注入する方法として、ファインチューニングの他にRAG（Retrieval-Augmented Generation）があります。
  • RAGが適している場合: 最新の情報や頻繁に更新される情報が必要なタスク、事実に基づいた回答の正確性が重要なタスク、特定の文書群に基づいた質問応答、学習データや計算リソースが限られている場合。
  • ファインチューニングが適している場合: モデルの応答スタイル、トーン、フォーマット自体を変化させたい場合、特定のドメインやタスクに関する暗黙的な知識や振る舞いを学習させたい場合、推論時のレイテンシが重要で外部DBへのアクセスがボトルネックになる場合、十分な学習データとリソースがある場合。
  Microsoftの研究（2024年1月）などでは、両者の知識注入効果を比較する実験が行われており、タスクによって適性が異なります。両者を組み合わせるアプローチ（例: ドメイン知識をファインチューニングで埋め込み、最新情報はRAGで補う）も有効です。プロンプトエンジニアリングも依然として重要な手法であり、これら3つのアプローチ（プロンプトエンジニアリング、RAG、ファインチューニング）を適切に使い分けることが求められます。

from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer
from peft import LoraConfig, get_peft_model, TaskType, prepare_model_for_kbit_training
from datasets import load_dataset
import torch # QLoRAなどで必要になる場合
# 0. 環境設定（必要に応じて量子化など）
# model = prepare_model_for_kbit_training(model) # QLoRAを使う場合
# 1. モデルとトークナイザーのロード
model_name = "gpt2" # 例としてGPT-2を使用
# QLoRAを使う場合などは、ここで量子化設定も行う
# bnb_config = BitsAndBytesConfig(load_in_4bit=True, ...)
# model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=bnb_config, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
# padding tokenの設定 (GPT-2にはデフォルトで存在しない場合がある)
if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token model.config.pad_token_id = model.config.eos_token_id # モデル設定にも反映
model = AutoModelForCausalLM.from_pretrained(model_name) # 通常のロード
# 2. データセットの準備 (例: テキスト生成タスク用のデータセット)
# ここではダミーデータを使用します。実際には適切なデータセットをロード・前処理します。
# 例: dataset = load_dataset("wikitext", "wikitext-2-raw-v1")
dummy_data = {"text": ["Instruction: Write a story about a cat.\nOutput: Once upon a time, there was a cat.", "Instruction: Explain gravity.\nOutput: Gravity is the force by which a planet or other body draws objects toward its center."]}
# 実際には load_dataset("arrow", data_files={"train": "train.arrow", "validation": "validation.arrow"}) などで読み込む
from datasets import Dataset
dummy_dataset = Dataset.from_dict(dummy_data)
def preprocess_function(examples): # ここでは単純に入力テキストをトークナイズする例 # 実際にはInstruction Tuningのフォーマットに合わせるなど、適切な前処理を行う # 例: inputs = [f"[INST] {instruction} [/INST] {output}{tokenizer.eos_token}" for instruction, output in zip(examples['instruction'], examples['output'])] inputs = examples["text"] # ダミーデータの例 model_inputs = tokenizer(inputs, max_length=128, truncation=True, padding="max_length") # Causal LMではラベルも入力と同じにする (ただしパディング部分は無視するよう損失計算でマスクされる) model_inputs["labels"] = model_inputs["input_ids"].copy() return model_inputs
tokenized_datasets = dummy_dataset.map(preprocess_function, batched=True, remove_columns=["text"])
# 実際には train/validation split が必要
train_dataset = tokenized_datasets # ダミー
# 3. LoRA設定
lora_config = LoraConfig( r=16, # LoRAのランク (8, 16, 32, 64などが一般的) lora_alpha=32, # LoRAのスケーリング係数 (rの2倍程度がよく使われる) target_modules=["c_attn", "c_proj", "c_fc"], # LoRAを適用するモジュール (モデルによって確認が必要) lora_dropout=0.05, # LoRA層のドロップアウト率 bias="none", # バイアス項は学習しない設定 task_type=TaskType.CAUSAL_LM # タスクタイプを指定 (重要)
)
# 4. PEFTモデルの取得
model = get_peft_model(model, lora_config)
model.print_trainable_parameters() # 学習可能なパラメータ数と割合を確認
# 5. トレーニング設定
training_args = TrainingArguments( output_dir="./results_lora", # 出力ディレクトリ num_train_epochs=3, # トレーニングエポック数 (データセットサイズによる) per_device_train_batch_size=2, # バッチサイズ (GPUメモリによる) gradient_accumulation_steps=4, # 勾配累積ステップ (実質的なバッチサイズを増やす) optim="paged_adamw_8bit", # QLoRAで推奨されるオプティマイザ learning_rate=2e-4, # LoRA用の学習率 (Full FTより高めの場合がある) lr_scheduler_type="cosine", # 学習率スケジューラ warmup_ratio=0.03, # ウォームアップ割合 weight_decay=0.001, fp16=True, # 混合精度トレーニング (GPUによる) # bf16=True, # bf16が使える場合 logging_dir='./logs_lora', # ログディレクトリ logging_steps=10, # ログ出力ステップ save_strategy="epoch", # チェックポイント保存戦略 evaluation_strategy="no", # 簡単のため評価は省略 (実際には "epoch" など) # report_to="wandb", # Weights & Biasesを使う場合
)
# 6. トレーナーの初期化とトレーニング
trainer = Trainer( model=model, # PEFTモデルを使用 args=training_args, train_dataset=train_dataset, # eval_dataset=tokenized_datasets["validation"], # 検証データがある場合 tokenizer=tokenizer, # data_collator=DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=False), # 必要に応じて
)
trainer.train()
# 7. モデルの保存 (LoRAアダプターのみ保存される)
model.save_pretrained("./fine-tuned-lora-model")
tokenizer.save_pretrained("./fine-tuned-lora-model")
# 推論時に使用する場合
# from peft import PeftModel
# base_model = AutoModelForCausalLM.from_pretrained(model_name) # ベースモデルをロード
# loaded_peft_model = PeftModel.from_pretrained(base_model, "./fine-tuned-lora-model") # アダプタをマージ
# loaded_peft_model = loaded_peft_model.merge_and_unload() # オプション: マージしてPEFT不要にする
# loaded_tokenizer = AutoTokenizer.from_pretrained("./fine-tuned-lora-model")
# # あとは loaded_peft_model と loaded_tokenizer を使って推論
# prompt = "Instruction: Write a short poem about the moon.\nOutput:"
# inputs = loaded_tokenizer(prompt, return_tensors="pt")
# outputs = loaded_peft_model.generate(**inputs, max_new_tokens=50)
# print(loaded_tokenizer.decode(outputs[0], skip_special_tokens=True))

事前学習とファインチューニングは、LLM開発における両輪です。事前学習が広範な知識と基本的な言語能力を提供し、ファインチューニングがその能力を特定の目的に合わせて研ぎ澄ます役割を担います。

どちらのプロセスにどれだけのリソースを投入するかは、プロジェクトの目標や制約によって異なります。

• ゼロからの事前学習: 独自のアーキテクチャを開発したい場合や、既存のモデルではカバーされていない特殊な言語・ドメインを扱いたい場合、かつ十分なリソース（計算資源、データ、専門知識）がある場合に選択肢となります。非常に高いコストと専門知識が必要です。規制が厳しい業界でモデルの完全な制御が必要な場合や、特定のレイテンシ要件を満たすためにエッジデバイスへのデプロイが必要な場合なども該当する可能性があります。
• 既存モデルの追加事前学習 (Continued Pre-training / Domain-Adaptive Pre-training): 公開されている事前学習済みモデルをベースに、特定のドメイン（例: 医療、法律、科学技術）や言語（特にリソースの少ない言語）のデータで追加の事前学習を行うアプローチです。ゼロからの学習よりはコストを抑えられますが、それでもファインチューニングよりは多くのデータと計算リソースが必要です。ドメイン固有の語彙や知識を広範に学習させたい場合に有効です。
• 既存モデルのファインチューニング: 最も一般的でコスト効率の良いアプローチです。公開されている強力な事前学習済みモデルの能力を活用し、比較的少量のタスク固有データと計算リソースで特定のタスクやドメインに適応させます。PEFT手法の登場により、さらに手軽に行えるようになりました。ほとんどのユースケースでは、このアプローチが現実的かつ効果的です。

多くの場合、強力な汎用事前学習済みモデルを選択し、目的に合わせて効率的なファインチューニング（特にPEFT）を行う戦略が、コストパフォーマンスの観点から最適となります。どのような知識や能力をモデルに付与したいのか（一般的な知識か、特定のタスク遂行能力か、特定の応答スタイルか）を明確にし、それに適したアプローチ（追加事前学習、SFT、指示チューニングなど）と手法（Full FT、PEFT）を選択することが重要です。

LLMの事前学習とファインチューニングは強力な技術ですが、いくつかの課題も抱えています。

• 計算コストと環境負荷: 特に事前学習には莫大な計算リソースが必要であり、コスト面だけでなく、消費電力やCO2排出量といった環境負荷も課題となっています。PEFTや量子化、蒸留などの効率化技術のさらなる発展が期待されます。
• データバイアスと公平性: 学習データに含まれる社会的なバイアスがモデルに反映され、不公平な出力や差別的な挙動につながる可能性があります。データ収集・前処理段階でのバイアス緩和策（データシートの作成、フィルタリング）や、学習中・学習後のバイアス検出・修正技術（公平性指標の導入、デバイアシング手法）が重要です。
• ハルシネーション（幻覚）: モデルが事実に基づかない情報や、もっともらしい嘘を自信を持って生成してしまう問題です。ファインチューニングやRAGによってある程度抑制できますが、根本的な解決には至っていません。モデルの内部知識の信頼性を評価する手法や、事実確認能力を高める研究が進められています。
• アライメント問題: モデルの能力（Capability）だけでなく、その振る舞いが人間の意図や価値観と一致（Align）するように制御することが極めて重要です。モデルが有用（Helpful）、正直（Honest）、無害（Harmless）であるべきという原則に基づき、RLHFやDPOなどの手法でアライメントが行われますが、スケーラブルで信頼性の高いアライメント手法の研究、特に安全性確保（Safety Alignment）が重要な課題です。
• 知識の陳腐化と継続学習: 世界の情報は常に変化するため、一度学習したモデルの知識は時間とともに古くなります。新しい情報を効率的にモデルに取り込み、過去の知識を忘れることなく学習を続けるための継続学習（Continual Learning）技術が求められています。RAGもこの課題への対処法の一つです。
• 評価の難しさ: LLMの能力は多岐にわたるため、その性能を網羅的かつ正確に評価することは困難です。特定のベンチマークだけでなく、より実世界に近い状況での評価や、人間による評価の重要性が増しています。
• マルチモーダルへの拡張: テキストだけでなく、画像、音声、動画など、複数のモダリティを扱えるマルチモーダルLLMの開発が進んでいます。これらのモデルの事前学習やファインチューニングには、異なるモダリティ間の連携や、より複雑なデータ処理、評価手法が必要となり、新たな課題と可能性があります。

これらの課題克服に向けた研究開発が世界中で活発に行われており、より効率的で、安全で、信頼性が高く、公平なLLMの開発・活用技術が今後も登場することが期待されます。オープンソースコミュニティの活動も活発であり、新しいモデルや手法、データセットが次々と公開されています。

大規模言語モデル（LLM）の驚異的な能力は、膨大なデータを用いた事前学習と、目的に合わせたファインチューニングによって実現されています。事前学習で言語の基礎と広範な知識を築き、ファインチューニングで特定のタスク遂行能力や専門性、望ましい振る舞いを磨き上げる、この二段階（あるいは追加事前学習を含む多段階）のプロセスがLLM開発の核心です。

本記事では、それぞれのプロセスにおけるベストプラクティスと考慮事項を解説しました。

• 事前学習では、高品質で多様な大規模データセットの戦略的な準備と前処理、Transformerアーキテクチャとスケーリング則の理解、適切な自己教師あり学習タスクの選択、そして膨大な計算リソースの効率的な管理が鍵となります。
• ファインチューニングでは、明確な目標設定に基づき、適切な手法（フルFT、PEFTなど）を選択することが重要です。タスク固有の高品質なデータ準備、適切なハイパーパラメータ調整、そしてタスクに応じた多角的な評価（自動評価＋人間評価）が成功の要となります。特にPEFT手法（LoRA、QLoRAなど）は、計算リソースを抑えつつ高い性能を達成するための強力な選択肢として広く普及しています。

LLMを効果的に開発・活用するためには、これらのプロセスとベストプラクティスを深く理解し、プロジェクトの目標、利用可能なデータ、計算リソース、求める性能レベル、倫理的な配慮などを総合的に勘案して、最適な戦略（どのベースモデルを使うか、追加事前学習は必要か、どのファインチューニング手法を選ぶか、RAGとどう組み合わせるか等）を選択することが不可欠です。技術は日々急速に進化しており、常に最新の研究動向やツール、コミュニティの知見を把握し、実践を通じて試行錯誤を重ねていくことが、LLMのポテンシャルを最大限に引き出す道となるでしょう。