Pythonライブラリ「unstructured」徹底解説：非構造化データ処理の決定版 🧱

PDFやWord文書など、特定のファイル形式を処理するには、追加の依存関係が必要です。角括弧 `[]` を使って必要な形式を指定します。

例：Word文書 (.docx) のサポートを追加する場合

pip install "unstructured[docx]"

例：PDFファイルのサポートを追加する場合

pip install "unstructured[pdf]"

例：画像のサポートを追加する場合（OCR機能を含む）

pip install "unstructured[image]"

注意: PDFや画像の処理には、`tesseract-ocr` や `poppler-utils` といったシステムレベルの依存関係のインストールが別途必要になる場合があります。お使いのOSに合わせてインストールしてください（例：macOSなら `brew install tesseract poppler`）。

LLMは一度に扱えるテキストの長さ（コンテキストウィンドウ）に制限があるため、長いドキュメントを処理する際には、適切なサイズの「チャンク」に分割する必要があります。unstructuredは、パーティショニングで得られた要素を基にした高度なチャンキング機能を提供します。

従来のチャンキング手法は、改行文字 (`\n\n`) などに基づいて単純にテキストを分割することが多いですが、unstructuredのチャンキングは、ドキュメントの構造（要素タイプ）を考慮します。パーティショニングによって得られた意味的な単位（要素）をできるだけ維持しつつ、指定された最大チャンクサイズを超えないように要素を組み合わせたり、大きすぎる要素を分割したりします。

チャンキングは、パーティショニングの後処理として実行されますが、`partition_*` 関数の引数で同時に指定することも可能です。

from unstructured.chunking.title import chunk_by_title
from unstructured.partition.auto import partition

# まずパーティショニングを実行
elements = partition(filename="long_document.md")

# タイトルに基づいてチャンキングを実行
chunks = chunk_by_title(
    elements,
    max_characters=1000, # チャンクの最大文字数 (ソフトリミット)
    new_after_n_chars=800, # この文字数を超えたら新しいチャンクを開始する目安
    combine_text_under_n_chars=500 # この文字数未満の小さな要素は前のチャンクと結合する
)

for i, chunk in enumerate(chunks):
    print(f"--- Chunk {i+1} ---")
    print(chunk.text[:200]) # チャンクのテキスト内容
    # チャンクを構成する元の要素の情報もメタデータに含まれる
    # print(chunk.metadata.to_dict())
    print("-" * 20)

# パーティショニングと同時にチャンキングを指定する例 (PDF)
# chunks = partition_pdf(
#     filename="report.pdf",
#     chunking_strategy="by_title", # チャンキング戦略を指定
#     max_characters=1000,
#     combine_text_under_n_chars=500,
#     # 他のpartition_pdfの引数...
# )

利用可能なチャンキング戦略 (`chunking_strategy`) には以下のようなものがあります。

• "basic": 要素を順番に結合していき、`max_characters` を超えないようにチャンクを作成します。
• "by_title": `Title`要素をチャンクの開始点として、セクションごとにチャンクを作成しようとします。レポートや論文など、構造が明確なドキュメントに適しています。
• "by_page" (API経由などで利用可能): ページ番号に基づいてチャンクを作成します。

チャンキングによって生成されるのは、`CompositeElement`（複数の要素を組み合わせたもの）、`Table`、または `TableChunk`（大きすぎるテーブルを分割したもの）のいずれかのタイプのオブジェクトです。