「トークン化」の記事一覧

Pythonライブラリtiktoken徹底解説：OpenAIモデルのトークン化を理解する